Как правильно обрабатывать исключение spark.sql.AnalysisException

В scala вы должны просто обернуть вызов в Try и управлять сбоем. Что-то вроде:

val result = Try(executeSparkCode()) match {
    case s: Success(_) => s;
    case Failure(error: AnalysisException) => Failure(new MyException(error));
}

Примечание 1. Если ваш вопрос подразумевает, как управлять исключениями в scala, есть много документов и сообщений на эту тему (т.е. не бросайте). Например, вы можете проверить этот ответ (мой)

Примечание 2: у меня нет scala dev env прямо здесь, поэтому я не тестировал этот код)

Однако в java существует сложная ситуация: компилятор не ожидает исключения AnalysisException, которое не проверяется, поэтому вы не можете специально поймать это исключение. Вероятно, какое-то недопонимание scala/java, потому что scala не отслеживает проверенные исключения. Я сделал следующее:

try{
    return executeSparkCode();
} catch (Exception ex) {
    if(ex instanceOf AnalysisException){
        throw new MyException(ex);
    } else {
        throw ex; // unmanaged exceptions
    }
}

Примечание. В моем случае я также проверил содержимое сообщения об ошибке для определенного исключения, которым я должен управлять (т. е. путь не существует), и в этом случае я возвращаю пустой набор данных вместо того, чтобы создавать другое исключение. Я искал лучшее решение и случайно попал сюда...