Я пытаюсь создать диаграмму состояний отправленного искрового приложения. Я и вроде потерялся, когда тогда приложение считается НЕ ПРОШЁТНЫМ.
Состояния взяты отсюда: https://github.com/apache/spark/blob/d6dc12ef0146ae409834c78737c116050961f350/core/src/main/scala/org/apache/spark/deploy/master/DriverState.scala
Этот этап очень важен, так как когда дело доходит до больших данных, Spark великолепен, но давайте признаем, мы еще не решили проблему!
Когда задача/задание терпит неудачу, Spark перезапускает его (напомним, что RDD, основная абстракция, предоставляемая Spark, представляет собой устойчивый распределенный набор данных, который не является тем, что мы ищем здесь, но он даст интуиция).
Я использую Spark 1.6.2, и мой кластер перезапускает задание/задачу 3 раза, когда оно помечено как FAILED.
Например, на одном из моих недавних заданий пришлось перезапустить целую стадию:
В кластере/приложении можно увидеть идентификаторы попыток, здесь приложение находится в третьей и последней попытке:
Если эта попытка помечена как FAILED (по какой-либо причине, например, нехватка памяти, плохой DNS, выделение памяти GC, сбой диска, узел не ответил на 4 такта (вероятно, не работает) и т. д.), затем Spark перезапустит задание.
