Как посмотреть состояние выполнения spark в режиме yarn-cluster на AWS

Я запускаю приложение spark в режиме yarn-cluster на AWS.

Введите описание изображения здесь
Введите описание изображения здесь

Как вы видите, я не могу получить никакого запущенного состояния из интернета.

Из консоли я только получаю16/05/26 10:12:01 INFO yarn.Client: Application report for application_1464256533172_0002 (state: RUNNING), который просто указывает, что он жив.

+++

Вот снимок в режиме yarn-client при том же условии.Введите описание изображения здесь

Кажется, все в порядке. По крайней мере, индикатор прогресса был показан. Но даже после окончания выполнения, он больше не менялся и по-прежнему показывал 0/368 заданий.

Теперь я могу сказать только в режиме yarn-client, работающий статус может быть показан, но никогда не обновляться…
Таким образом, как показать обновляемый статус в режиме yarn-cluster.

1 ответ

  1. Я не вижу никаких рабочих мест в ваших исполнителях. Проверьте код, чтобы узнать, выполнили ли вы какое-либо действие с RDD в задании spark.