Spark History UI не работает | Ambari / YARN

У меня есть настройка кластера hadoop с помощью Ambari,которая имеет такие службы,как HDFS, YARN, spark, работающие на хостах.
Когда я запускаю образец spark pi в режиме кластера как master yarn, приложение успешно выполняется, и я могу просмотреть то же самое из журналов resource manager.
Введите описание изображения здесь

Но когда я нажимаю на ссылку история, она не показывает пользовательский интерфейс истории spark. Как включить / просмотреть то же самое?

1 ответ

  1. Во-первых, проверьте, настроен ли уже ваш сервер spark-history путем поиска spark.yarn.historyServer.addressв spark-defaults.conf.

    Если не настроен, эта ссылка должна помочь вам настроить сервер: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.6/bk_installing_manually_book/content/ch19s04s01.html

    Если уже настроено, проверьте, доступен ли хост сервера истории со всех узлов в кластере, а также открыт ли порт.