Как получить статус всех заданий через Spark Hidden REST API

Я использую spark 1.6.2, и я использую скрытый REST API ( http://arturmkrtchyan.com/apache-spark-hidden-rest-api ).

Как я могу получить статус всех заданий в одном вызове rest вместо того, чтобы использовать его для каждого — http://spark-cluster-ip:6066/v1/submissions/status/driver-20151008145126-0000 ?

1 ответ

  1. В зависимости от того, что именно вам нужно, вы можете использовать: 8080 / json, чтобы получить json, представляющий все приложения. Вы должны увидеть массив activeapps, который имеет короткую информацию о каждом приложении (включая его статус, например, работает):

    Например, если я открываю spark-shell, я получаю следующее поле в json:

    "memoryused" : 82944,
      "activeapps" : [ {
        "starttime" : 1484638046648,
        "id" : "app-20170117022726-0113",
        "name" : "Spark shell",
        "cores" : 60,
        "user" : "assaf",
        "memoryperslave" : 27648,
        "submitdate" : "Tue Jan 17 02:27:26 EST 2017",
        "state" : "RUNNING",
        "duration" : 26954
      } ],
    

    Обратите внимание, что это в основном добавление /json к порту пользовательского интерфейса, а не переход к порту отправки.