Redis длина растет

наш трубопровод:
VMware-Netflow — > Logstash — > > Redis — > > > Logstash-indexer — > > > > 3xElastic

Данные, которые я собрал:

  • I notiticed in kibana that the flows coming in were 1 hour old, then
    2, затем 3 и так далее.
  • Запуск ‘redis-cli llen netflow’ показывает очень большое количество, которое медленно увеличивается.
  • Running ‘ redis-cli INFO показывает довольно постоянный вход на 80kbps и выход на 1kbps. Я думаю, что они должны быть почти равными.
  • Загрузка ЦП на всех узлах довольно незначительна.

Что я пробовал:

  • Я гарантировал, что logstash-индексатор отправлял во все 3 эластичных узла.
  • Я запустил много дополнительных экземпляров logstash на индексаторах, redis теперь показывает 40 клиентов.

Я не знаю, что еще попробовать.

1 ответ

  1. TLDR: перезагрузил все три узла elasticsearch, и жизнь снова хороша.

    Я нечаянно отключил elasticsearch в качестве вывода и отправил свои netflows в эфир. Размер очереди в redis снизился до 0 в минутах. Хотя и печально, это доказало, что это был elasticsearch, а не logstash или redis.

    Я наблюдал за эластичными экземплярами, и казалось, что что-то не так с связью между ними. Все три показали журналы, указывающие на то, что 2/3 выпадали из кластера, и потребовалась вечность, чтобы ответить на пинги кластера. То, что я думаю, происходило, это то, что записи были приняты elastic и просто прыгали вокруг некоторое время, прежде чем быть написанными успешно.

    После перезагрузки их всех, они договариваются правильно, и пишет происходит так, как они должны.