Потоковая передача Kmeans Spark JAVA

Привет в основном мы хотели использовать Kafka + SPARK Streaming поймать Twitter спам на нашей диссертации. И я хотел использовать streamingkmean. Но у меня очень Новичок и серьезный вопрос:

В этом примере spark StreamingKmeans scala ( https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/mllib/StreamingKMeansExample.scala ) есть одна строка кода для предсказания:

model.predictOnValues(testData.map(lp => (lp.label, lp.features))).print()

Почему мне нужно передать «метку» с функциями ? Я имею в виду, не ошибаюсь ли я во всей идее ? Разве мы не хотим предсказать «ярлык» ? Как я могу предсказать свои твиты, если они спам или нет ?

1 ответ

  1. Для предсказания lp.featuresиспользуется только, тогда lp.labelкак рассматривается как ключ, который переносится. Цитирование из документов:

    Используйте модель для прогнозирования значений потока данных и переноса его ключей.

    Я думаю, в вашем примере вы просто хотите заменить predictOnValuesна predictOn