конвертировать RDD[CassandraRow] к RDD[строка]

можно ли преобразовать RDD[CassandraRow] в RDD[String]? если да, то есть ли какой-либо недостаток в работе с преобразованным RDD ?

1 ответ

  1. Вы можете использовать sqlContext для чтения данных из таблицы Cassandra, он возвращает фрейм данных, и при чтении текстового файла с помощью sparkContext он возвращает RDD, а затем вы можете преобразовать его в DataFrame.

    Если ваши текстовые файлы CSV, Spark 2.0 поддерживает источник данных csv, он возвращает фрейм данных с помощью deafult. Пожалуйста, посмотрите это.. https://spark.apache.org/releases/spark-release-2-0-0.html#new-features и https://github.com/databricks/spark-csv/issues/

    Обновить:

    https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html