Я написал two case class , который расширяет базу abstract class . У меня есть два списка каждого класса ( listA и listB ). Когда я хочу объединить эти два списка, я не могу преобразовать окончательный список в набор данных Apache Spark 1.6.1....

Существуют методы преобразования набора данных в JavaRDD. Dataset<Row> dataFrame; JavaRDD<String> data = dataFrame.toJavaRDD(); Есть ли другие способы конвертировать набор данных в javaPairRDD<Long, Vector> ?

Я пытаюсь написать UDF искры, который заменяет нулевые значения поля Double на 0,0. Я использую API набора данных. Вот УДФ: val coalesceToZero=udf((rate: Double) => if(Option(rate).isDefined) rate else 0.0) Это основано на следующей...

Я использую Spark Dataset API для выполнения операций с JSON для извлечения определенных полей по мере необходимости. Однако, когда спецификация, которую я предоставляю, чтобы искра знала, какое поле извлекать, идет не так, как надо, искра...

У меня есть кадр данных joinDf , созданный путем объединения следующих четырех кадров данных на userId : val detailsDf = Seq((123,"first123","xyz")) .toDF("userId","firstName","address") val emailDf =...

извините за простой вопрос. Я хочу передать класс case в аргумент функции и использовать его дальше внутри функции. До сих пор я пробовал это с TypeTag и ClassTag , но по какой-то причине я не могу правильно его использовать или, может быть, я...

Я пытаюсь создать набор данных из RDD типа T , который, как известно, является классом case, переданным в качестве параметра моей функции. Проблема в том, что неявные кодировщики здесь не применяются. Как мне установить параметр типа, чтобы иметь...