Публикации по теме 'avro'
Inquire — самый быстрый способ интеграции GraphQL с Apache Kafka.
Введение
Apache Kafka — это платформа потоковой передачи событий с открытым исходным кодом, используемая тысячами компаний по всему миру. Благодаря своей превосходной производительности и масштабируемости Kafka стала идеальным решением для компаний, позволяющим надежно принимать и очень быстро перемещать большие объемы данных. Однако разработчики могут столкнуться с проблемами эффективности реализации при привязке Kafka к внешнему интерфейсу. Например, клиенту может потребоваться..
Вопросы по теме 'avro'
MultipleInputs с DBInputFormat в Hadoop
В моей базе данных у меня есть несколько таблиц, каждая из которых представляет собой отдельный тип объекта. У меня есть схема Avro, которую я использую в Hadoop, которая представляет собой объединение всех полей этих разных типов сущностей, а также...
1401 просмотров
schedule
04.04.2024
Как вложить записи в схему Avro?
Я пытаюсь заставить Python анализировать схемы Avro, такие как следующие...
from avro import schema
mySchema = """
{
"name": "person",
"type": "record",
"fields": [
{"name": "firstname", "type": "string"},
{"name":...
25214 просмотров
schedule
10.10.2023
Чтение записей Avro из HBase в Java
У меня есть сложная запись Avro (вложенные записи, объединенные типы), которую я храню как значение в HBase. Я читаю файл данных Avro, используя схему, которая в настоящее время соответствует схеме записи файла и записям, которые находятся в HBase:...
2795 просмотров
schedule
14.01.2024
Может ли apache avro писать в сеть?
Я пытаюсь записать огромное количество журналов в hdfs. Для этого я использую Flume с hdfs в качестве приемника и avro в качестве источника. Что мне нужно сделать, так это сериализовать мои журналы с помощью avro по сети в мой поток. Источник лотка...
226 просмотров
schedule
09.01.2024
Попытка десериализовать Avro в Spark с определенным типом
У меня есть несколько классов Avro, которые я создал, и теперь я пытаюсь использовать их в Spark. Итак, я импортировал свой сгенерированный в avro класс java, «twitter_schema», и обращаюсь к нему при десериализации. Кажется, работает, но в конце...
2431 просмотров
schedule
28.10.2022
Ошибка при преобразовании файла JSON в AVRO
Я следую инструкциям на веб-сайте AVRO и создаю файл json и схему. следующим образом (оба находятся в текстовых файлах):
JSON-файл
{"name": "user", "favorite_number": null, "favorite_color": "red"}
{"name": "user", "favorite_number": null,...
2474 просмотров
schedule
15.07.2022
Преобразовать протобуф в авро
Я пытаюсь преобразовать объект protobuf в Avro. Я использую
//myProto object is deserialized using google protobuf API
ProtobufDatumWriter<MyProto> pbWriter = new ProtobufDatumWriter<MyProto>(MyProto.class);
FileOutputStream fo = new...
5950 просмотров
schedule
02.02.2024
Avro с Kafka — десериализация с изменением схемы
На основе схемы Avro я создал класс (данные) для работы с классом, соответствующим схеме. После этого я кодирую данные и отправляю их в другое приложение «A», используя kafka.
Data data; // <- The object was initialized before . Here it is only...
2606 просмотров
schedule
29.06.2022
Spark AVRO S3 read не работает для секционированных данных
Когда я читаю определенный файл, он работает:
val filePath= "s3n://bucket_name/f1/f2/avro/dt=2016-10-19/hr=19/000000"
val df = spark.read.avro(filePath)
Но если я укажу папку для чтения данных, разделенных по дате, произойдет сбой:...
722 просмотров
schedule
16.10.2023
springxd - невозможно десериализовать [имя класса] Класс не найден
Я столкнулся с этой проблемой при сохранении данных из очереди ESB JMS в HDFS в avro с помощью springxd. Я создал собственный процессор для анализа входящего xml из очереди JMS, преобразования в avro и сохранения в HDFS с использованием потока...
55 просмотров
schedule
12.12.2023
Конвертировать файл CSV в AVRO в scala
Я новичок в скале. Я пытаюсь преобразовать файл CSV в формат avro. Я пытался погуглить об этом и ничего не нашел. Я дал образец используемого входного файла и формат AVSC (опять же из Google).
{"namespace": "example.avro",
"type": "record",...
2119 просмотров
schedule
15.12.2023
MessageConversionException при попытке сериализовать список Avro SpecificRecords и разделить их с помощью @Splitter
У меня есть сплиттер Spring Cloud Stream (Elmhurst Release) со связующим RabbitMQ. Я пытаюсь обновить его, чтобы он использовал схему Avro для полезных данных. Я получаю исключение преобразования, из-за которого создается впечатление, что...
1639 просмотров
schedule
13.12.2023
Обработка новой строки в значении столбца таблицы формата HIVE AVRO — содержит сложные типы данных и вложенные массивы
У меня есть таблица HIVE в формате AVRO, и один из столбцов в таблице содержит сложный тип данных (вложенные массивы). Один из элементов в этом вложенном массиве содержит данные, содержащие символы новой строки. Я использую множественный боковой...
302 просмотров
schedule
04.10.2023
Как команда импорта таблицы в Hive извлекает схему?
Я создал таблицу в схеме Avro. Вот сценарий создания.
CREATE TABLE `old_db.MyTable`(
`fileld1` string COMMENT '',
`field2` string COMMENT '',
`field3` string COMMENT '')
ROW FORMAT SERDE
'org.apache.hadoop.hive.serde2.avro.AvroSerDe'...
129 просмотров
schedule
11.11.2023
Преобразование Parquet в avro выдает java.lang.IllegalArgumentException: ошибка INT96 еще не реализована
Пытаюсь сконвертировать паркетный файл в avro но выдает "INT96 еще не реализован"
Не могли бы вы предложить какое-либо решение для этого
Parquet parquet = ParquetReaderUtils.getParquetData("000001_0");
MessageType messageType = new...
1291 просмотров
schedule
20.10.2022
как записать искровой фреймворк в формат файла avro в блокноте jupyter?
Я настроил кластер Amazon EMR с 1 главным узлом и 2 ядрами. Ниже приводится установка программного обеспечения на EMR: Hive 2.3.4, Pig 0.17.0, Hue 4.3.0, Ganglia 3.7.2, Spark 2.4.0, TensorFlow 1.12.0.
Я не настроил никаких действий начальной...
1975 просмотров
schedule
15.03.2024
BigQuery не может проанализировать файл avro shcema
Мне нужно создать пустую таблицу, используя файл схемы avro в большом запросе Google, но я не могу этого сделать ...
Я составил следующий образец файла схемы
{
"namespace": "tutorialspoint.com",
"type": "record",
"name": "emp",...
1801 просмотров
schedule
09.01.2024
Схема и массивы Avro
В C # я могу определить эти два объекта POCO для определения поколений.
public class Family
{
public List<Person> FamilyMembers {get; set;}
}
public class Person
{
public string FirstName {get; set;}
public string LastName {get; set;}...
670 просмотров
schedule
08.05.2024
ConvertAvroToJSON Apache Nifi с сохранением типа данных
Ниже приведен поток, который я создал для извлечения данных из БД и вызова веб-службы.
QueryDatabaseTableRecord --> SplitAvro --> ConvertAvroToJson --> EvaluateJsonPath --> ReplaceText --> InvokeHTTP
При преобразовании AvroToJson столбец даты...
262 просмотров
schedule
11.08.2022
Создание сообщения avro с использованием php-enqueue
Я изучаю способ создания сообщений avro с php на kafka, используя php-enqueue .
В их документации указано, что вы можете использовать другие форматы, включая Apache Avro.
По умолчанию транспорт сериализует сообщения в формате json, но вы...
379 просмотров
schedule
16.04.2024
