Вопросы по теме 'azure-data-lake'
Azure Data Lake U-SQL Pivot
Мне нравится Azure Data Lake, но отсутствие документации, вероятно, замедлит внедрение. Я надеюсь, что у кого-то больше опыта работы с U-SQL, чем у меня.
Попытка извлечь из того, что доступно в Microsoft.Analytics.Interfaces и через интерпретатор...
1731 просмотров
schedule
22.11.2023
Разобрать файл json в U-SQL
Я пытаюсь разобрать ниже файл Json с помощью USQL, но продолжаю получать ошибку.
Json file@
{"dimBetType_SKey":1,"BetType_BKey":1,"BetTypeName":"Test1"}
{"dimBetType_SKey":2,"BetType_BKey":2,"BetTypeName":"Test2"}...
2576 просмотров
schedule
24.04.2024
Как разобрать большую строку U-SQL Regex
У меня есть большие CSV, которые содержат большие строки. Я хочу разобрать их в U-SQL.
@t1 =
SELECT
Regex.Match("ID=881cf2f5f474579a:T=1489536183:S=ALNI_MZsMMpA4voGE4kQMYxooceW2AOr0Q",...
928 просмотров
schedule
06.07.2022
я хочу выбрать только несколько столбцов из файла .csv в фабрике данных U-SQL Azure
я хочу выбрать только несколько столбцов из файла .csv в фабрике данных U-SQL Azure.
в моем CSV-файле 10 столбцов. Я хочу выбрать только 5 столбцов и записать в новый файл.
621 просмотров
schedule
03.11.2022
Когда я запускаю задание flink для сохранения данных в Azure Data Lake, я получаю указанное ниже исключение. Может ли кто-нибудь помочь мне в этом?
I am using concurrend append method from the class Core in Azure to store data to Azure Data lake.Below is the code and the exception which I got.I am getting this exception rarely not always.Could anyone guide me?...
public void invoke(String...
543 просмотров
schedule
24.11.2023
Загрузка повторяющихся CSV-файлов в базу данных Azure из локальной среды
Мы создаем решение для быстрого приложения/быстрого выигрыша, которое влечет за собой загрузку ежемесячных CSV-файлов из локального хранилища (т. е. файлов) в таблицы Azure blob/SQL. Есть 4 файла, каждый из которых имеет 50000 строк, а название...
482 просмотров
schedule
01.05.2024
Как подключить хранилище озера данных в службах анализа Azure
Как подключить хранилище озера данных в службах анализа Azure
Можем ли мы использовать HIVE ODBC или какие-либо другие варианты?
924 просмотров
schedule
29.11.2023
Динамический FROM в операторе U-SQL
Я пытаюсь создать динамическое предложение FROM в U-SQL, чтобы мы могли извлекать данные из разных файлов на основе результатов предыдущего запроса. Это что-то вроде этого:
@filesToExtract = SELECT whatevergeneratesthepaths from @foo; <-- this...
542 просмотров
schedule
03.01.2024
Сбой фабрики данных Azure при копировании файлов больших данных
Я использую фабрику данных Azure для копирования данных из REST API в Azure Data Lake Store . Ниже приведен JSON моей активности.
{
"name": "CopyDataFromGraphAPI",
"type": "Copy",
"policy": {
"timeout": "7.00:00:00",...
3173 просмотров
schedule
26.04.2024
Ошибка при попытке чтения файла в хранилище Data Lake
В моем хранилище озера данных Azure я пытаюсь прочитать файл, импортированный с помощью конвейера в фабрике данных Azure 2.
Хотя я вошел в систему с теми же учетными данными, которые использовал для создания фабрики данных, регистрации приложения...
1360 просмотров
schedule
17.11.2022
Ошибка U-SQL - измените идентификатор, чтобы использовать хотя бы одну строчную букву.
Я новичок в U-SQL и пытаюсь запустить сценарий U-SQL в Azure Data Lake Analytics для обработки файла паркета с помощью функции извлечения паркета. Я получаю указанную ниже ошибку и не могу ее обойти. Ошибка - измените идентификатор, чтобы...
719 просмотров
schedule
03.05.2024
Вызов USQL для чтения массива json без ключа
У меня есть вложенный json, который я пытаюсь сгладить в usql. Данными поделиться не могу, но структура похожа на эту.
{
"userlist": [user1, user1],
"objects": {
"largeobjects": [object1, object2, object3]
"smallobjects":...
579 просмотров
schedule
31.12.2023
Ошибка при создании ВНЕШНЕГО ИСТОЧНИКА ДАННЫХ в версии SQL Server 2016, попытка подключения локального SQL Server к Azure Data Lake
Я пытаюсь подключить SQL Server к Azure Data Lake, используя концепцию Polybase. При попытке создать внешний источник данных ниже появляется ошибка:
Команда SQL:
CREATE EXTERNAL DATA SOURCE AzureDataLakeStore_4
WITH (
TYPE = HADOOP,...
858 просмотров
schedule
22.01.2024
Есть ли примеры использования NodeJS в Функциях Azure для сохранения файлов в хранилище озера данных Azure?
мой вариант использования очень похож на этот вопрос . Но мы ищем решение для nodejs. Нигде не нашел. Надеюсь, по крайней мере, это выполнимо.
750 просмотров
schedule
23.09.2022
Получение ошибки Обнаружено недопустимое значение конфигурации для fs.azure.account.key при чтении файла из ADLS Gen2 с использованием субъекта-службы
Я получаю сообщение об ошибке при чтении файла из ADLS Gen2 с использованием субъекта-службы.
configs = {"fs.azure.account.auth.type": "OAuth",
"fs.azure.account.oauth.provider.type":...
1528 просмотров
schedule
18.02.2024
Список всех файлов в папке, находящейся в озере данных
Я пытаюсь составить список всех файлов в папке, в которой есть несколько подпапок, каждая из которых находится в озере данных. Вот код, который я тестирую.
import sys, os
import pandas as pd
mylist = []
root = "/mnt/rawdata/parent/"
path =...
7805 просмотров
schedule
24.04.2024
Может ли хранилище Azure BLOB-объектов использовать протокол abfss? Или он использует только мусор?
У меня есть ситуация, когда я обрабатываю некоторый код приема данных, где среда настроена как таковая: хранилище Azure blob (не adls) используется в качестве временного хранилища, а код должен создавать внешнюю таблицу из файлов во временном...
636 просмотров
schedule
02.03.2024
Как подключиться и получить доступ к хранилищу Azure Datalake Gen1, используя только имя пользователя и пароль Azure Ad - c #
Я хочу подключиться и получить доступ к хранилищу Azure Datalake Gen1, используя только имя пользователя и пароль Azure Ad.
У меня есть учетная запись службы с доступом к хранилищу Azure Datalake Gen1. Я могу подключиться и загрузить файлы,...
240 просмотров
schedule
26.10.2022
Озеро данных Azure: этот запрос не авторизован для выполнения этой операции.
Этот вопрос не дублирует Этот запрос не авторизован для выполнения этой операции. Azure blobClient
Я хочу получить доступ к озеру данных Azure из функции Azure. Я использую управляемую идентификацию и назначил для этой функции роль владельца на...
347 просмотров
schedule
04.10.2022
Как эффективно загружать целые каталоги из озера данных Azure через API Python?
У меня есть некоторые данные (несколько ГБ) в лазурном озере данных, распределенные по нескольким файлам по 2 МБ каждый. Я хотел бы написать скрипт загрузки, чтобы получить полный каталог. До сих пор я пробовал подход, аналогичный руководство...
270 просмотров
schedule
12.08.2022
