Вопросы по теме 'large-files'
Какие библиотеки доступны для работы со сверхбольшими изображениями в .Net
У меня есть несколько действительно больших файлов, например, файл tif размером 320 МБ с разрешением 14000 X 9000 пикселей.
Операции, которые мне нужно выполнить, в основном масштабируют изображения, чтобы получить их уменьшенные версии, и...
1304 просмотров
schedule
24.11.2023
Редактировать очень большой дамп/текстовый файл sql (в Linux)
Мне нужно импортировать большой дамп mysql (до 10G). Однако дамп sql уже предопределен со структурой базы данных с определением индекса. Я хочу ускорить вставку БД, удалив определение индекса и таблицы.
Это означает, что мне нужно...
23956 просмотров
schedule
26.02.2024
Как загрузить большой CSV-файл со столбцами смешанного типа с помощью пакета bigmemory
Есть ли способ объединить использование scan() и read.big.matrix() из пакета bigmemory для чтения в файле .csv размером 200 МБ со столбцами смешанного типа, чтобы результатом был кадр данных с целым числом, символом, и числовые столбцы?
3291 просмотров
schedule
18.11.2023
Почему не-поточный Perl не использует тип off64_t по сравнению с однопоточным?
Моей первоначальной задачей было установить mod_perl 2.0.6 + Apache 2.2.22. Процесс остановился с большим количеством ошибок, связанных с off64_t , при компиляции mod_perl. Итак, я начал копать глубже. Во-первых, я установил два новых экземпляра...
387 просмотров
schedule
01.12.2023
Java: InputStream слишком медленный для чтения огромных файлов
Мне нужно прочитать символ файла размером 53 МБ. Когда я делаю это на С++ с помощью ifstream, это выполняется за миллисекунды, но с использованием Java InputStream это занимает несколько минут. Это нормально, что Java такая медленная, или я что-то...
28812 просмотров
schedule
20.12.2023
Какой бесплатный встроенный веб-сервер может обрабатывать *ДЕЙСТВИТЕЛЬНО БОЛЬШИЕ* POST-запросы?
У меня есть встроенное устройство Linux без огромного объема оперативной памяти, но с приличным объемом дискового пространства, но без свопа. Он должен принимать большие загрузки файлов (возможно, ГБ) через веб-интерфейс. Большинство веб-серверов, с...
409 просмотров
schedule
23.03.2024
Управление загрузкой файлов не может обрабатывать большие файлы (более 75 МБ) в ASP.NET С#
Я использую элемент управления FileUpload в своем приложении для загрузки текстового файла. Этот элемент управления отлично работает для небольших файлов, но когда я пытаюсь загрузить файл размером 80 МБ, браузер отображает пустую страницу и...
1270 просмотров
schedule
15.10.2023
почему minizip не архивирует большой файл (более 4 Гб)
Я пытаюсь использовать библиотеку static minizip в 64-разрядной версии Windows 7 с помощью Visual Studio 2010. Основная цель — архивировать файлы размером более 4 ГБ. Я собрал zlib с помощью CMake 2.8 и связал его со своим проектом. Он работает...
2833 просмотров
schedule
14.02.2024
Python: гистограмма/биннинг данных из 2 массивов.
У меня есть два массива данных: один - это значения радиуса, а другой - соответствующее значение интенсивности при этой интенсивности:
например небольшая часть данных. Первый столбец — это радиус, а второй — интенсивность.
29.77036614...
855 просмотров
schedule
28.01.2024
Как изменить количество разделов RDD с большим локальным файлом (не HDFS-файлом)?
У меня есть текстовый файл размером 8,9 ГБ, я создаю из него RDD и импортирую его в Spark.
textfile = sc.textFile("input.txt")
Количество разделов, которые создает Spark, равно 279, что получается путем деления размера входного файла...
1731 просмотров
schedule
09.10.2022
Как обработать файл по частям
У меня есть программа, которая удаляет Hand #[any number] из файла
<?php
$file_name = 'the_file.txt';
$file = file_get_contents($file_name);
$file_handle = fopen($file_name, "w+");
fwrite($file_handle, preg_replace("/^(Hand\s#\d+)/m",...
20 просмотров
schedule
27.10.2022
Разброс MPI для распространения большого файла csv
У меня есть большой CSV-файл, и мне нужно обработать каждую строку, чтобы подсчитать несколько слов. Мне нужно использовать некоторый подход MPI для распределения обработки данных между несколькими процессами. В настоящее время я использую...
968 просмотров
schedule
20.08.2022
Pandas HDFStore для внесистемного последовательного чтения/записи наборов с переменными размерами
Я хочу читать и записывать данные в файл hdf5 постепенно, потому что я не могу поместить данные в память.
Данные для чтения/записи представляют собой наборы целых чисел. Мне нужно только читать/записывать наборы последовательно. Нет необходимости...
245 просмотров
schedule
18.08.2022
Объединить несколько файлов csv с разными столбцами в ошибке python с помощью writerow
У меня есть большое количество CSV-файлов/кадров данных, которые слишком велики для хранения вместе в памяти. Однако я заметил, что размер столбцов различается между этими кадрами данных. Мои столбцы представляют собой перестановки «ACGT»...
139 просмотров
schedule
23.04.2024
Как включить загрузку больших файлов в моем приложении Nodejs на AWS Elastic Beanstalk?
У меня есть приложение Nodejs+Angular, и я развертываю его на AWS Elastic Beanstalk. В моем приложении у меня есть загрузка изображений, и все работает правильно, кроме больших изображений файлов. У меня есть некоторые настройки для этого:
На...
284 просмотров
schedule
17.11.2022