У меня есть несколько действительно больших файлов, например, файл tif размером 320 МБ с разрешением 14000 X 9000 пикселей. Операции, которые мне нужно выполнить, в основном масштабируют изображения, чтобы получить их уменьшенные версии, и...

Мне нужно импортировать большой дамп mysql (до 10G). Однако дамп sql уже предопределен со структурой базы данных с определением индекса. Я хочу ускорить вставку БД, удалив определение индекса и таблицы. Это означает, что мне нужно...

Есть ли способ объединить использование scan() и read.big.matrix() из пакета bigmemory для чтения в файле .csv размером 200 МБ со столбцами смешанного типа, чтобы результатом был кадр данных с целым числом, символом, и числовые столбцы?

Моей первоначальной задачей было установить mod_perl 2.0.6 + Apache 2.2.22. Процесс остановился с большим количеством ошибок, связанных с off64_t , при компиляции mod_perl. Итак, я начал копать глубже. Во-первых, я установил два новых экземпляра...

Мне нужно прочитать символ файла размером 53 МБ. Когда я делаю это на С++ с помощью ifstream, это выполняется за миллисекунды, но с использованием Java InputStream это занимает несколько минут. Это нормально, что Java такая медленная, или я что-то...

У меня есть встроенное устройство Linux без огромного объема оперативной памяти, но с приличным объемом дискового пространства, но без свопа. Он должен принимать большие загрузки файлов (возможно, ГБ) через веб-интерфейс. Большинство веб-серверов, с...

Я использую элемент управления FileUpload в своем приложении для загрузки текстового файла. Этот элемент управления отлично работает для небольших файлов, но когда я пытаюсь загрузить файл размером 80 МБ, браузер отображает пустую страницу и...

Я пытаюсь использовать библиотеку static minizip в 64-разрядной версии Windows 7 с помощью Visual Studio 2010. Основная цель — архивировать файлы размером более 4 ГБ. Я собрал zlib с помощью CMake 2.8 и связал его со своим проектом. Он работает...

У меня есть два массива данных: один - это значения радиуса, а другой - соответствующее значение интенсивности при этой интенсивности: например небольшая часть данных. Первый столбец — это радиус, а второй — интенсивность. 29.77036614...

У меня есть текстовый файл размером 8,9 ГБ, я создаю из него RDD и импортирую его в Spark. textfile = sc.textFile("input.txt") Количество разделов, которые создает Spark, равно 279, что получается путем деления размера входного файла...

У меня есть программа, которая удаляет Hand #[any number] из файла <?php $file_name = 'the_file.txt'; $file = file_get_contents($file_name); $file_handle = fopen($file_name, "w+"); fwrite($file_handle, preg_replace("/^(Hand\s#\d+)/m",...

У меня есть большой CSV-файл, и мне нужно обработать каждую строку, чтобы подсчитать несколько слов. Мне нужно использовать некоторый подход MPI для распределения обработки данных между несколькими процессами. В настоящее время я использую...

Я хочу читать и записывать данные в файл hdf5 постепенно, потому что я не могу поместить данные в память. Данные для чтения/записи представляют собой наборы целых чисел. Мне нужно только читать/записывать наборы последовательно. Нет необходимости...

У меня есть большое количество CSV-файлов/кадров данных, которые слишком велики для хранения вместе в памяти. Однако я заметил, что размер столбцов различается между этими кадрами данных. Мои столбцы представляют собой перестановки «ACGT»...

У меня есть приложение Nodejs+Angular, и я развертываю его на AWS Elastic Beanstalk. В моем приложении у меня есть загрузка изображений, и все работает правильно, кроме больших изображений файлов. У меня есть некоторые настройки для этого: На...