чтение блока строк в файле с помощью php

я не могу использовать file_get_contents(); потому что файл слишком большой. fgets() также читает текст построчно, что, вероятно, займет больше времени, чтобы закончить чтение всего файла.

Не понимаю, почему нельзя использовать fgets()

$blocksize = 50; // in "number of lines"
while (!feof($fh)) {
  $lines = array();
  $count = 0;
  while (!feof($fh) && (++$count <= $blocksize)) {
    $lines[] = fgets($fh);
  }
  doSomethingWithLines($lines);
}

Чтение 100 ГБ в любом случае потребует времени.

Подход fread звучит как разумное решение. Вы можете определить, достигли ли вы конца строки, проверив, является ли последний символ в строке символом новой строки ('\n'). Если это не так, вы можете либо прочитать еще несколько символов и добавить их к существующей строке, либо вы можете обрезать символы из своей строки до последней новой строки, а затем использовать fseek для настройки своей позиции в файле.

Дополнительное замечание: знаете ли вы, что чтение файла размером 100 ГБ займет очень много времени?

я думаю, что вы должны использовать fread($fp, somesize) и вручную проверять, нашли ли вы конец строки, иначе прочитайте другой фрагмент.

Надеюсь это поможет.

Я бы порекомендовал реализовать чтение одной строки внутри функции, скрывая детали реализации этого конкретного шага от остального кода — обрабатывающая функция не должна заботиться о том, как была извлечена строка. Затем вы можете реализовать свою первую версию с помощью fgets(), а затем попробовать другие методы, если вы заметите, что она работает слишком медленно. Вполне может быть, что первоначальная реализация слишком медленная, но дело в том, что вы не узнаете, пока не проверите.

Я знаю, что это старый вопрос, но я думаю, что новый ответ будет полезен для всех, кто в конце концов найдет этот вопрос.

Я согласен с тем, что чтение 100 ГБ требует времени, поэтому я также согласен с тем, что нам нужно найти наиболее эффективный вариант чтения, чтобы его можно было как можно меньше, вместо того, чтобы просто думать: «Кого волнует, сколько это, если это уже много». "Итак, давайте узнаем наше самое низкое возможное время.

Другое решение:

Кэшировать часть необработанных данных

Используйте fread для чтения кеша этих данных

Читать построчно

Читать строку за строкой из кеша до конца кеша или конца найденных данных

Прочитайте следующий фрагмент и повторите

Возьмите необработанную последнюю часть фрагмента (тот, который вы искали для разделителя строк) и переместите его вперед, затем прочитайте фрагмент размера, который вы определили, за вычетом размера необработанных данных и поместите его сразу после этого. необработанный фрагмент, то у вас есть новый полный фрагмент.
Повторяйте чтение построчно и этот процесс, пока файл не будет прочитан полностью.

Вы должны использовать кусок кеша больше, чем любой ожидаемый размер строки.

Чем больше размер кеша, тем быстрее вы читаете, но тем больше памяти вы используете.