Читаем большой файл построчно (заодно узнаем, что такое генераторы)

Задача

Как прочитать большой файл построчно – эффективно, с точки зрения экономии памяти?

Решение без генераторов

Для эффективного чтения большого файла построчно в PHP следует использовать подход, который минимизирует использование памяти. Это особенно важно, если файл слишком большой, чтобы поместиться в оперативную память. В PHP для этого можно использовать функцию fgets() в сочетании с fopen(), которая позволяет читать файл построчно, не загружая его целиком

Пример кода для чтения большого файла построчно

function readLargeFileLineByLine(string $filePath): void {
    // Открываем файл для чтения
    $fileHandle = fopen($filePath, 'r');

    if (!$fileHandle) {
        throw new Exception("Не удалось открыть файл: $filePath");
    }

    try {
        // Читаем файл построчно
        while (($line = fgets($fileHandle)) !== false) {
            // Обрабатываем каждую строку
            processLine($line);
        }
    } finally {
        // Закрываем файл после завершения
        fclose($fileHandle);
    }
}

function processLine(string $line): void {
    // Пример обработки строки
    echo trim($line) . "\n"; // Убираем лишние пробелы и выводим строку
}

// Пример использования
$filePath = 'large_file.txt';
readLargeFileLineByLine($filePath);

Как это работает?

1. fopen():

   • Открывает файл для чтения. Второй аргумент 'r' указывает, что файл открывается только для чтения.

2. fgets():

   • Читает файл построчно. Каждый вызов fgets() возвращает следующую строку файла или false, если файл закончился.

3. processLine():

   • Функция, которая обрабатывает каждую строку. В этом примере строка просто выводится, но здесь можно добавить любую бизнес-логику.

4. fclose():

   • Закрывает файл после завершения чтения. Это важно для освобождения ресурсов.

Преимущества подхода

1. Эффективное использование памяти:

   • Файл читается построчно, поэтому в памяти хранится только одна строка, а не весь файл.

2. Гибкость:

   • Можно легко адаптировать для обработки строк в зависимости от бизнес-логики.

3. Поддержка больших файлов:

   • Подходит для файлов любого размера, так как не требует загрузки всего файла в память.

Пример с обработкой CSV

Если файл является CSV, можно использовать fgetcsv() для чтения и обработки данных:

function readLargeCsvFile(string $filePath): void {
    $fileHandle = fopen($filePath, 'r');

    if (!$fileHandle) {
        throw new Exception("Не удалось открыть файл: $filePath");
    }

    try {
        // Читаем заголовки (первую строку)
        $headers = fgetcsv($fileHandle);

        while (($row = fgetcsv($fileHandle)) !== false) {
            // Обрабатываем каждую строку как ассоциативный массив
            $data = array_combine($headers, $row);
            processCsvRow($data);
        }
    } finally {
        fclose($fileHandle);
    }
}

function processCsvRow(array $row): void {
    // Пример обработки строки CSV
    print_r($row);
}

// Пример использования
$filePath = 'large_file.csv';
readLargeCsvFile($filePath);

Итог

Для эффективного чтения больших файлов построчно:

• Используйте fopen() и fgets() (или fgetcsv() для CSV).
• Обрабатывайте каждую строку отдельно, чтобы минимизировать использование памяти.
• Закрывайте файл после завершения чтения.

Этот подход подходит для обработки файлов любого размера и легко адаптируется под различные бизнес-задачи.

Решение с генераторами

Нет, в приведенном решении генераторы не используются. Вместо этого используется классический подход с функциями fopen(), fgets() и fclose() для построчного чтения файла. Однако, если вы хотите использовать генераторы, это можно сделать, что сделает код еще более элегантным и удобным для работы с большими файлами.

Что такое генераторы?

Генераторы — это специальные функции в PHP, которые позволяют генерировать последовательности значений “на лету” без необходимости создания массива в памяти. Они используют ключевое слово yield для возврата значений по одному, что делает их идеальными для работы с большими наборами данных.

Пример с использованием генераторов

Вот как можно переписать решение с использованием генераторов:

function readLargeFileLineByLine(string $filePath): Generator {
    $fileHandle = fopen($filePath, 'r');

    if (!$fileHandle) {
        throw new Exception("Не удалось открыть файл: $filePath");
    }

    try {
        while (($line = fgets($fileHandle)) !== false) {
            yield trim($line); // Возвращаем строку по одной
        }
    } finally {
        fclose($fileHandle);
    }
}

// Пример использования
$filePath = 'large_file.txt';

foreach (readLargeFileLineByLine($filePath) as $line) {
    // Обрабатываем каждую строку
    echo $line . "\n";
}

Как это работает?

1. Генератор:

   • Функция readLargeFileLineByLine() использует yield для возврата строки файла по одной.
   • Каждый вызов yield приостанавливает выполнение функции и возвращает текущее значение.

2. foreach:

   • Генератор можно использовать в цикле foreach, который автоматически вызывает yield для получения следующего значения.

3. Эффективность:

   • Генераторы не загружают весь файл в память, а возвращают данные по мере их чтения.

Преимущества использования генераторов

1. Экономия памяти:

   • Генераторы возвращают данные по одному элементу, что позволяет обрабатывать файлы любого размера без перегрузки памяти.

2. Удобство:

   • Генераторы делают код более читаемым и удобным для работы с последовательностями данных.

3. Ленивые вычисления:

   • Данные генерируются только тогда, когда они запрашиваются (например, в цикле foreach).

Пример с обработкой CSV через генераторы

Если файл является CSV, можно также использовать генераторы:

function readLargeCsvFile(string $filePath): Generator {
    $fileHandle = fopen($filePath, 'r');

    if (!$fileHandle) {
        throw new Exception("Не удалось открыть файл: $filePath");
    }

    try {
        // Читаем заголовки (первую строку)
        $headers = fgetcsv($fileHandle);

        while (($row = fgetcsv($fileHandle)) !== false) {
            // Возвращаем строку как ассоциативный массив
            yield array_combine($headers, $row);
        }
    } finally {
        fclose($fileHandle);
    }
}

// Пример использования
$filePath = 'large_file.csv';

foreach (readLargeCsvFile($filePath) as $row) {
    // Обрабатываем каждую строку CSV
    print_r($row);
}

Итог

• Без генераторов: Используйте fopen(), fgets() и fclose() для построчного чтения файла. Это классический подход, который также эффективен.
• С генераторами: Используйте yield для создания генератора, который возвращает данные по одному элементу. Это делает код более элегантным и удобным для работы с большими файлами.

Оба подхода эффективны с точки зрения использования памяти, но генераторы добавляют дополнительную гибкость и удобство.

PS: больше задачек из собеседований – разбираем в моем телеграм канале и в моей книге