Php частая загрузка данных\файла скриптом - оптимизировать

Есть файл 100Кб+, который раз в несколько секунд надо некоторым способом парсить скриптом. Т.е. каждый раз при запуске php скрипта (как я сказал довольно часто) файл подгружается и некоторым способом обрабатывается. Возможно PHP попробует оптимизировать и загонит этот файл в память, а возможно и нет.

Как лучше поступить дабы не нагружать дисковый IO? Пока из идей загнать файл в кеш, но этот способ на крайний вариант. Может в php 7 есть что-то на этот случай.

есть ссд, и похуй на ио =)
там от 40тысяч до полутора миллионов ио против 160 на всяких крутящихся.

Я не вижу особой проблемы при таких нагрузках - "файл 100Кб+, который раз в несколько секунд". Вот для 10-100 запросов в секунду это более актуально, к тому же у ОС есть свой дисковый кеш.

Для справки, в PHP тоже есть разделяемая память в которую можно загнать этот файл и/или другие данные. Это лучше SSD!
http://php.net/shmop
http://www.ibm.com/developerworks/ru/library/os-php-shared-memory/index.html

Если файл открывается на чтение, то пофигу абсолютно. Это очень легкая операция и к тому же кешируемая системой. 99.999% ресурсов сожрет именно парсинг.
Тут лучше оптимизировать так, что бы кешировался результат парсинга.

кешируй в php результаты парсинга - т.е. оптимизировать парсер и поменять способ хранения.
далее просто подключаеш $data = include "твой файл c данными.php"
так php заиспользует opcache- а там само разберется в файл кешировать или в память.

Ailk: Да, SSD и он тоже не резиновый.
DF™: Что-то такое я и искал.
Stek: Есть подозрение, что сисетма кеширует, но как всегда бывает и система вроде дефолтная, а какой-то парметр админ отключил, так как он по какой-то странной причине, ну хотел именно так! Сталкивался с подобным, когда админы отключают кеширование вебсервера без обьяснения причин или временно, затем забыл включить. Сервисы работают на мониторинге, админа мало волнует остальные детали.
rickdeckard: Можно и так попробовать. Спасибо. Замечу, что бывает, что и этот кеш отключали мне админы в одном из ДЦ, как типа не приносящий особого эффекта, что, как минимум мне казалось странным.

Если это лог, который модифицируется постоянно или нечто похожее на лог. То тут возможно стоит хранить/изменять/читать этот лог в/из памяти(memcache|redis|APCu или вообще в tmpfs).
Если же это просто файл для чтения, с набором неких данных, то он 100% закешируется системой в cached Mem(если свободной памяти достаточно).

Axel: Это просто csv данные только для чтения, для обработки входящих извне данных.
Пока сделал влоб через file_get_contents.

Если постоянно читается один и тот же файл такого размера, очень вероятно система его держит в дисковом кэше.

Если же дисковый кэш настолько загружен, что файл каждый раз считывается с диска, то проблема с IO не в том месте, где ты её ищешь.

По shmop и прочему. Меня терзают смутные сомнения, что разбор csv (не руками, а fgetcsv/ str_getcsv) быстрее разделяемых способов хранения просто потому, что не нужен затратный unserialize.

Если у скрипта очень тяжелый старт (загрузить большую кучу данных, что-то посчитать и только после этого он готов к работе), тогда смысл что-то делать есть. В твоем случае смысла не видно.

Если ты в неведении о текущей загруженности IO, посмотри в вывод

Код:

iostat -dx 2

(первый блок не смотри, это общая статистика с момента загрузки; дальше раз в 2 секунды выводится текущая статистика).

Последи за колонками avgqu-sz (средняя длина очереди) и %util (общая загруженность). Если значения постоянно сидят близко к нулю, пусть всё работает как есть.

http://php.net/manual/ru/splfileobject.fgetcsv.php
Для парсинга цсв файлов. Сравни потребление памяти этим и через file_get_contents.
(пример1 и 2)

Там немного не стандартный csv и парсиь его удобно регуляркой, так как имеет значение в 99% только вхождение ключевика в файл.

Можно смешать код и данные: разбирать цсв по крону и модифицировать код основного скрипта подставляя сразу готовые данные.

Плохо, но эффективно. Так обычно гадость всякая делает.

Давно не писал на php, но может есть смысл демонизировать скрипт и сделать event loop, а не рестартить его раз в несколько секунд? Если старт ресурсоёмок само собой (много либ, коннектов куда-нибудь и т.д.)

Как уже выше писали - размер файла не тот что бы париться, скорее всего будет сидеть в кеше

Yacc писал:

Можно смешать код и данные: разбирать цсв по крону и модифицировать код основного скрипта подставляя сразу готовые данные.

Или, подогревать кеш результата парсинга кроном, и уже не так гадостно будет