SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
 Добавлено: 19/07/06 в 20:46 |
Имеется сложная структура многоуровневого массива...
Запускаю - тачка через 10 мин глохнет буквально, сначала- думал где то в скрипте ошибка - думал циклит его. Все перелопатил - все ок вроде. Потом допер что ближе в концу выполнения колличество элементов достигает 100 тыс. в каждом около 20 символов... в общем понял я почему тачка виснет 
Я так понимаю - нужно промежуточный результат выгружать в файл или в мускуль?
Что посоветуете?
Массив имеет структуру $array[][][][] и его очень удобно обрабатывать пока он в памяти - куда и как его сложить на время что бы потом было так же удобно взять и использовать?
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 16.06.03
Сообщения: 192
Рейтинг: 126
|
| Добавлено: 19/07/06 в 21:31 |
http://us3.php.net/serialize
класть в текстовые файлы
и не забудь про unset()
но вообще, есть проблема с планированием алгоритма.
я бы посоветовал не выносить результаты, а написать скрипт с нуля, попутно решив проблему, например, лимитированием заносимой в массив информации. Тут проблема не в том что у тебя большой массив, и надо как то его на время вынести из памяти, а проблема в том что он есть, потом его нет, а потом его всеравно придется вчитать. Серваку это не понравится.
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 19/07/06 в 21:53 |
| Crusader писал: | | но вообще, есть проблема с планированием алгоритма. |
биг сэнкс 
переписываю алгоритм...
Лимитировать не хотелось бы. Попробую обрабатывать уже на начальном этапе
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 26.04.06
Сообщения: 77
Рейтинг: 70
|
| Добавлено: 19/07/06 в 23:12 |
поставь eAccelerator, должен немного помочь.
|
|
|
|
| |
эксклюзивщик
С нами с 08.03.05
Сообщения: 1013
Рейтинг: 512
|
| Добавлено: 19/07/06 в 23:45 |
а попробуй раскидать массив на несколько других. Память будет использоваться более оптимально
|
|
|
|
уникальные предложения по съемке контента гомосексуального харрактера
|
5
|
|
| |
С нами с 19.11.03
Сообщения: 3973
Рейтинг: 2362
|
| Добавлено: 20/07/06 в 00:31 |
| besoft писал: | | поставь eAccelerator, должен немного помочь. |
при 100к в памяти уже нечего не поможет, кроме выбора верного алгоритма, который не будет приводить к образованию такого объема данных.
Если бы афтор изложил суть задачи , было бы проще , а так это гадание на кофейной гуще.
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 20/07/06 в 07:54 |
всем спасибо!
В кратце смысл скрипта в том что определенный элемент проверяется на вхождение во всей это куче элементов. Ну я вначале пошел прямым путем Набрать массив а уже потом в нем поиск делать.
Ну а раз так, получается слишком накладно - тогда вначале сформирую элементы которые нужно искать - потом создам массив скажем в 1000 элементов - проверю есть ли совпадения ... - потом следующий - ну и так далее...
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 20/07/06 в 07:59 |
в общем вначале задача формировалась - совсем по другому и данных было меньше. Но потом по мере написания вносились какие-то идеи и уточнения и в результате получилась, что получилось... Теперь вот с нуля переписываю..
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 28.11.05
Сообщения: 73
Рейтинг: 11
|
| Добавлено: 21/07/06 в 02:25 |
это типа офтоп
Для программера преполезный список - http://www.pcweek.ru/?ID=454980&4Print=1 правда в нете искать запаришся но это классика
и любой програмер почерпнет много полезного
относительно твоей задачи обрати внимание на "Н. Вирт Алгоритмы и структуры данных" сие произведение как раз и относиться к данным и работе с ними, а так как достаточно старая книга то и проблемс были с памятью не сравнить с нашими и все равно народ выкручивался, также там полно алгоритмов поиска от тупого перебора до ассоциативного и пузырькового ;) типа нафик изобретать велосипед ежели люди уже давно на нем катаются...
В свое время, гы лет 7-8 назад почерпнул от туда кучу полезностей...
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 21/07/06 в 08:37 |
ага спасибо
будем разбираться
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 10.12.02
Сообщения: 56
Рейтинг: 27
|
| Добавлено: 21/07/06 в 09:54 |
А если взять любую базу данных и построить правильные индексы?
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 21/07/06 в 14:58 |
всмысле? непонял что ты имел ввиду..
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
С нами с 10.12.02
Сообщения: 56
Рейтинг: 27
|
| Добавлено: 21/07/06 в 18:06 |
Занести все элементы в базу и построить индекс.
И искать в базе уже - есть этот элемент или нет.
|
|
|
|
| |
SexBlogs.Name
С нами с 13.10.03
Сообщения: 3159
Рейтинг: 962
|
| Добавлено: 21/07/06 в 18:30 |
а.. понял ... да я уже алгоритмом новым порешал
все по полочкам разложил - тестю теперь - работает вроде
|
|
|
|
Submit your blog to the sex blogs list. PR=3 Quickly approve! 10 posts min. Ping every 6 hour!
|
0
|
|
| |
