Партнеры: Форум об анонимности и безопасности в сети. Всегда свежие списки прокси. | SMS активации, виртуальные номера |
Instaplus.me - лучший сервис для продвижения в Инстаграм. 5 дней бесплатно в Инстаплюс. |


Парсинг текста под Пандору

Amiramus

Новичок
Регистрация
5 Мар 2017
Сообщения
14
Реакции
6
И снова привет всем.
Как лучше парсить тексты под дорген Пандора: в один файл или раскидать по разным файлам (каждый тхт с текстами релевантными каждому конкретному ключу?
Или в принципе пофиг?
 


AlisaK

Свой
Регистрация
16 Авг 2015
Сообщения
322
Реакции
1,079
Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС
 

Amiramus

Новичок
Регистрация
5 Мар 2017
Сообщения
14
Реакции
6
Amiramus, чем парсишь отдельный парсер или контентбокс под Пандору?
но в том и другом случае парси в разные файлы, так как сам Топпер даже отписывал что если всё в один файл, это не есть гуд ты будешь иметь потери в скорости - контентбокс парсит в многопоток - 25 потоков и вот смотри все в один файл создается очередь записи, ведь файл один, а если ты сразу в 25 файлов параллельно, то тут только будет зависеть от скорости твоего жесткого диска, поэтому и появилась даже 64 битная Пандора, чтоб задействовать всю доступную память ОС
X-parser
Спасибо за ответ.
А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше
 
Рекламное сообщение

AdmVPS

Новичок
Регистрация
7 Авг 2014
Сообщения
2
Реакции
2
AdminVPS - Сверхбыстрые VPS на SSD дисках от 249 р. Все подробности на нашем сайте.

Бесплатно панель ISPmanager, администрирование, перенос + cкидка 50% на первый месяц VPS и хостинга по промокоду Openssource50
 

AlisaK

Свой
Регистрация
16 Авг 2015
Сообщения
322
Реакции
1,079
А сколько статей на один ключ парсить? 3 норм? Или чем больше тем лучше
вообще ваш первоначальный вопрос был в том что один текстовик на один какой то ключ, а теперь почему то вы решили по одному ключу парсить нн-ое количество статей. это вот и не то к чему надо стремиться, я делаю парсинг скрапбоксом там по умолчанию каждый ключ - свой текстовый файл и всё, пусть там нет логической последовательности, но это же вы делаете под доры и при генерации пандорой вновь будет задействован рандом, так что в итоге лишние манипуляции и не более
 

AlisaK

Свой
Регистрация
16 Авг 2015
Сообщения
322
Реакции
1,079
Сверху