Раздача Программа для сбора ссылок с любых сайтов, каталогов и поисковых систем.

[catchcold]

Предыстория, может кому пригодится....

Я столкнулся с задачей спарсить emailы по определённой тематике. Нашёл для себя способ через программу Datacool, НО чтобы собрать email нужно вбивать url сайта, где программа будет искать эти мейлы. Может есть конечно другой способ, но изначально собирал адреса сайтов (urls) с поисковой выдачи по ключевым запросам. Но процес трудоёмкий, даже если делает помошник))))
Нужно было как-то собрать много urlов для дальнейшего сбора с них Emailов. Случайно наткнулся на программу. Которая это все делает. Называется Butterfly.

Возможности софта:

Парсер имеет простой и интуитивно понятный интерфейс, с которым разберется любой новичок, впервые запустивший программу.
Все найденные программой ссылки могут отсеиваться по фильтру, настроенному под Ваши личные потребности. Программа имеет много готовых настроенных и отлаженных профилей фильтрации и профилей поиска. Имеется возможность сохранять, как целые найденные ссылки, так только домены, или ссылки, построенные по маске.

Ссылка на сайт где можно скачать и на всякий случай на облако mail.ru

Авторизуйтесь, чтобы посмотреть скрытый контент

Может кому-то пригодится мой опыт.

 

[Valerii]

Предыстория, может кому пригодится....

Я столкнулся с задачей спарсить emailы по определённой тематике. Нашёл для себя способ через программу Datacool, НО чтобы собрать email нужно вбивать url сайта, где программа будет искать эти мейлы. Может есть конечно другой способ, но изначально собирал адреса сайтов (urls) с поисковой выдачи по ключевым запросам. Но процес трудоёмкий, даже если делает помошник))))
Нужно было как-то собрать много urlов для дальнейшего сбора с них Emailов. Случайно наткнулся на программу. Которая это все делает. Называется Butterfly.

Возможности софта:

Парсер имеет простой и интуитивно понятный интерфейс, с которым разберется любой новичок, впервые запустивший программу.
Все найденные программой ссылки могут отсеиваться по фильтру, настроенному под Ваши личные потребности. Программа имеет много готовых настроенных и отлаженных профилей фильтрации и профилей поиска. Имеется возможность сохранять, как целые найденные ссылки, так только домены, или ссылки, построенные по маске.

Ссылка на сайт где можно скачать и на всякий случай на облако mail.ru
***Скрытый текст не может быть процитирован.***

Может кому-то пригодится мой опыт.

Уважаемый, подскажите, в каких поисковиках ищет? По ключам выдачу парсит? Яндекс парсит? Прокси нужны? Капчу как разгадывает (чем)?

 

[Divores]

Уважаемый, подскажите, в каких поисковиках ищет? По ключам выдачу парсит? Яндекс парсит? Прокси нужны? Капчу как разгадывает (чем)?

Butterfly 4.0.1 - Мощный сборщик ссылок с любых сайтов, каталогов и поисковых систем.
Парсер имеет простой и интуитивно понятный интерфейс, с которым разберется любой новичок, впервые запустивший программу.
Все найденные программой ссылки могут отсеиваться по фильтру, настроенному под Ваши личные потребности. Программа имеет много готовых настроенных и отлаженных профилей фильтрации и профилей поиска. Имеется возможность сохранять как целые найденные ссылки, так только домены, или ссылки, построенные по маске.

В версии 4:

Изменен интерфейс программы. Предоставлена возможность использовать программу на нетбуках с небольшим разрешением экрана.
Реализована поддержка проверки локальных ссылок
Реализован вывод в лог ошибок при проверке сайтов
Добавлена возможность выводить в файл результатов ссылки с ошибкой проверки
Реализован механизм авторизации и получения дополнительных функций программы
Реализована защита IP через случайный прокси при парсинге
Реализован авточекер прокси
Возможность скрытия рекламы при наличии минимум одной дополнительной функции
Возможность не тестировать на работоспособность найденные ссылки (не фильтровать)
Изменен User-Agent
Возможность продолжения парсинга с того места где парсинг был прерван при следующем запуске программы
Возможность увеличения количества параллельных процессов до 300
Исправлена ошибка при работе с SSL
Исправлены и протестированы профили поиска и фильтрации
Исправлены мелкие ошибки

Изменения в версии 4.0.1:

Ручная настройка ограничения по времени проверки прокси сервера

В стандартной поставке Butterfly 4 включает 19 профилей поиска:

Поиск в Ask
Поиск в Bing
Поиск в каталоге DMOZ
Поиск в Gigablast
Поиск в Google
Поиск в Google (сайты на русском)
Поиск в Google (сайты на англиском)
Поиск в Google (сайты из USA)
Поиск в Mail.ru
Поиск в Meta.ua
Поиск в Lycos
Поиск в Nigma.ru
Поиск в новостях сайта NoNaMe
Поиск в Rambler
Поиск в Rambler TOP 100
Поиск в Refer.ru
Поиск в Yandex
Поиск в Yandex Каталог
Поиск в Yahoo

а так же 16 профилей фильтрации:

Отбор сайтов на Bitrix
Отбор каталогов CNCat
Отбор сайтов на DLE
Отбор сайтов на DLE (отбор реализованый в Butterfly 2)
Отбор сайтов на DLE (без Adult)
Отбор сайтов на Drupal
Отбор сайтов на Joomla
Отбор сайтов на MaxSite
Отбор сайтов на phpBB
Отбор сайтов на phpBB 3
Отбор сайтов на UCOZ
Отбор сайтов на WordPress
Отбор сайтов на vBulletin
Отбор сайтов на IPB
Отбор бесплатных и открытых торент трекеров
Без отбора (сохранение всех найденных сайтов)

 

[Proxy-Solutions]

Proxy-solutions.net - Инновационный сервис по продаже прокси.
Быстрые и стабильные серверные и мобильные прокси.

- Ассотримент стран и городов (операторов связи для мобильных прокси).
- Протоколы/типы соединения HTTP/HTTP(s), SOCKS5, UDP, Shadowsocks/Shadowsocks(R), socks5+tls, trojan + tls.
- Широкий функционал сервиса и личного кабинета.
- Консультант на сайте/ круглосуточная поддержка.

Скидка 5% на все услуги сервиса по промокоду: piratehub

 

[catchcold]

Butterfly 4.0.1 - Мощный сборщик ссылок с любых сайтов, каталогов и поисковых систем.
Парсер имеет простой и интуитивно понятный интерфейс, с которым разберется любой новичок, впервые запустивший программу.
Все найденные программой ссылки могут отсеиваться по фильтру, настроенному под Ваши личные потребности. Программа имеет много готовых настроенных и отлаженных профилей фильтрации и профилей поиска. Имеется возможность сохранять как целые найденные ссылки, так только домены, или ссылки, построенные по маске.

В версии 4:

Изменен интерфейс программы. Предоставлена возможность использовать программу на нетбуках с небольшим разрешением экрана.
Реализована поддержка проверки локальных ссылок
Реализован вывод в лог ошибок при проверке сайтов
Добавлена возможность выводить в файл результатов ссылки с ошибкой проверки
Реализован механизм авторизации и получения дополнительных функций программы
Реализована защита IP через случайный прокси при парсинге
Реализован авточекер прокси
Возможность скрытия рекламы при наличии минимум одной дополнительной функции
Возможность не тестировать на работоспособность найденные ссылки (не фильтровать)
Изменен User-Agent
Возможность продолжения парсинга с того места где парсинг был прерван при следующем запуске программы
Возможность увеличения количества параллельных процессов до 300
Исправлена ошибка при работе с SSL
Исправлены и протестированы профили поиска и фильтрации
Исправлены мелкие ошибки

Изменения в версии 4.0.1:

Ручная настройка ограничения по времени проверки прокси сервера

В стандартной поставке Butterfly 4 включает 19 профилей поиска:

Поиск в Ask
Поиск в Bing
Поиск в каталоге DMOZ
Поиск в Gigablast
Поиск в Google
Поиск в Google (сайты на русском)
Поиск в Google (сайты на англиском)
Поиск в Google (сайты из USA)
Поиск в Mail.ru
Поиск в Meta.ua
Поиск в Lycos
Поиск в Nigma.ru
Поиск в новостях сайта NoNaMe
Поиск в Rambler
Поиск в Rambler TOP 100
Поиск в Refer.ru
Поиск в Yandex
Поиск в Yandex Каталог
Поиск в Yahoo

а так же 16 профилей фильтрации:

Отбор сайтов на Bitrix
Отбор каталогов CNCat
Отбор сайтов на DLE
Отбор сайтов на DLE (отбор реализованый в Butterfly 2)
Отбор сайтов на DLE (без Adult)
Отбор сайтов на Drupal
Отбор сайтов на Joomla
Отбор сайтов на MaxSite
Отбор сайтов на phpBB
Отбор сайтов на phpBB 3
Отбор сайтов на UCOZ
Отбор сайтов на WordPress
Отбор сайтов на vBulletin
Отбор сайтов на IPB
Отбор бесплатных и открытых торент трекеров
Без отбора (сохранение всех найденных сайтов)

Спасибо)))

 

[Karleone]

Чёт я не пойму, как мне собрать ссылки с одного сайта, допустим мэил.ру? Не нашёл в проге куда вбить сайт, чтобы с него ссылки собрать

 

[catchcold]

простите а зачем нам чужие ссылки? толку от них...???

Я же в топике описал ситуацию. Мне нужны ссылки на сайты по определённому запросу, чтобы потом собрать с этих сайтов email-ы. Но цели у каждого могут быть разные.

 

[catchcold]

спамер что-ли оношки насмотрелся))) я до сих пор плакаю с имейл маркетинга..)

Интересно, что мы на "ты")))...
оношки? не пойму о чем ты... то, что ты "плакаешь" - это лично твоё дело. и открою тайну о великий специалист, только тсссс, emailы не всегда нужны для email-маркетинга. (всё с маленькой буквы, т.к. судя по всему - для тебя так привычнее)

 

[231]

спасибо, попробуем! кстати вышла обновленная версия

Авторизуйтесь, чтобы посмотреть скрытый контент

а датакол где брал? не поделишься?

 

[leshak]

Удобная софтинка, как-то раньше и не слышал о такой. Спасибо.

 

[Angariya]

Удобная софтинка, как-то раньше и не слышал о такой. Спасибо.

Софтина ничего, вот только для полноты функций необходимо купить разблокировку модулей (разгадывание капчи и прокси) Увы без этого сложно парсить... Поисковики быстро банят... и минимум что нужно. так это менять свой IP адрес. Пробовал напарсить тематических форумов себе для Хрумака...за сутки (с постоянным вводом вручную капчи) напарсил порядка 900 всего форумов... Понимаю, что тематика возможно узкая... поэтому и такой результат... Взял скормил прогу просто текстом разбитым пословно на строки... Результат снова не очень...

 

[catchcold]

спасибо, попробуем! кстати вышла обновленная версия ***Скрытый текст не может быть процитирован.***

а датакол где брал? не поделишься?

[HIDEL]
http://web-data-extractor.net/[/HIDEL] Вот тут. Я пользовался демкой. Её функционала для моих целей с головой хватало. Там отличие, на самом деле, от полной версии незначительное.