Продам A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 60 парсеров






A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера


A-Parser обладает следующими преимуществами:

  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 60 парсеров
    • Парсеры поисковых систем: Google, Yandex,
      se-aol.png
      AOL,
      se-bing.png
      Bing,
      se-baidu.png
      Baidu,
      se-duckduckgo.png
      DuckDuckGo,
      se-qip.png
      QIP,
      se-yahoo.png
      Yahoo,
      se-youtube.png
      YouTube
    • Парсеры подсказок поисковых систем: Google, Yandex,
      se-bing-suggest.png
      Bing, Yahoo
    • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
    • Регистрация аккаунтов:
      se-yandex-register.png
      Yandex
    • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP, PageRank, TrustRank, Compromised,
      se-google-safebrowsing.png
      SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
    • Парсеры различных сервисов: Bing Translator, Google Images,
      se-bing-images.png
      Bing Images, Google Maps,
      se-yandex-direct.png
      Yandex.Direct,
      util-antigate.png
      AntiGate
    • Парсеры контента:
      html-textextractor.png
      TextExtractor,
      html-linkextractor.png
      LinkExtractor,
      check-backlink.png
      BackLink,
      net-http.png
      HTTP парсер для создания произвольных парсеров
  • Создание собственных парсеров
    • Использование регулярных выражений
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1 и HTTPS
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, в т.ч. с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl и Python
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Техническая поддержка
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера


Более подробно ознакомится с возможностями парсера можно в полноценной документации


A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:





Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.

Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку


Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!
 

1.1.726 - новые возможности планировщика, множество исправлений


h4xt2.png



Улучшения


  • В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  • В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  • Файл логов задания теперь удаляется одновременно с удалением задания
  • В тестовом парсинге улучшен дебагер и предпросмотр HTML кода


Исправления в связи с изменениями в выдачи

  • se-youtube.png
    SE::YouTube,
    rank-dmoz.png
    Rank::DMOZ,
    rank-mustat.png
    Rank::Mustat,
    se-dogpile.png
    SE::Dogpile,
    se-ask.png
    SE::Ask,
    se-aol.png
    SE::AOL


Исправления


  • В парсере
    net-whois.png
    Net::Whois исправлен парсинг дат для множества доменных зон
  • Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  • Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  • Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  • В некоторых случаях использование XPath могло приводить к зависанию парсера
  • В парсере
    seo-ping.png
    SEO::ping исправлена обработка ответов для некоторых сервисов
  • В некоторых случаях ошибка задания могла отображаться некорректно


Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!


 

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах


6TCRx.png



В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)


Улучшения

  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  • В парсере
    se-yahoo.png
    SE::Yahoo теперь определяется бан прокси по IP
  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

Исправления в связи с изменениями в выдаче

  • se-yandex.png
    SE::Yandex - парсил только первую страницу выдачи
  • se-google-trends.png
    SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

Исправления

  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  • В парсере
    html-linkextractor.png
    HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

Исправления в JavaScript парсерах

  • Настройки checkbox воспринимались некорректно
  • Исправлена ошибка в работе this.cookies.setAll
  • В интерфейсе не отображались измененные параметры конфига
  • Исправлены утечки памяти
  • Исправлено игнорирование параметра success
  • Исправлено поведение при использовании Override настроек
  • Исправлена ошибка при получении результатов из другого парсера
 

1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing


6TCRx.png



Улучшения


  • В парсер
    se-bing.png
    SE::Bing добавлена возможность выбора языка результатов поиска
  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)
  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  • В парсере
    se-yandex-wordstat.png
    SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи


Исправления в связи с изменениями в выдачи

  • se-google.png
    SE::Google - исправлена работа с антигейтом
  • В парсере
    se-google.png
    SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
  • В парсере
    se-yandex.png
    SE::Yandex исправлен сбор сниппетов
  • se-aol.png
    SE::AOL,
    se-bing-images.png
    SE::Bing::Images


Исправления


  • Исправлена утечка памяти при использовании логов в задании
  • В парсере
    se-ask.png
    SE::Ask не определялся бан прокси
  • Исправлена работа опции allow_outside_files
  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным
 

1.1.790 - экспорт множества заданий и JavaScript парсеров


mvl55.png




A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:



5kn8d.png




Улучшения


  • Новый экспорт заданий

  • В JavaScript парсерах добавлена возможность указать иконку парсера

  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA

  • Добавлено автоматическое версионирование JavaScript парсеров

  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос

  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток

  • В JavaScript парсерах добавлен функционал управления прокси

  • В парсере
    check-backlink.png
    Check::BackLink улучшена обработка nofollow



Исправления в связи с изменениями в выдачи


  • se-duckduckgo.png
    SE::DuckDuckGo,
    se-ask.png
    SE::Ask,
    se-aol.png
    SE::AOL,
    rank-majesticseo.png
    Rank::MajesticSEO

  • se-bing.png
    SE::Bing не парсил при указании региона

  • Парсер
    se-yandex-wordstat.png
    SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи



Исправления


  • В парсере
    se-qip.png
    SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов

  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов

  • В парсере
    se-bing.png
    SE::Bing в серп могли попадать рекламные блоки

  • В парсере
    net-whois.png
    Net::Whois собиралась дата для некоторых доменов

  • В JavaScript парсерах исправлен вывод ошибок в коде

  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики

 

1.1.853 - новые парсеры и каталог пресетов


zldhe.png



У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно :)


Улучшения

  • Новый парсер
    html-emailextractor.png
    HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
  • Новый парсер
    rank-social-signal.png
    Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
  • Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
  • Оптимизирована работа при большом числе активных заданий
  • Оптимизирована версия A-Parser для ОС Linux x64
  • Для парсера
    se-qip.png
    SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
  • В парсере
    se-google-trends.png
    SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

Исправления в связи с изменениями в выдаче

  • se-duckduckgo.png
    SE::DuckDuckGo,
    se-ixquick.png
    SE::IxQuick,
    se-bing-addurl.png
    SE::Bing::AddURL

Исправления

  • В парсере
    se-google.png
    SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
  • В парсере
    rank-similarweb.png
    Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
  • Исправлен парсинг выдачи в
    se-bing.png
    SE::Bing если выбран язык отличный от английского
  • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры
 

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту


В версии A-Parser 1.1.873 добавлен новый парсер
se-google-fast.png
SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи


r5ege.png



Улучшения

  • Новый парсер
    se-google-fast.png
    SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер
    se-google-byimage.png
    SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере
    rank-similarweb.png
    Rank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере
    rank-linkpad.png
    Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

  • rank-similarweb.png
    Rank::SimilarWeb,
    se-google-images.png
    SE::Google::Images,
    rank-majesticseo.png
    Rank::MajesticSEO

Исправления

  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков
 

Новый каталог парсеров и пресетов

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик



Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность :) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!
 

1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google



В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:


93eop.png



Как следствие скорость парсинга Яндекса сильно выросла:


nhupu.png



Улучшения:

  • Добавлен парсер
    se-google-mobile.png
    SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
  • В парсере
    se-google-translate.png
    SE::Google::Translate названия языков теперь указаны на английском
  • В парсер
    shop-amazon.png
    Shop::Amazon добавлена возможность указать домен амазона
  • Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
  • Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера

Исправления в связи с изменениями в выдаче:

  • se-google-fast.png
    SE::Google::Fast,
    shop-amazon.png
    Shop::Amazon
  • se-yandex.png
    SE::Yandex - исправлена обработка каптчи
  • se-yandex.png
    SE::Yandex - исправлен сбор рекламных блоков
  • В парсере
    se-rambler.png
    SE::Rambler исправлена загрузка каптчи
 

Видео урок по созданию парсера на языке JavaScript

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.


Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
 

1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла

cb4qp.png


Улучшения:
  • Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик

    7ZvI1.png
  • Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст
Исправления в связи с изменениями в выдаче:
  • se-dogpile.png
    SE:: Dogpile,
    rank-majesticseo.png
    Rank::MajesticSEO,
    se-google-images.png
    SE::Google::Images,
    se-yandex.png
    SE::Yandex
Исправления:
  • Исправлены падения при работе JS парсеров на Windows 10
  • Исправлен баг с "белым экраном", который появился в предыдущей версии
  • Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
  • Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
  • Исправлена работа с каптчей в
    se-google.png
    SE::Google при работе через IPv6 прокси
 

Последнее редактирование:
Сборник статей #2: цикл статей-уроков по созданию JS парсеров

Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей документации подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!

drcxx_180109125728.png


  1. Получение результатов от стандартного парсера.
    В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.
  2. Парсинг сайта с проходом по страницах.
    Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.
  3. Парсинг title и description для топ10 сайтов по запросу.
    В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.
  4. Реализация подстановки запросов и их многопоточной обработки.
    Этот пример продемонстрирует, как "на лету" добавлять запросы с помощью tools.query.add, а также, как обрабатывать их в многопоточном режиме.
  5. Работа с CAPTCHA.
    В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.
  6. Работа с ReCaptcha2.
    А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.

Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
 

1.2.78 - поддержка сессий в JS парсерах, улучшение SE::Google::Modern, правки в интерфейсе

1.2.78.800px.png


Улучшения

  • Добавлена поддержка сессий в JavaScript парсерах
  • В
    se-google.png
    SE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
  • Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
  • Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
  • В Lite версию добавлен
    se-google.png
    SE::Google::Modern и
    util-recaptcha2.png
    Util::ReCaptcha2
  • В x86 версиях добавлено предложение перейти на x64
  • Добавлена возможность переименовывания пресетов
  • В окне выбора пресета для папок реализована "память на сворачивание"
  • Изменены иконки для JS парсеров
  • Исправлены ошибки с переводом в интерфейсе
  • Исправлено отображение HTML тегов в логах
  • Исправлен баг при импорте с вложенным парсером
  • Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
  • Доработан Конструктор регулярных выражений
  • Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

Исправления в связи с изменениями в выдаче

  • В
    se-google.png
    SE::Google::Modern исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
  • В
    se-google-suggest.png
    SE::Google::Suggest исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
  • Исправлен парсинг анкоров и сниппетов в
    se-duckduckgo.png
    SE :: DuckDuckGo
  • se-ask.png
    SE::Ask,
    se-dogpile.png
    SE :: Dogpile,
    rank-mustat.png
    Rank::Mustat

Исправления

  • Исправлен баг с перемещением заданий в очереди
  • В
    se-google.png
    SE::Google::Modern исправлен баг с кодировкой
  • Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
  • Исправлен выбор файлов запросов
  • Исправлено отображение иконок для JS парсеров
 

Видео урок: Создание JS парсеров. Получение результатов от стандартного парсера

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.


В уроке рассмотрено:
  • Создание кастомного JS парсера
  • Использование встроенного парсера внутри JS парсера
  • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
Полезные ссылки:
Статья и готовый парсер: https://a-parser.com/resources/254/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
 

Видео урок: Создание JS парсеров. Парсинг сайта с проходом по страницах

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.


В уроке рассмотрено:
  • Создание кастомного JavaScript парсера без использования встроенных парсеров
  • Парсинг контента сайта постранично с использованием регулярных выражений
  • Реализация прохода по страницам ("пагинации") в JS парсере
Статья и готовый парсер: https://a-parser.com/resources/255/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
 

1.2.138 - поддержка Node.js модулей, обработка ReCaptcha2 во всех парсерах Google, парсер AliExpress

logo1_2_138_plus_npm.png


В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.

Улучшения
  • Добавлена поддержка Node.js модулей в JavaScript парсерах
  • se-google-position.png
    SE::Google:: Position,
    se-google-compromised.png
    SE::Google::Compromised и
    se-google-trustcheck.png
    SE::Google::TrustCheck полностью переписаны, добавлена поддержка ReCaptcha2
  • Улучшена работы
    se-google.png
    SE::Google::Modern в целом
  • В
    se-youtube.png
    SE::Youtube добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
  • Добавлен
    shop-aliexpress.png
    Shop::AliExpress
  • Улучшена проверка создаваемых переменных в пресетах
  • Улучшена работа сессий
  • Исправлено отображение имени файла запроса на карточке задания
  • Улучшена работа скрола в Тестовом парсинге
  • Добавлено удаление переносов из сниппетов в
    se-google.png
    SE::Google::Modern
  • Картинка каптчи в парсере
    se-yandex-register.png
    SE::Yandex::Register теперь скачивается через прокси
  • Множество мелких улучшений в интерфейсе
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа Конструктора регулярных выражений
  • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
  • Исправлена работа SE::Google:: Position
  • Исправлен выбор региона в SE::Yandex:: Direct
  • Исправлена работа опции Location в SE::Google::Modern
  • Исправлена работа сессий в SE::Google::Modern при переопределенном домене
  • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
  • Исправлено отображение вкладок в Тесте задания
  • Исправлено отображение списка пресетов в поле Запустить по завершению
  • Исправлена работа this.proxy.set в JS парсерах
  • Исправлена передача дополнительных параметров в JS парсерах
  • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
  • Исправлен экспорт пресетов
 

Использование Xevil совместно A-Parser для разгадывания ReCaptcha2

ap+xevil_logo.png


Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.



На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

В видео показано:
  • подключение Xevil к A-Parser для работы с ReCaptcha2
  • проверка работы и демонстрация работы в SE::Google::Modern

Ознакомиться более детально с возможностями XEvil можно по ссылкам:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
 

Сборник рецептов #21: уведомления в Telegram из A-Parser, мультифильтр и парсинг IMDb

21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

Уведомления в Telegram из A-Parser

Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.
oz78y_180315000445.png


ai5di_180314231615.png


Фильтрация по множеству признаков

Как известно, для фильтрации в А-Парсере используется встроенный функционал фильтров. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
Начиная с версии 1.2.127 в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.

3cbbe_180315100634.png


Парсинг рекомендаций фильмов из IMDb

Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.

ecaoq_180220140515.png


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:
Сборники статей:
 

1.2.160 - поддержка SQLite, проверка доменов на клей, Parse all results в SE::Yahoo

ap+sqlite.png

Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования здесь
  • Добавлена защита от случайного закрытия окна парсера
  • В
    se-yahoo.png
    SE::Yahoo добавлены Parse all results и Parse related to level
  • se-yandex-tic.png
    SE::Yandex::TIC полностью переписан, добавлена возможность проверять домены на клей
  • В
    rank-megaindex.png
    Rank::MegaIndex добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в
    se-duckduckgo.png
    SE:: DuckDuckGo
  • Улучшен сбор почт в
    html-emailextractor.png
    HTML::EmailExtractor
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • se-bing-translator.png
    SE::Bing::Translator почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа
    se-seznam.png
    SE::Seznam с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в
    se-google.png
    SE::Google::Modern
  • Исправлен парсинг related keywords в
    se-bing.png
    SE::Bing
  • Исправлена работа
    se-ixquick.png
    SE::IxQuick при работе с русскоязычными запросами
  • se-yandex-direct.png
    SE::Yandex:: Direct,
    se-google-byimage.png
    SE::Google::ByImage,
    se-yandex-wordstat.png
    SE::Yandex::WordStat
Исправления
  • Исправлена работа
    se-google.png
    SE::Google::Modern на IPv6 прокси
  • Исправлена ошибка, из-за которой
    se-google.png
    SE::Google::Modern собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в
    se-bing.png
    SE::Bing
  • Исправлен парсинг запросов со спецсимволами в
    se-duckduckgo.png
    SE:: DuckDuckGo
  • Исправлена работа
    rank-majesticseo.png
    Rank::MajesticSEO
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
 

Видео урок: Создание JS парсеров. Работа с CAPTCHA

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.



В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser
Статья и готовый парсер: https://a-parser.com/resources/257/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
 

Назад
Сверху