Партнеры: Форум об анонимности и безопасности в сети. Всегда свежие списки прокси. | SMS активации, виртуальные номера |
Instaplus.me - лучший сервис для продвижения в Инстаграм. 5 дней бесплатно в Инстаплюс. |


Продам A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит Для просмотра ссылки необходимо: Войти или Регистрация

Для просмотра ссылки необходимо: Войти или Регистрация


A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера


A-Parser обладает следующими преимуществами:

  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 60 Для просмотра ссылки необходимо: Войти или Регистрация
    • Парсеры поисковых систем: Google, Yandex,
      AOL,
      Bing,
      Baidu,
      DuckDuckGo,
      QIP,
      Yahoo,
      YouTube
    • Парсеры подсказок поисковых систем: Google, Yandex,
      Bing, Yahoo
    • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
    • Регистрация аккаунтов:
      Yandex
    • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP, PageRank, TrustRank, Compromised,
      SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
    • Парсеры различных сервисов: Bing Translator, Google Images,
      Bing Images, Google Maps,
      Yandex.Direct,
      AntiGate
    • Парсеры контента:
      TextExtractor,
      LinkExtractor,
      BackLink,
      HTTP парсер для создания произвольных парсеров
  • Создание собственных парсеров
    • Использование регулярных выражений
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1 и HTTPS
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, в т.ч. с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl и Python
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Для просмотра ссылки необходимо: Войти или Регистрация
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера


Более подробно ознакомится с возможностями парсера можно в полноценной Для просмотра ссылки необходимо: Войти или Регистрация


A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:


Для просмотра ссылки необходимо: Войти или Регистрация


Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.

Для приобретения лицензии необходимо зарегистрироваться на сайте Для просмотра ссылки необходимо: Войти или Регистрация и перейти на Для просмотра ссылки необходимо: Войти или Регистрация.

Если у вас возникли вопросы - обращайтесь по любым контактам в Для просмотра ссылки необходимо: Войти или Регистрация


Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, Для просмотра ссылки необходимо: Войти или Регистрация, победитель будет выбран 5ого января 2017!
 

Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация





Улучшения


  • В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  • В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  • Файл логов задания теперь удаляется одновременно с удалением задания
  • В тестовом парсинге улучшен дебагер и предпросмотр HTML кода


Исправления в связи с изменениями в выдачи

  • SE::YouTube,
    Rank::DMOZ,
    Rank::Mustat,
    SE::Dogpile,
    SE::Ask,
    SE::AOL


Исправления


  • В парсере
    Net::Whois исправлен парсинг дат для множества доменных зон
  • Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  • Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  • Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  • В некоторых случаях использование XPath могло приводить к зависанию парсера
  • В парсере
    SEO::ping исправлена обработка ответов для некоторых сервисов
  • В некоторых случаях ошибка задания могла отображаться некорректно


Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!


 

Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация





В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также Для просмотра ссылки необходимо: Войти или Регистрация: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)


Улучшения

  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  • В парсере
    SE::Yahoo теперь определяется бан прокси по IP
  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога

Исправления в связи с изменениями в выдаче

  • SE::Yandex - парсил только первую страницу выдачи
  • SE::Google::Trends - использовал все попытки если по ключевому слову не было данных

Исправления

  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  • В парсере
    HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)

Исправления в JavaScript парсерах

  • Настройки checkbox воспринимались некорректно
  • Исправлена ошибка в работе this.cookies.setAll
  • В интерфейсе не отображались измененные параметры конфига
  • Исправлены утечки памяти
  • Исправлено игнорирование параметра success
  • Исправлено поведение при использовании Override настроек
  • Исправлена ошибка при получении результатов из другого парсера
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация





Улучшения


  • В парсер
    SE::Bing добавлена возможность выбора языка результатов поиска
  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - Для просмотра ссылки необходимо: Войти или Регистрация)
  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  • В парсере
    SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи


Исправления в связи с изменениями в выдачи

  • SE::Google - исправлена работа с антигейтом
  • В парсере
    SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
  • В парсере
    SE::Yandex исправлен сбор сниппетов
  • SE::AOL,
    SE::Bing::Images


Исправления


  • Исправлена утечка памяти при использовании логов в задании
  • В парсере
    SE::Ask не определялся бан прокси
  • Исправлена работа опции allow_outside_files
  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация






A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:







Улучшения


  • Новый экспорт заданий

  • В JavaScript парсерах добавлена возможность указать иконку парсера

  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA

  • Добавлено автоматическое версионирование JavaScript парсеров

  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос

  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток

  • В JavaScript парсерах добавлен функционал управления прокси

  • В парсере
    Check::BackLink улучшена обработка nofollow



Исправления в связи с изменениями в выдачи


  • SE::DuckDuckGo,
    SE::Ask,
    SE::AOL,
    Rank::MajesticSEO

  • SE::Bing не парсил при указании региона

  • Парсер
    SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи



Исправления


  • В парсере
    SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов

  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов

  • В парсере
    SE::Bing в серп могли попадать рекламные блоки

  • В парсере
    Net::Whois собиралась дата для некоторых доменов

  • В JavaScript парсерах исправлен вывод ошибок в коде

  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики

 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация





У нас появился Для просмотра ссылки необходимо: Войти или Регистрация, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно :)


Улучшения

  • Новый парсер
    HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
  • Новый парсер
    Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
  • Добавлена возможность устанавливать приоритет заданиям, Для просмотра ссылки необходимо: Войти или Регистрация
  • Оптимизирована работа при большом числе активных заданий
  • Оптимизирована версия A-Parser для ОС Linux x64
  • Для парсера
    SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
  • В парсере
    SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"

Исправления в связи с изменениями в выдаче

  • SE::DuckDuckGo,
    SE::IxQuick,
    SE::Bing::AddURL

Исправления

  • В парсере
    SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
  • В парсере
    Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
  • Исправлен парсинг выдачи в
    SE::Bing если выбран язык отличный от английского
  • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация


В версии A-Parser 1.1.873 добавлен новый парсер
SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи





Улучшения

  • Новый парсер
    SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер
    SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере
    Rank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере
    Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс

Исправления в связи с изменениями в выдаче

  • Rank::SimilarWeb,
    SE::Google::Images,
    Rank::MajesticSEO

Исправления

  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

Представляем наш новый Для просмотра ссылки необходимо: Войти или Регистрация - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик

Для просмотра ссылки необходимо: Войти или Регистрация

Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш Для просмотра ссылки необходимо: Войти или Регистрация, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:

Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность :) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:





Как следствие скорость парсинга Яндекса сильно выросла:





Улучшения:

  • Добавлен парсер
    SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
  • В парсере
    SE::Google::Translate названия языков теперь указаны на английском
  • В парсер
    Shop::Amazon добавлена возможность указать домен амазона
  • Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
  • Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера

Исправления в связи с изменениями в выдаче:

  • SE::Google::Fast,
    Shop::Amazon
  • SE::Yandex - исправлена обработка каптчи
  • SE::Yandex - исправлен сбор рекламных блоков
  • В парсере
    SE::Rambler исправлена загрузка каптчи
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.


Готовый парсер можно взять в нашем каталоге пресетов: Для просмотра ссылки необходимо: Войти или Регистрация

Оставляйте комментарии и Для просмотра ссылки необходимо: Войти или Регистрация
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация



Улучшения:
  • Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик

  • Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст
Исправления в связи с изменениями в выдаче:
  • SE:: Dogpile,
    Rank::MajesticSEO,
    SE::Google::Images,
    SE::Yandex
Исправления:
  • Исправлены падения при работе JS парсеров на Windows 10
  • Исправлен баг с "белым экраном", который появился в предыдущей версии
  • Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
  • Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
  • Исправлена работа с каптчей в
    SE::Google при работе через IPv6 прокси
 
Последнее редактирование:
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

Как известно, в A-Parser есть возможность создавать свои собственные парсеры, которые могут иметь практически любую логику и в то же время позволяют пользоваться всеми преимуществами А-Парсера. Для написания таких парсеров используется язык JavaScript. В нашей Для просмотра ссылки необходимо: Войти или Регистрация подробно описаны все функции и методы, которые можно использовать при написании парсеров. А в сегодняшнем сборнике мы на практических примерах покажем наиболее часто применяемые функции. Поехали!



  1. Для просмотра ссылки необходимо: Войти или Регистрация
    В этой статье описано использование функции yield this.parser.request, которая позволяет работать с уже существующими парсерами, получать от них данные и дополнительно обрабатывать их.
  2. Для просмотра ссылки необходимо: Войти или Регистрация
    Здесь показан общий подход к созданию парсера, который будет "ходить" по страницам на сайте и забирать с них некоторую информацию.
  3. Для просмотра ссылки необходимо: Войти или Регистрация
    В данном примере показано как написать собственный парсер, который объединит в себе две разных задачи: парсинг топ10 сайтов и парсинг данных из каждого полученного сайта. При этом также будет показана возможность реализации выбора между несколькими поисковиками, что делает такой парсер еще более универсальным.
  4. Для просмотра ссылки необходимо: Войти или Регистрация
    Этот пример продемонстрирует, как "на лету" добавлять запросы с помощью tools.query.add, а также, как обрабатывать их в многопоточном режиме.
  5. Для просмотра ссылки необходимо: Войти или Регистрация
    В этой статье на простом примере будет показан общий подход к работе с сайтами, на которых появляется каптча. Будет пошагово разобран алгоритм и продемонстрирован результат работы.
  6. Для просмотра ссылки необходимо: Войти или Регистрация
    А в этом примере по аналогии с обычной каптчей демонстрируется алгоритм работы с рекаптчей, а также вкратце поясняется принцип ее действия.

Для каждой статьи в конце будет продемонстрирован результат работы и дана ссылка на готовый парсер.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Для просмотра ссылки необходимо: Войти или Регистрация.

Подписывайтесь на Для просмотра ссылки необходимо: Войти или Регистрация - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Для просмотра ссылки необходимо: Войти или Регистрация.

Предыдущие сборники статей
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация



Улучшения

  • Добавлена поддержка сессий в JavaScript парсерах
  • В
    Для просмотра ссылки необходимо: Войти или Регистрация добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
  • Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
  • Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
  • В Lite версию добавлен
    Для просмотра ссылки необходимо: Войти или Регистрация и
    Для просмотра ссылки необходимо: Войти или Регистрация
  • В x86 версиях добавлено предложение перейти на x64
  • Добавлена возможность переименовывания пресетов
  • В окне выбора пресета для папок реализована "память на сворачивание"
  • Изменены иконки для JS парсеров
  • Исправлены ошибки с переводом в интерфейсе
  • Исправлено отображение HTML тегов в логах
  • Исправлен баг при импорте с вложенным парсером
  • Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
  • Доработан Конструктор регулярных выражений
  • Другие мелкие правки в интерфейсе, направленные на улучшение общей работы

Исправления в связи с изменениями в выдаче

  • В
    Для просмотра ссылки необходимо: Войти или Регистрация исправлен парсинг сниппетов и рекламы, а также мобильной выдачи
  • В
    Для просмотра ссылки необходимо: Войти или Регистрация исправлен парсинг подсказок, а также добавлена опция Remove HTML tags, позволяющая получать подсказки с или без html тегов
  • Исправлен парсинг анкоров и сниппетов в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Для просмотра ссылки необходимо: Войти или Регистрация,
    Для просмотра ссылки необходимо: Войти или Регистрация,
    Для просмотра ссылки необходимо: Войти или Регистрация

Исправления

  • Исправлен баг с перемещением заданий в очереди
  • В
    Для просмотра ссылки необходимо: Войти или Регистрация исправлен баг с кодировкой
  • Исправлена работа параметров Request delay и Extra query string во всех JS парсерах
  • Исправлен выбор файлов запросов
  • Исправлено отображение иконок для JS парсеров
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.


В уроке рассмотрено:
  • Создание кастомного JS парсера
  • Использование встроенного парсера внутри JS парсера
  • Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию
Полезные ссылки:
Статья и готовый парсер: Для просмотра ссылки необходимо: Войти или Регистрация

Оставляйте комментарии и Для просмотра ссылки необходимо: Войти или Регистрация
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.


В уроке рассмотрено:
  • Создание кастомного JavaScript парсера без использования встроенных парсеров
  • Парсинг контента сайта постранично с использованием регулярных выражений
  • Реализация прохода по страницам ("пагинации") в JS парсере
Статья и готовый парсер: Для просмотра ссылки необходимо: Войти или Регистрация

Оставляйте комментарии и Для просмотра ссылки необходимо: Войти или Регистрация
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация



В A-Parser 1.2.138 Для просмотра ссылки необходимо: Войти или Регистрация эмуляция Для просмотра ссылки необходимо: Войти или Регистрация версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.

Улучшения
  • Добавлена поддержка Node.js модулей в JavaScript парсерах
  • Для просмотра ссылки необходимо: Войти или Регистрация,
    Для просмотра ссылки необходимо: Войти или Регистрация и
    Для просмотра ссылки необходимо: Войти или Регистрация полностью переписаны, добавлена поддержка ReCaptcha2
  • Улучшена работы
    Для просмотра ссылки необходимо: Войти или Регистрация в целом
  • В
    Для просмотра ссылки необходимо: Войти или Регистрация добавлен выбор языка, а также реализована возможность включать/отключать Безопасный режим
  • Добавлен
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Улучшена проверка создаваемых переменных в пресетах
  • Улучшена работа сессий
  • Исправлено отображение имени файла запроса на карточке задания
  • Улучшена работа скрола в Тестовом парсинге
  • Добавлено удаление переносов из сниппетов в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Картинка каптчи в парсере
    Для просмотра ссылки необходимо: Войти или Регистрация теперь скачивается через прокси
  • Множество мелких улучшений в интерфейсе
Исправления в связи с изменениями в выдаче
  • Исправлена работа Для просмотра ссылки необходимо: Войти или Регистрация при переопределении опции Result type
  • Исправлен многостраничный парсинг в Для просмотра ссылки необходимо: Войти или Регистрация
  • Полностью переписан Для просмотра ссылки необходимо: Войти или Регистрация, добавлена возможность выводить ответ на секретный вопрос
  • Исправлена проверка следующей страницы в Для просмотра ссылки необходимо: Войти или Регистрация
  • Устранена ситуация, когда в Для просмотра ссылки необходимо: Войти или Регистрация парсилась неполная ссылка
  • Исправлен подсчет неудачных запросов в Для просмотра ссылки необходимо: Войти или Регистрация и Для просмотра ссылки необходимо: Войти или Регистрация
  • Для просмотра ссылки необходимо: Войти или Регистрация, Для просмотра ссылки необходимо: Войти или Регистрация
Исправления
  • Исправлена работа Конструктора регулярных выражений
  • Исправлена работа с кодировками в парсерах переводчиков и JS парсерах
  • Исправлена работа Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлен выбор региона в Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлена работа опции Location в Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлена работа сессий в Для просмотра ссылки необходимо: Войти или Регистрация при переопределенном домене
  • Исправлена ошибка при совместном использовании опций Перезаписи файла, Начального и Конечного текстов
  • Исправлено отображение вкладок в Тесте задания
  • Исправлено отображение списка пресетов в поле Запустить по завершению
  • Исправлена работа this.proxy.set в JS парсерах
  • Исправлена передача дополнительных параметров в JS парсерах
  • Исправлена ошибка, из-за которой через API нельзя было указать Начальный и Конечный тексты
  • Исправлен экспорт пресетов
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Использование Xevil совместно A-Parser для разгадывания ReCaptcha2



Как известно, сейчас Google при парсинге очень часто выдает рекаптчу, что значительно усложняет и замедляет сбор данных.
В A-Parser есть возможность обходить данную проблему, разгадывая рекаптчу с помощью сторонних сервисов. Поддерживаются различные онлайн сервисы, а также программные решения.

Одним из таких решений есть XEvil. Его использование дает хороший прирост в скорости, а также значительно удешевляет парсинг, ведь здесь нету оплаты за количество разгаданных каптч/рекаптч, как в онлайн сервисах. Кроме этого, XEvil умеет разгадывать практически любые обычные каптчи (в виде картинки) и данная возможность также поддерживается в A-Parser.

Для просмотра ссылки необходимо: Войти или Регистрация

На данный момент использовать разгадывание рекаптчи с помощью XEvil можно в таких парсерах:

В видео показано:
  • подключение Xevil к A-Parser для работы с ReCaptcha2
  • проверка работы и демонстрация работы в SE::Google::Modern

Ознакомиться более детально с возможностями XEvil можно по ссылкам:

Оставляйте комментарии и Для просмотра ссылки необходимо: Войти или Регистрация
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

21-й сборник рецептов. В нем мы научимся отправлять сообщения в Telegram прямо из A-Parser, изучим работу с модулями Node.js в JS парсерах на примере решения задачи фильтрации по множеству признаков, а также спарсим весь IMDb. Поехали!

Для просмотра ссылки необходимо: Войти или Регистрация

Telegram является одним из самых популярных мессенджеров благодаря своей простоте, и в то же время большому функционалу. Среди прочего, в Телеграме можно создавать ботов, с помощью которых можно делать чаты более интерактивными. Взаимодействие с ботом на на стороне сервера происходит через Telegram Bot API. Используя эти возможности, можно легко и буквально за несколько минут настроить уведомления себе в Telegram прямо из парсера. О том, как это сделать, а также несколько реальных примеров - по ссылке выше.




Для просмотра ссылки необходимо: Войти или Регистрация

Как известно, для фильтрации в А-Парсере используется встроенный функционал Для просмотра ссылки необходимо: Войти или Регистрация. Но бывают ситуации, когда список признаков, наличие которых нужно проверять, очень большой и его сложно вписать в строку стандартного фильтра.
Начиная с версии Для просмотра ссылки необходимо: Войти или Регистрация в A-Parser добавлена поддержка модулей Node.js. Благодаря этому появилась возможность читать список признаков из файла и использовать его для проверки страниц. О том, как это сделать, а также готовый парсер с мультифильтром - по ссылке выше.



Для просмотра ссылки необходимо: Войти или Регистрация

Пример решения задачи по сбору данных о фильмах и их рекомендаций на IMDb. Данная статья показывает, как можно решать задачи, которые на первый взгляд требуют много времени и ресурсов, буквально за несколько часов. Узнать о том, как спарсить весь IMDb за 1,5 часа, а также посмотреть пресет и забрать готовую базу можно по ссылке выше.



Еще больше различных рецептов в нашем Для просмотра ссылки необходимо: Войти или Регистрация!
Предлагайте ваши идеи для новых парсеров Для просмотра ссылки необходимо: Войти или Регистрация, лучшие будут реализованы и опубликованы.

Подписывайтесь на Для просмотра ссылки необходимо: Войти или Регистрация - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Для просмотра ссылки необходимо: Войти или Регистрация.

Предыдущие сборники рецептов:
Сборники статей:
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация


Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования Для просмотра ссылки необходимо: Войти или Регистрация
  • Добавлена защита от случайного закрытия окна парсера
  • В
    Для просмотра ссылки необходимо: Войти или Регистрация добавлены Parse all results и Parse related to level
  • Для просмотра ссылки необходимо: Войти или Регистрация полностью переписан, добавлена возможность проверять домены на клей
  • В
    Для просмотра ссылки необходимо: Войти или Регистрация добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Улучшен сбор почт в
    Для просмотра ссылки необходимо: Войти или Регистрация
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • Для просмотра ссылки необходимо: Войти или Регистрация почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа
    Для просмотра ссылки необходимо: Войти или Регистрация с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлен парсинг related keywords в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлена работа
    Для просмотра ссылки необходимо: Войти или Регистрация при работе с русскоязычными запросами
  • Для просмотра ссылки необходимо: Войти или Регистрация,
    Для просмотра ссылки необходимо: Войти или Регистрация,
    Для просмотра ссылки необходимо: Войти или Регистрация
Исправления
  • Исправлена работа
    Для просмотра ссылки необходимо: Войти или Регистрация на IPv6 прокси
  • Исправлена ошибка, из-за которой
    Для просмотра ссылки необходимо: Войти или Регистрация собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлен парсинг запросов со спецсимволами в
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлена работа
    Для просмотра ссылки необходимо: Войти или Регистрация
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
 
Регистрация
11 Апр 2015
Сообщения
138
Симпатии
473
Для просмотра ссылки необходимо: Войти или Регистрация

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

Для просмотра ссылки необходимо: Войти или Регистрация

В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser
Статья и готовый парсер: Для просмотра ссылки необходимо: Войти или Регистрация

Оставляйте комментарии и Для просмотра ссылки необходимо: Войти или Регистрация
 
Сверху