Продам A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

A-Parser support · 2 Июл 2019

Видео урок: Макросы подстановок
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.

В уроке рассмотрено:

макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

Форматирование и подстановки запросов | A-Parser - парсер для профессионалов SEO - документация по макросам подстановок
Сбор всех организаций в определенной местности - пресет по перебору координат в

Maps::Google
Проход по страницам с помощью макроса {num}
Размножение запросов с помощью макроса {az} на примере парсинга с inurl: - пресет для парсинга с inurl:
Генерация словосочетаний для запросов с помощью макроса {each} - пресет для парсинга подсказок

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser support · 11 Июл 2019

1.2.534 - 6 новых парсеров, поддержка Node.js в tools.js, множество исправлений в парсерах

Улучшения

Добавлено 4 новых парсера Instagram
- Social::Instagram:ost - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
- Social::Instagram:rofile - парсинг данных о профилях и списка постов
- Social::Instagram::Tag - парсинг постов по тегах
- Social::Instagram::Geo - парсинг постов в определенной локации
Добавлено 2 новых парсера SerpStat
- Rank::SerpStat::Keyword - парсинг данных по ключевому слову
- Rank::SerpStat:: Domain - парсинг данных по доменам/ссылкам
Добавлена поддержка дробных чисел в макросе подстановок {num}
Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
Стабилизирована работа

SE::Google::Modern после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
Улучшена проверка ответа в

Maps::Yandex, улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы

Исправления в связи с изменениями в выдаче

Исправлена ситуация, при которой в

SE::Google::Modern выдавался 597 код ответа
В

SE::Yandex исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
Исправлена редко встречающаяся проблема с

SE::Google::Translate, когда парсер получал в ответ 403 статус
Исправлено определение языка запроса в

SE::Google::Translate
Исправлена работа

SE::YouTube, а также исправлен сбор $title
В

Rank::Social::Signal удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
В

Shop::Yandex::Market исправлен парсинг $features для некоторых видов запросов
Исправлен урл запроса в

SE:: DuckDuckGo

Исправления

Исправлен баг в

Rank::Bukvarix:: Domain, из-за которого в некоторых случая парсинг завершался с ошибкой
В парсерах Maps::* исправлена работа с отрицательными координатами
В

Rank::SEMrush исправлена ошибка определения "удачности" запроса
Исправлен баг в tools.js, возникший после обновления V8
API: исправлена работа метода getAccountsCount
JS парсеры: исправлен баг со слэшем в check_content

A-Parser support · 22 Июл 2019

Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

Сбор ссылок с GET параметрами
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.

Поиск и скачивание Google документов
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.

Работаем с API, часть 3
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser support · 1 Авг 2019

Сборник рецептов #34: оценка трафика, парсинг Ahrefs и информация об IP адресах

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

Чек трафика сайта
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.

Парсер Ahrefs на основе Ahrefs API
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.

Парсинг подсети и организации по IP
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser support · 20 Авг 2019

1.2.570 - новые парсеры API::Server::Redis и SE::Startpage, улучшения в существующих парсерах

Улучшения

Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
В

SE::Google::Modern добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
В

SE::Google::Modern реализована возможность указывать дополнительные заголовки для запросов
Улучшен парсинг меток сайтов в

SE::Yandex, а также добавлена поддержка новых типов меток
Улучшена логика работы функции Get full links в SE::Baidu
Оптимизирован алгоритм обработки подзапросов

Исправления в связи с изменениями в выдаче

Улучшена работа

SE::YouTube, в связи с тестированием новой верстки
В

SE::Google::Translate переработан механизм повторных попыток, добавлена поддержка сессий
Исправлен парсинг сниппетов в

SE::Google::Images
Поностью переработан

GooglePlay::Apps- теперь он парсит только первую страницу результатов
Исправлен парсинг мобильной выдачи в SE::Google::Modern
Исправлена работа

SE::Seznam при отсутствии результатов
Исправлена работа

Rank::Linkpad, парсер полностью переписан
SE::Bing::Translator,

SE:: DuckDuckGo::Images,

SE::Bing::Images

Исправления

Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
Исправлено падение скорости в

Net::Whois
Исправлен баг в оптимизации парсеров
Исправлено сохранение параметра Report period в

SE::Yandex:: Direct::Frequency
В

HTML::LinkExtractor исправлен сбор ссылок, если в них есть перенос строки

A-Parser support · 30 Авг 2019

Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.

В уроке рассмотрено:

парсинг поиска Google для получения ссылки на страницу контактов
парсинг главной страницы сайта для получения title
использование инструмента $tools.CSVline для форматирования файла результата
пример правильного импорта в Excel

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser support · 9 Сен 2019

Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.

Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.

SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.

Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser support · 9 Сен 2019

Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.

Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.

SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.

Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser support · 21 Сен 2019

1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений

Улучшения

Добавлен новый парсер Rank::Ahrefs
Добавлен инструмент $tools.CSVline для простого создания CSV файлов
В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в SE::Google::Modern
В SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
В SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
В Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
Теперь в Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
Увеличено количество результатов в парсерах Rank::Bukvarix::*
Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
JS парсеры: улучшена пакетная обработка запросов

Исправления в связи с изменениями в выдаче

В Maps::Yandex исправлена ситуация, при которой для части результатов не собирались данные
Исправлен SE::Rambler

Исправления

Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
Исправлена ошибка в Rank::Alexa, из-за которой при отсутствующих значениях запрос завершался с ошибкой
Исправлен баг в Rank::MajesticSEO, из-за которого в некоторых случаях запросы завершались с ошибкой
Для парсеров Social::Instagram::Profile и Social::Instagram::Tag изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях

A-Parser support · 1 Окт 2019

Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.

В уроке рассмотрено:

Парсинг карт Google с использованием Maps::Google
Пример получения координат для использования в макросах подстановок
Работа с макросами подстановок при наличии отрицательных чисел
Импорт результата в Excel

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser support · 30 Окт 2019

Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта

Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.

Парсинг разными способами максимум результатов из индекса поисковых систем

Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.

Проверка существования запросов

Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - пишите здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

A-Parser support · 11 Ноя 2019

1.2.678 - оптимизация работы с прокси, улучшения во встроенных парсерах, исправления ошибок

Улучшения

В

SE::Google::ByImage добавлена поддержка рекаптч, а также улучшена работа в целом
В

SE::Yandex добавлена возможность одновременной работы авторазгадывания каптч и антигейта
В

Rank::Ahrefs добавлена возможность выбора типа домена
Полностью переписан

SE::Yandex::SQI, изменен набор собираемых данных
Реализован бан прокси в

SE:uckDuckGo::Images
В

Net::Whois добавлен парсинг даты освобождения домена
Оптимизирована работа с прокси при использовании большого числа попыток
Улучшена работа функции Bypass Cloudflare
Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser

Исправления в связи с изменениями в выдаче

В мобильной верстке

SE::Google::Modern исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
В

SE::Yandex исправлено определение каптчи, а также исправлен сбор ссылок на кеш
Исправлен парсинг цен и количества комментариев в

Shop::Amazon
Исправлена работа

SE:uckDuckGo::Images с запросами, содержащими более 1 слова
GooglePlay::Apps,

SE::Youtube ,

Rank::Ahrefs

Исправления

Исправлена проблема с рандомизацией прокси на Windows 10
Исправлено зависание при использовании

Check::BackLink
Исправлена проблема, при которой не применялся Content-Type в

Net::HTTP
Исправлена редкая проблема с выбором файла запросов
Исправлена обработка редиректов при нестандартном порте
Исправлен вывод многострочных данных в tools.CSVline
JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
JS парсеры: исправлена проблема с подключением модуля jimp

A-Parser support · 21 Ноя 2019

Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.

В уроке рассмотрено:

Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
Получение title (с очисткой от HTML сущностей)
Получение таких параметров как:
- кол-во предыдущих редиректов
- код ответа сервера
- кол-во внешних ссылок

Полезные ссылки:

Создание пресета для анализа страниц сайта - готовый пресет в Каталоге
Создание пресета для анализа страниц сайта - подробное описание по созданию настроек для парсинга в глубину сайта
Дополнительные возможности для некоторых парсеров | A-Parser - парсер для профессионалов SEO - документация по функции "Парсить до уровня"

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser support · 4 Дек 2019

Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:

А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.

Парсер Github
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.

Парсинг количества трафика на сайтах
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.

Кроме этого были обновлены:

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser support · 12 Дек 2019

1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты

Улучшения

Добавлен новый парсер

Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
Добавлен новый парсер

Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
Изменения в парсерах Google:
- Добавлена переменная $detected_geo, в которой содержится информация о геолокации
- В связи с неактуальностью удалены опции:
  - Old desktop computer (IE6) в Device
  - Util::AntiGate preset
  - Use digit captcha
В

SE::Yandex увеличено максимальное значение Pages count до 25
В

SE::Google::Images добавлена поддержка новой верстки
В

Util::ReCaptcha2 добавлена поддержка capmonster.cloud
Парсер

SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
Парсер

SE::Yandex:irect полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров

Исправления в связи с изменениями в выдаче

Множество исправлений в

SE::Google, он теперь полностью дублирует

SE::Google::Modern
Исправлен парсинг $indexed в

Rank::MajesticSEO
В

Net::Whois исправлена работа с доменной зоной .sex
Исправлен парсинг $title в

Shop::Yandex::Market
Shop::Amazon,

SE:ogpile,

Rank::Ahrefs,

SE::Bing,

Rank::SEMrush, SE:uckDuckGo, SE:uckDuckGo::Images, SE::Baidu

Исправления

В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
Исправлены проблемы с рандомизацией в некоторых случаях
Исправлена ошибка в Social::Instagram:ost при парсинге только массивов данных
Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
JS парсеры: исправлена работа с Node.js модулем socks

A-Parser support · 23 Дек 2019

Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.

JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.

Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен

Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser support · 3 Янв 2020

Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.

Сбор характеристик товара
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.

Всё о редиректах
Большая справочная статья, посвященная тематике редиректов.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

A-Parser support · 16 Янв 2020

Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

В уроке рассмотрено:

Парсинг поисковой выдачи Google
Вывод уникальных результатов в качестве главных доменов
Получение таких параметров как:
- зарегистрирован домен или нет
- дата регистрации и дата окончания регистрации домена
- язык сайта
- title и description
- индекс качества сайта
- позицию в глобальном рейтинге Alexa
- cтрану с наибольшим числом трафика по Alexa
- позицию в рейтинге этой страны по Alexa

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser support · 27 Янв 2020

1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности

Улучшения

Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: Улучшение - [1.2.735] Полноценная поддержка NodeJS 12.13.х, включая нативные модули
Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
Улучшена производительность

SE::Yandex
В

Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
В

SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%

Исправления в связи с изменениями в выдаче

Исправлена работа с каптчами в

Maps::Yandex
Исправлен парсинг рекламы в

SE::Google
SE::Yandex,

Rank::Ahrefs,

SE:ogpile,

SE:ogpile::Images,

SE:uckDuckGo::Images,

Rank::MajesticSEO,

Rank::SerpStat::Keyword,

Rank::Bukvarix:omain

Исправления

Исправлена работа Bypass Cloudflare в некоторых случаях
Исправлена работа при малом числе прокси
Исправлена проблема при редактировании дополнительных форматов результатов

A-Parser support · 6 Фев 2020

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Парсинг сайтов из Яндекс.Радар
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

Определение типа сайта по Яндекс Радару
И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Продам A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

Premium Lite

О нас

Полезные ссылки

Наши контакты