Top.Mail.Ru
Меню
Каталог Программы 1С Опыт и отзывы Услуги Компания Статьи Контакты

Руководство пользователя МС:Мониторинг цен

Основатель и генеральный директор компании MoscowSoft, Сорокин Сергей
Сорокин Сергей, Генеральный директор MoscowSoft  29.05.2024 Актуальность проверена: 03.11.2024   23 мин. Прочитать позже
Содержание

О программе МС:Мониторинг цен

  • Программа МС:Мониторинг цен была разработана в 2019 году. 
  • Представляет собой дополнительный модуль (расширение) для таких конфигураций 1С, как УТ 11, КА 2, УНФ или ERP. Кроме того возможна работа в виде отдельной конфигурации 1С. МС:Мониторинг цен можно приобрести как в виде лицензии на программный продукт (бессрочная лицензия), так и получить по подписке на выбранный период.
  • Изначально задачей программы был контроль цен дилеров, реализующих продукцию в интернете. Заказчиком была компания - эксклюзивный дистрибьютор продукции в Россию. В дальнейшем возможности применения и функционал программы расширялись.
  • В 2021 году продукт был включен в реестр российского программного обеспечения под № 12283.

Цели мониторинга цен

Как правило, если вы оказались на этой странице, то вы уже знаете, зачем вам нужно следить за ценами на товары в интернете. Чаще всего это одна из двух типовых задач:

Также очень популярной является задача парсинга цен на маркетплейсах. Для этой задачи у нас тоже есть решение, но это не МС:Мониторинг цен, а отдельный сервис. Его подробное описание можно изучить у нас на сайте.



Установка расширения МС:Мониторинг цен

Опишем процесс установки программного продукта в базу данных конфигурации 1С:Управление торговлей, ред. 11 / 1С:Комплексная автоматизация, ред. 2 / 1С:ERP Управление предприятием, ред.2 или 1С:Управление нашей фирмой, ред. 3. Установка программы в виде отдельной конфигурации 1С не отличается процессом. Только вместо типовой конфигурации 1С нужно сначала развернуть шаблон конфигурации МС:Мониторинг цен (предоставляется в комплекте дистрибутива продукта) и уже на этот шаблон точно также нужно установить расширение.

В конфигурации его можно посмотреть следующим образом: Режим совместимости можно посмотреть как показано на скриншоте.

В расширении его можно найти и поменять следующим образом: В расширении режим совместимости можно посмотреть следующим образом.

Алгоритм автоматического парсинга цен на товары в интернете

В 2019 году от нашего постоянного заказчика поступила просьба найти и установить программу для контроля за ценами дилеров. Был проведен анализ рынка и выбрано недорогое решение на платформе 1С. На практике оказалось, что обычному менеджеру по продажам пришлось добавлять вручную каждую ссылку на товар, цены на котором необходимо парсить, а также потом находить в исходном коде веб-страницы x-path путь к месту, где находится цена. И такой трудоемкий алгоритм был необходимо для добавления каждой страницы. Менеджеру было очень тяжело работать с такой программой. Было принято решение разработать собственный продукт.

Идея МС:Мониторинг цен уже в момент проектирования заключалась в том, чтобы пользоваться ей без затруднений мог даже неопытный в работе с 1С сотрудник. Вся работа по добавлению страниц к мониторингу цен максимально автоматизирована. Разработан пошаговый мастер массового добавления новых товаров к парсингу.

Принцип работы программы можно разбить на три этапа: 

  1. На первом этапе пользователь выбирает ключевую фразу, при указании которой в поисковой системе Яндекс возвращаются сайты компаний, торгующих данными товарами. Пути к страницам этих товаров сохраняются в 1С. К результатам поиска Яндекса нельзя бесплатно и без ограничений обращаться программно (то есть автоматически). Поэтому используется официальный сервис для такого рода задач - Yandex Search.
  2. Далее запускается парсинг содержимого страниц всех сайтов, на которых продается товар. Результаты парсинга сохраняются в 1С.
  3. На третьем этапе внутри исходного кода содержимого каждой из страниц производится поиск цены искомого товара. Алгоритм поиска является ноу-хау нашей компании. Найденные результаты, а также альтернативные варианты сохраняются в 1С.

На любом из перечисленных этапов есть возможность или выполнить алгоритм автоматически или вручную откорректировать получаемые результаты.

Давайте разберем каждый из этапов подробнее.

Шаг 1. Обращение к результатам выдачи поисковой системы Яндекс

Как уже было написано выше, нельзя просто обращаться с помощью http-запросов к сайту Яндекса и получать результаты. Точнее, по нашей информации, такие запросы можно сделать, но не более десяти раз в день для одного IP-адреса.

Результат поиска товара в Яндексе лучше получать через специализированный сервис. Мы используем официальный сервис Yandex Search. Программа МС:Мониторинг цен позволяет работать с этим сервисом “через себя”. То есть вам не потребуется регистрировать аккаунт в Yandex Cloud, за вас все сделает наша программа. Отправка запросов через сервис МС:Мониторинг цен является платной услугой. При покупке МС:Мониторинг цен предоставляется 100 запросов. Актуальные цены на запросы можно узнать у нас на сайте.

Если же предполагается, что запросов будет отправляться много, в целях уменьшения расходов лучше зарегистрировать свой аккаунт в Yandex Cloud. Мы подготовили инструкцию по активации аккаунта и получению нужных настроек. Называются эти настройки api_key и folderid.

Напоминаем, что запрос к Яндексу расходуется только при первичном парсинге (получение списка сайтов, на которых представлен интересующий вас товар). Также один запрос тратится при обновлении списка сайтов, на которых размещен искомый товар. При обновлении цены на ранее добавленном к контролю сайте (Шаг 2 или Шаг 3 текущей инструкции) запросы к Яндексу не расходуются.

Обратите внимание, Шаг 1 вообще не является обязательным. Не нужен он в том случае, если вам уже известен список страниц, за ценами на которых планируется следить. Как добавлять страницы к мониторингу цен вручную, читайте в отдельной инструкции ниже.

Кроме того, один запрос к результатам выдачи Яндекса выдает около 100 сайтов с результатами поиска. Этого количества хватает для большинства случаев. Если вам этого недостаточно, можете на этапе мастера добавления товаров к мониторингу указать количество страниц, которые нужно анализировать. При выборе двух страниц вы получите около 200 сайтов с искомым товаром. Но и запросов к Яндексу в этом случае будет израсходовано две штуки.

На скриншоте ниже приведен пример такой настройки для товара “Миксер SOLAC мод.545” (указана глубина поиска в 200 сайтов или в 2 запроса к Яндексу): Настройка мониторинга цен на примере одного товара, с указанием глубины поиска в 200 сайтов или в 2 запроса к Яндексу

Шаг 2. Парсинг страниц сайтов, на которых продается товар

Итак, на Шаге 1 программа узнает страницы, на которых представлен интересующий вас товар. Этот перечень можно сразу ограничить только теми сайтами, которые вас интересуют. По умолчанию же МС:Мониторинг цен добавит все 100 сайтов и для всех их попытается получить содержимое страниц.

Сценарий, когда изначально добавлено много лишних сайтов, представляется нам наиболее удобным. Всегда легче выделить неподходящие сайты мышью и выбрать команду Удалить настройки, чем наоборот - вручную один за другим добавлять страницы сайтов к парсингу. Также настройки можно не удалить, а отключить.

Парсинг содержимого найденных сайтов происходит в фоновых заданиях в 1С, запущенных параллельно. Однако мы заметили, что платформа 1С создает очередь и не запускает сразу 100 или 200 фоновых заданий. В интерфейсе Настройки скачивания по веб-сайтам есть возможность следить за прогрессом парсинга содержимого сайтов. Этот процесс может занять длительное время. В среднем для парсинга 100 сайтов потребуется около 100 секунд. Однако точная скорость очень зависит от вашей скорости интернета и мощности используемого сервера.

Как уже написано выше, на этом этапе запросы к Yandex Search не расходуются.

Однако следует помнить о том, что сайты могут содержать защиту от парсинга. Информация об ошибках парсинга сохраняется в список Очередь фоновых заданий HTTP-запросов. Ищите записи с флагом Ошибка и датой, близкой ко времени запущенного вами первичного парсинга. Выглядит список ошибок парсинга сайтов примерно так: Список ошибок парсинга сайтов выглядит примерно так.

Шаг 3. Умный алгоритм автоматического поиска цены в содержимом страниц сайтов

Наш умный алгоритм анализирует содержимое страницы сайта, где продается интересующий вас товар по ключевым словам “цена”, “руб.” и так далее. Каждому значению цены назначается весовой коэффициент (коэффициент доверия). И корректной ценой на товар в итоге считается то значение цены, у которого при расчете получилось максимальным значение коэффициента доверия.

Алгоритм постоянно развивается, но он не дает 100% точности. Результаты парсинга цен необходимо один раз проверить после выполнения первичного парсинга. При изменении дизайна сайта, мониторинг которого вы настроили, можно автоматически выполнить повторный поиск цен на странице (эта возможность опциональная, включается и выключается в общих настройках). Если же страница с товаром перестала существовать или сайт стал недоступен, об этом в МС:Мониторинг цен также можно увидеть информацию.

Также дату последнего успешного парсинга можно увидеть в колонке Обновление в основном интерфейсе программы. Дату последнего успешного парсинга можно увидеть в колонке Обновление в основном интерфейсе программы

Верификация цен на страницах сайтов

Как уже было написано выше, на Шаге 3 автоматический алгоритм может неверно найти цену на странице сайта. Поэтому после завершения парсинга надо зайти в каждую настройку и выбрать корректное значение цены.

В приведенном примере сайт выглядит так: Пример цены товара на сайте

Как видите, в данном случае МС:Мониторинг цен корректно определила цену на товар.

Что такое “блок”?

Мы называем блоком каждое место в исходном коде страницы сайта, где, предположительно, может находиться цена на товар. Наша программа сохраняет список таких мест и выводит их в интерфейсе. Делается это для того, чтобы пользователь мог быстро исправить результат автоматического парсинга, если тот оказался неверным. То есть пользователь может поменять блок с некорректно определенного автоматического на нужный.

Настройка скачивания цены с сайта. Выбор блока в котором находится цена.

Мастер добавления товаров к парсингу цен

Тут инструкция про каждый шаг добавления нового товара

Также нужно заполнить для каждого товара параметры парсинга:

Указанные настройки нужно заполнить для каждого товара, у которого вы включите флаг Использовать.

Ручное добавление страниц к парсингу

На этом ручное добавление страницы к парсингу завершено. В дальнейшем регулярный парсинг содержимого этой страницы будет производиться по тому же расписанию, что и для всех остальных добавленных вами настроек.

Назначение цен в базе 1С по результатам парсинга

Отчет о результатах парсинга цен

Вы увидите список сайтов с ценами и информацией о последней дате успешного парсинга.

Автоматическая рассылка

Настройка расписания мониторинга цен в интернете

Можно настроить как на последнем шаге работы с мастером группового добавления товаров к парсингу, так и в основном интерфейсе программы МС:Мониторинг цен.

Настройки программы МС:Мониторинг цен

Если вы захотите работать через собственный аккаунт в Yandex Cloud, на этой вкладке нужно будет заполнить дополнительные настройки: Если вы захотите работать через собственный аккаунт в Yandex Cloud, на этой вкладке нужно будет заполнить дополнительные настройки

Прочитать про параметры можно в документации Yandex Cloud. Как получить эти настройки, вы можете узнать в отдельной инструкции.

Настройка Регион используется для подстановки региона по умолчанию в мастер добавления новых товаров. В уже сохраненных настройках мониторинга цен или анализа позиций сайта в Яндексе хранится собственная настройка Регион.

  • Обновлять разбор страниц при ошибке поиска по блоку - если выбранный для веб-страницы Блок не найден на сайте, то поиск блоков производится заново, старый список блоков при этом стирает. Благодаря этому при изменении верстки сайтов программа автоматически перепарсит их содержимое и продолжит контролировать цену. Как понимаете, этот алгоритм не сработает только в случае, если изменится url, по которому на искомом сайте располагается конкретный товар.
  • Количество дней хранения ошибок парсинга сайтов. Не для всех сайтов получается получить их содержимое. Такие сайты будут получены от сервиса Yandex Search, но не появятся в списке Настройки скачивания по веб-сайтам. Увидеть список таких ошибок получения содержимого веб-страниц можно в списке Очередь фоновых заданий HTTP-запросов: Показан примерный список ошибок получения содержимого веб-страниц можно в списке Очередь фоновых заданий HTTP-запросов
  • Количество одновременных фоновых заданий к сайтам в интернете - по умолчанию значение равно 60. При использовать широкого канала доступа в интернет и мощного сервера 1С можете попробовать увеличить это значение. Помните о том, что платформа 1С все равно не запускает параллельное выполнение большого количества фоновых заданий. Скорее всего вы увидите, что около одного фонового задания выполняется за одну секунду.

Программа ведет свой собственный лог событий. Посмотреть его можно или через вкладку МС:Мониторинг цен по ссылке Журнал событий. Или из интерфейса мониторинга цен по кнопке Прочее - Журнал событий.

На данной вкладке можно настроить срок хранения событий в журнале. Также можно включить сохранение только ошибок.

Контроль позиций сайта в результатах выдачи поисковой системы Яндекс

С 2024 года программа МС:Мониторинг цен умеет вести учет позиций сайтов по выбранным ключевым запросам в поисковой системе Яндекс. Описание этого функционала, а также инструкция по настройке учета позиций сайта в Яндексе вы можете прочитать в отдельной статье: Настройка учета позиций сайта в Яндексе.

Яндекс ранжирует результаты поиска по релевантности. И эта выдача по API максимально приближена к поисковой выдаче в режиме инкогнито. Стоит помнить, что выдача не в режиме инкогнито всегда будет подстраиваться под ваши интересы, и, таким образом, она будет уникальная для каждого пользователя.

Описание возможностей анализа позиций сайтов в Яндексе и процесс настройки этого функционала можете изучить в отдельной статье.

Сервис платный. Если через нас покупать запросы, то каждый запрос около 90 копеек будет обходиться. Оптом дешевле.

При покупке МС:Мониторинг цен предоставляем 100 запросов в подарок.

Один запрос к Яндексу - это именно что запрос поиска. То есть можно указать название товара или любую другую поисковую фразу.

Дальше для обновления цен на сайтах, где продаются искомые товары, запросы к Яндексу выполнять не требуется, поэтому они не будут расходоваться.

Таким образом, запросы будут расходоваться при добавлении товара или при повторном парсинге сайтов, где торгуется искомый товар.

Если добавлять страницы с товаром вручную (такая возможность есть в МС:Мониторинг цен), то запросы к Яндексу также не будут расходоваться.

Мониторинг цен на маркетплейсах

Маркетплейсы не любят парсинг, хотя сами друг друга прекрасно сканируют. В личном кабинете селлера в Озоне вы всегда увидите цены на аналогичные вашим товары на маркетплейсах Яндекс.Маркет и Wildberries. То есть Озон эти маркетплейсы мониторит, а они мониторят Озон.

Но просто так программно обратиться к страницам маркетплейсов не получится. У них используется мощная защита от парсинга.

К счастью, на платформе 1С появилось решение - специальный сервис для парсинга минимальной цены на маркетплейсах.

Изучить возможности сервиса мониторинга цен на маркетплейсах, а также скачать бесплатное расширение для УТ 11 / КА 2 / ERP или УНФ вы можете у нас на сайте. Есть бесплатный тариф, то есть возможности сервиса можно проверить до покупки. Звоните нам при возникновении сложностей в начальной настройке сервиса!

Кроме того, возможность парсинга цен на маркетплейсах и ее загрузка в 1С есть в нашем продукте МС:Интеграция 1С с маркетплейсами. Прочитать инструкцию по настройке парсинга цен на маркетплейсах можете в отдельной статье.

Полезные статьи по теме

MoscowSoft логотип

Нужна помощь?

Если не получается разобраться с вопросом самостоятельно, обратитесь к нам. Получите бесплатную консультацию эксперта!

Основатель и генеральный директор компании MoscowSoft, Сорокин Сергей
Сорокин Сергей, Генеральный директор MoscowSoft
МС:Мониторинг цен - парсинг сайтов, мониторинг цен конкурентов одной кнопкой

Изучить описание программного продукта, возможные тарифы приобретения и оформить заказ можете на странице  >>

Возврат к списку