"МС:Мониторинг цен" - парсинг сайтов, мониторинг цен конкурентов "одной кнопкой"

Программа позволяет одним кликом настроить сбор цен ваших конкурентов или дилеров в интернете. Автоматически собирает данные результата поиска Яндекса (вам не придется вручную добавлять каждый сайт, за которым нужно следить). Обновление цен происходит по заданному вами расписанию автоматически.

"МС:Мониторинг цен" имеет удобный интерфейс и широкий функционал:

• Названия товаров, цены на которые нужно мониторить, можно загружать массово из текстового списка. Все нужные настройки программа сделает автоматически. Также можно брать для парсинга позиции номенклатуры, уже внесенные в базу данных 1С.
• Есть версия в виде отдельной конфигурации и также в виде расширения для УНФ и для УТ 11 / КА 2 / ERP 2
• Программа умеет устанавливать цены в базе 1С по произвольной формуле (в расчетах можно использовать минимальную цену сайтов в интернете, максимальную, среднюю или медианную, а также выполнять с ними любые арифметические операции). Для каждой цены хранится дата ее установки и есть настройка "Количество дней, за которые для расчета берутся цены с сайтов". Эта настройка позволяет использовать в расчетах только актуальные цены.
• Парсинг работает через фоновые задания в 100 потоков. Во-первых, это быстро, во-вторых, интерфейс не зависает и в нем можно отслеживать прогресс выполнения
• Использование сервиса парсинга MoscowSoft (работает на технологии Яндекс.XML) позволяет выполнять поиск сайтов быстро и без риска блокировки поисковой системой Яндекс
• Улучшен автоматический алгоритм поиска цены на странице товара. Приоритет при парсинге теперь у тех значений, которые находятся на видимой части страницы
• Алгоритм парсинга стал самообучаемым. Если на какой-то странице по старым настройкам цена перестала определяться, повторный парсинг данной страницы с целью поиска цены на ней будет выполнен автоматически
• Если завершить работу программы, когда задание на парсинг выполнено не до конца, при следующем запуске оно будет продолжено
• Отправка отчетов о ценах на электронную почту автоматически

Видеодемонстрация версии 2.1 конфигурации "МС:Мониторинг цен"

Видео №1

Видео №2

Демонстрация ручного режима работы "МС:Мониторинг цен"

Некоторым нашим заказчикам удобнее было использовать ручной режим добавления сайтов. Это нужно в тех случаях, когда товаров немного, когда заранее известен список сайтов и страниц, на которых находятся товары на этих сайтах. При таком режиме программа все равно принесет большую пользу - она может автоматически найти цену товара на указанных страницах и автоматически может по заданному расписанию обновлять эту цену.
А как добавлять сайты для товаров в ручном режиме, вы можете посмотреть на видео:

Описание и преимущества программы мониторинга цен

• Программа позволяет отслеживать цены в интернете на сайтах ваших дилеров или конкурентов.
• Отличается от подобных программ или сервисов в первую очередь тем, что не требует сложной настройки и не требует ручного указания адресов страниц, на которых продаются товары.
• Для начала работы достаточно написать название товара и запустить анализ. В результате анализа будет составлен список страниц сайтов, на которых продается товар, а также будут заполнены все суммы, которые найдены на этих страницах. Причем алгоритм программы сам выбирает вариант суммы, которая с наибольшей вероятностью является искомой ценой товара. Вам останется только сохранить результаты поиска.
• В дальнейшем программа уже в автоматическом режиме будет по заданному расписанию обновлять цены по сохраненным вами настройкам.
• При необходимости можете включить соответствующую настройку и вам на электронную почту будет приходить отчет по каждому товару со списком сайтов и текущих ценах на них для данного товара.

Процесс работы с программой мониторинга цен в интернете "одной кнопкой"

Процесс работы с программой очень прост:

• Заходим в программу и запускаем "Мастер настройки".
  
• Указываем полное название товара и запускаем анализ.
  
• После завершения анализа будет сформирована таблица сайтов, на которых продается данный товар. Для каждого сайта будут выведены найденные на нем суммы. Причем в "Вариант 1" попадет цена, которая встречается чаще всего, и, соответственно, с наибольшей вероятностью будет являться ценой искомого товара.

Видеодемонстрация работы программы

Ниже можете наглядно увидеть этот процесс:

Как работает парсинг через сервис Яндекс.XML?

Удобство нашей разработки заключается в том, что полный список сайтов, на которых продается конкретный товар, разработка получает автоматически. Для этого она выполняет запрос к поиску Яндекса. Самый надежный способ этот запрос отправить - использовать официальный сервис Яндекс.XML. Вы можете использовать свой аккаунт (это будет бесплатно) или воспользоваться сервисом от MoscowSoft. При приобретении МС:Мониторинг цен в стоимость уже включены 100 запросов сервиса от MoscowSoft. Далее их нужно покупать дополнительно, либо использовать свой аккаунт в Яндекс.XML, либо выполнять прямые HTTP-запросы. Все три способа выполнения запросов поддерживаются в "МС:Мониторинг цен".

Опишем процесс, как работает парсинг при использовании сервиса Яндекс.XML.

Наша разработка отправляет на Яндекс запрос с указанием названия конкретного товара. Именно поэтому для каждого добавляемого в парсинг товара тратится один запрос сервиса Яндекс.XML. Получает список сайтов. В зависимости от настроек добавляет в правила парсинга либо все сайты, либо сайты из определенного, заранее заданного перечня. Дальше парсинг будет выполняться с выбранной пользователем периодичностью. И запросы к Яндекс.XML на это уже не будут тратиться. Ведь в этом случае мы к Яндексу уже не обращаемся. Мы только открываем конкретные страницы конкретных сайтов и смотрим, какая цена на товар на этих сайтах в данный момент.

Прямые HTTP-запросы. Ограничения поисковой системы Яндекс

По умолчанию в анонимное режиме Яндекс разрешает за день выполнить примерно десять запросов к поисковой системе. После этого поиск будет запрещен до следующего дня. Причем обычно сообщают о блокировке при отправке однотипных запросов за короткое время, то есть в действительно может получиться и больше запросов за день. К тому же десять запросов в день - это около 100 различных сайтов, за которыми вы сможете настроить в автоматическом режиме мониторинг цен.

Запросы к Яндексу отправляются только в момент добавления нового товара, то есть далее при запуске мониторинга цен по расписанию, количество сайтов и товаров может быть сколь угодно большим.

Если же все-таки вам не хватает десяти анонимных запросов к Яндексу в день, есть две альтернативы:

• Использовать сервис Яндекс.XML
• Работать в программе "1С:Мониторинг цен в интернете" в режиме веб-клиента на нашем сервере. В этом случае программа предоставляется на условиях сервиса, то есть доступ к ней предоставляется по подписке.

Помощь в настройке программы

При приобретении программы мы бесплатно настраиваем мониторинг для двух любых товаров. Для каждого товара добавляем не более двадцати сайтов. После настройки высылаем вам готовую настроенную базу. И далее можете в ней добавлять новые сайты для мониторинга, добавлять новые товары.

План развития разработки

• Выбор различных вариантов отчетов по мониторингу цен. Подгрузка своих форматов отчетов.
• Отправка отчетов на электронную почту.
• Пакетный режим работы программы. Когда указывается только список товаров и, при желании, дополнительно указывается список сайтов, на которых нужно вести мониторинг цен. На данных сайтах программа находит все карточки с данным товаром и автоматически добавляет их в список для регулярного мониторинг.
• Валютный учет цен. Можно указать минимальную цену в нужной валюте, и она будет по курсу ЦБ РФ пересчитываться при формировании отчета о текущих ценах.

Требования к программе

Работа программы проверялась на версии платформы "1С:Предприятие 8.3.15.х". Для входа в программу потребуется действующая лицензия на любой продукт 1С в поставке ПРОФ (т.е. нужна лицензия на 1С).

Инструкция по установке конфигурации 1С «МС:Мониторинг цен»

1. Для установки конфигурации «МС:Мониторинг цен» на компьютере пользователя необходимо наличие актуальной версии платформы 1С:Предприятие 8.3 и операционная системаWindows версии не ниже 7.0.
2. Нужно запустить ярлык запуска 1С:Предприятие.
3. Далее в окне нужно выбрать пункт «Добавить».
4. Выбрать из трех вариантов вариант «Создание новой информационной базы» и нажать «Далее».
5. Выбрать значение переключателя «Создание новой информационной базы без конфигурации для разработки…» и нажать «Далее»
6. Указать наименование по своему усмотрению, например, «МС:Мониторинг цен» и нажать «Далее».
7. Выбрать подходящий пустой каталог на жестком диске для размещения файлов базы данных 1С и нажать «Далее».
8. Нажать «Готово».
9. В списке баз 1С появится новая база данных с именем, как указали в п.6.
10. Нужно выделить ее левой кнопкой мыши и нажать кнопку «Конфигуратор» в окне выбора баз 1С.
11. В конфигураторе нужно выбрать пункт главного меню «Конфигурация» и в нем подпункт «Открыть».
12. Потом выбрать пункт «Конфигурация» - «Загрузить конфигурацию базы данных из файла» и выбрать файл конфигурации базы данных, который предварительно получен от разработчика ПО. Актуальная на лето 2021г.
13. После загрузки конфигурации из файла можно зайти в базу данных 1С, выбрав ее в списке баз 1С и нажав кнопку «1С:Предприятие».

• 14 декабря 2021 г. - разработка "МС:Мониторинг цен" внесена в единый реестр отечественного ПО под номером №12283 на основании поручения Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации по протоколу заседания экспертного совета от 06.12.2021 №1548пр.