Разработка системы парсинга телеграм-каналов для лидогенерации в Битрикс24
- Заказчик
- Клиент — компания, стремящаяся ускорить процесс лидогенерации, нуждалась в инструменте для мониторинга Телеграм-каналов с целью выявления потенциальных клиентов.
- Задача
- Задача заключалась в разработке системы, способной анализировать сообщения в Телеграм-каналах на наличие запросов, которые компания может решить.
Задача заключалась в разработке системы, способной анализировать сообщения в Телеграм-каналах на наличие запросов, которые компания может решить, идентифицировать релевантные сообщения, формировать лиды и автоматически добавлять их в CRM-систему Битрикс24 (коробка).
Для начала был разработан алгоритм работы модуля с точки зрения пользователя. Он включает в себя несколько ключевых этапов:
настройка модуля: пользователь вносит необходимые данные через специальную форму. Параметры включают в себя:
- ссылки на Телеграм-каналы, которые будут проверяться на наличие нужных запросов;
- список ключевых слов, которые модуль будет искать в сообщениях внутри чатов;
- список стоп-слов, при обнаружении которых сообщения будут отсеиваться как нерелевантные.
обработка лидов: при обнаружении сообщения, подходящего условиям, модуль автоматически преобразует информацию из сообщения в лиды. В Битрикс24 передаются само сообщение, ссылка на сообщение в чате, а также ссылка на аккаунт в телеграм.
*Лиды создаются автоматически с помощью через специальную сущность (смарт-процесс), которая была для этого создана.
После того как был определен алгоритм работы, началась разработка самого модуля. Его задачей стало выполнение ключевой функций, заложенной в алгоритме - парсинг Телеграм-каналов и передача данных в CRM.
Алгоритм работы модуля
Преобразование данных из телеграм-каналов вRSS или JSON формат.
В первой итеграции мы использовали онлайн-сервис https://tg.i-c-a.su/, который позволяет парсить данные из открытых каналов. С его помощью публичные Телеграм-каналы из списка, указанного в параметрах модуля, преобразуются в RSS или JSON формат для удобства работы модуля в дальнейшем. В результате получается набор данных из последних опубликованных 100 сообщений. Сейчас используемый сервис недоступен без VPN. Также его минусом была невозможность получения доступа к закрытым каналам. Поэтому мы использовали собственный API для Telegram на основе MadelineProto.
Извлечение сообщений.
При обращении к заданным ссылкам модуль извлекает необходимые данные. Из текста удаляются все теги/эмодзи для более точного анализа и более удобного отображения в Битрикс24.
Идентификация ключевых слов и фильтрация по стоп-словам.
С помощью регулярных выражений осуществляется поиск ключевых слов в извлеченных сообщениях. Если такие “ключевики” обнаружены, сообщение проверяется на наличие стоп-слов, чтобы исключить нерелевантный контент (техническая реализация также выполнена на регулярных выражениях). Если такие слова обнаружены, то сообщение исключается. Все подходящие сообщения собираются в массив, при этом система отслеживает, чтобы не происходило дублирования информации.
Передача данных в Б24 и формирование лидов.
После завершения процесса парсинга отфильтрованные данные передаются в Битрикс24. Поскольку модуль разрабатывался для коробочной версии Битрикс24, дополнительно настроили автоматическое формирование элементов, которые включили в разработанный специально для этого смарт-процесс. Ответственному отправляется уведомление о формировании нового лида (через роботов), чтобы тот своевременно успел его обработать.
Результат
Благодаря разработанному модулю для Битрикс24 компания смогла значительно упростить процесс лидогенерации. Парсинг Телеграм-каналов позволил автоматически выявлять потенциальных клиентов по заданным критериям, что упростило работу отдела продаж и повысило эффективность процесса работы с лидами. Учёт ограничений и уникальности данных обеспечил стабильную и надежную работу системы. Также удалось собрать базу клиентов, которые на постоянной основе публиковали заявки, что позволило выстроить постоянное сотрудничество с такими клиентами.