RiverSpeech — ИИ-сервис транскрибации для бизнеса и государства

Задача

Задача — автоматизировать расшифровку и протоколирование совещаний, а в результате уменьшить долю ручной работы и повысить эффективность встреч с клиентами и командой.

В крупных компаниях и госструктурах итогом совещаний должен быть корректно оформленный протокол по шаблону с перечнем участников, повесткой, ходом обсуждения, решениями и поручениями.

Подготовка таких документов занимает значительное время: расшифровка и оформление часовой встречи даже с использованием ИИ требует 2–4 часа работы секретаря. Это время тратится на проверку, деление текста на реплики конкретных спикеров, составление протокола встречи по установленному шаблону, а также резюме итогов встречи. При десятках совещаний в неделю это становится системной нагрузкой и источником ошибок.

Riverstart разработали сервис для расшифровки голоса в текст —ИИ-транскрибатор RiverSpeech. Сервис  предназначен для корпоративного использования: 

• расшифровывает запись голоса в текст;
• подписывает реплики именами спикеров;
• формирует протокол совещания;
• составляет краткое резюме с итогами встречи;
• вытаскивает из разговора договоренности и задачи. 

Работает в закрытом контуре и не передает конфиденциальные данные вовне. Его можно развернуть на сервере заказчика или на сервере разработчика, если у компании нет собственных мощностей

Подходит для госструктур и бизнеса, которые проводят совещания, встречи и звонки как с клиентами, партнерами и соискателями, так и внутри компании.

 Разберем, как решали основные проблемы:

1. Деление реплик по спикерам

Для точного протокола совещания нужен список участников, а также важно разделять реплики. Без этого сложно подвести итоги —  кому адресованы поручения и какие предложения исходили от конкретных спикеров.

Чтобы обеспечить корректное распределение реплик, мы использовали комплекс технологий:

• транскрибация (STT, speech-to-text) — преобразование аудиопотока в текст;
• диаризация — автоматическое разделение речи по участникам, чтобы в протоколе у каждой реплики был указан спикер;
• улучшение точности распознавания речи — особенно важно, когда участники перебивают друг друга или имеют похожие голоса;
• устойчивость к условиям записи — шум, эхо, разные микрофоны, акценты, изменяющаяся громкость речи.

Результатом становится расшифрованный текст с разбивкой по спикерам и последовательным ходом обсуждения.

2. Автоматическое протоколирование совещания, встречи или созвона

Создание протокола — самая ресурсоемкая часть процесса. Мы нашли решение с помощью полуавтоматического формирования документа:

• транскрибатор с помощью AI расшифровывает речь говорящих, указывает спикеров и формирует документ протокола по установленному в организации шаблону: с абзацами, заголовками, повесткой, указанием участников, решений и поручений;
• секретарь проверяет результат и вносит корректировки.

В таком случае можно ускорить протоколирование совещания: секретарь получает уже подготовленный черновик. Останется подписать спикеров, проверить результат и скорректировать детали. Он потратит 1 час на проверку результата вместо 3-6 часов на составление протокола вручную.  

2. Локальное решение без облаков

Транскрибаторы выдают только расшифровку хода обсуждения, но не делают резюме встречи. Для получения кратких итогов встречи нужно отправить расшифровку в AI-модели и задавать промпт для выделения итогов и договоренностей.

Большинство доступных сервисов выполняют эти операции в облаке, но это неприемлемо для компаний, которые обсуждают проекты под NDA, внутренние разработки, финансовую и персональную информацию.

Мы выбрали для AI-транскрибатора локальный формат. Он разворачивается на серверах заказчика, не использует внешние API и не отправляет данные в облако. Все данные хранятся и обрабатываются в закрытом контуре учреждения, разработчики не имеют доступа к данным.

Специальное оборудование не требуется — расшифровка ВКС совещаний стабильно работает на офисных ПК. Результат транскрибации можно скачать в виде документа в Microsoft Word. Мы не используем облачные сервисы Яндекс Документы или Google Docs для выдачи результатов, чтобы не передавать данные во внешние системы.

Есть два варианта развертывания:

• На сервере заказчика с видеокартой уровня RTX 3060 или RTX 5090.

• На нашем сервере — если у компании нет собственных мощностей. В этом случае мы предоставляем сервер и ПО.

Четкость распознавания речи

Финальный этап — подведение итогов — строится на резюмировании с помощью механизма LLM-саммаризации. Мы столкнулись с такими проблемами в контексте протоколов совещаний:

• Модель может пропустить важные моменты или добавить в итоговую часть второстепенные детали. Если встреча длинная и темы поднимаются несколько раз, система не всегда объединяет их в один пункт.
• Модель не всегда различает, прозвучала просто идея, рабочее предложение или уже сформулированное решение. Многие решения появляются не в явной форме, а в ходе обсуждения, и система может их не зафиксировать без четкого произнесенного «Постановили, что».

Для решения этой проблемы мы работаем над улучшением распознавания смысла через семантический анализ текста. Он помогает точнее определять основные темы, выделять реальные решения, формировать перечень поручений и отсекать фразы, которые не влияют на итог.

Результат — автоматизация и экономия рабочего времени

В результате внедрения решения от Riverstart  вместо трех часов на обработку часовой записи и создание протокола секретарь учреждения потратит около часа: 5 минут на получение результата от транскрибатора и остальное время на проверку результата и корректировки. 

Готовые документы можно интегрировать во внутренние процессы для аналитики, отчетности и контроля задач. К примеру, добавить в базу данных компании и открыть для умного поисковика по внутренней базе знаний. Протокол можно сразу передать в отдел делопроизводства или загрузить в систему документооборота.

Перейти на сайт