Фонд «Не напрасно» развивает базу проверенных знаний об онкологических заболеваниях. Чтобы сделать эту информацию доступнее, фонд решил создать AI-консультанта, который сможет отвечать на вопросы пользователей на сайте и в Telegram.
Главная сложность заключалась в специфике медицинской тематики. Бот должен был не просто находить достоверную информацию, но и учитывать эмоциональное состояние человека, который может переживать из-за собственного диагноза или болезни близкого.
До нашего подключения фонд уже несколько лет работал над запуском такого помощника. Основной код разрабатывала команда Яндекса, а мы взяли на себя инфраструктуру, тестирование и вывод продукта в эксплуатацию.
Первоначально бот использовал модель Qwen, которая не всегда справлялась с конкретными медицинскими вопросами. Вместо прямого ответа она могла выдавать общие сведения, не объясняя пользователю возможные риски.
Мы протестировали несколько моделей и выбрали решение, которое лучше справлялось с такими запросами. Чтобы ответы основывались на проверенных материалах фонда, настроили собственный RAG-пайплайн для поиска и использования информации из базы знаний.
Однако одной фактической точности было недостаточно. Даже достоверный медицинский ответ может напугать человека или содержать юридически рискованные формулировки.
Поэтому совместно с командой Яндекса и заказчиком мы разработали трёхуровневую систему проверки ответов. Прежде чем сообщение попадёт к пользователю, его последовательно оценивают три AI-агента:
Подобная архитектура позволяет снизить риск галлюцинаций, некорректных рекомендаций и формулировок, которые могут усилить тревогу пользователя.
После настройки системы мы передали бота на тестирование практикующим онкологам. В течение двух недель специалисты задавали сложные и провокационные вопросы, проверяли медицинскую точность ответов и выявляли спорные случаи. По результатам каждого раунда мы дорабатывали систему и снова отправляли её на проверку. После нескольких итераций бот начал стабильно проходить экспертную оценку.
Следующим этапом стала фокус-группа с людьми, не участвовавшими в разработке. Она помогла обнаружить проблемы, которые сложно заметить внутри команды: слишком официальные формулировки, неудобное оформление сообщений и неочевидные сценарии взаимодействия.
С учётом обратной связи мы доработали пользовательский опыт и создали лаконичный интерфейс чата, в котором ничто не отвлекает от главного — получения понятного и корректного ответа.
При этом сохранили независимость от AI-вендора: теперь фонд может менять языковые модели без перестройки инфраструктуры и развивать консультанта по мере обновления медицинской базы знаний.