- Заказчик
- Собственная разработка
- Задача
- Разработать первое в мире приложение — детектор лжи на основе технологии компьютерного зрения и искусственного интеллекта.
Предыстория
Первоначальным решением было основывать ответ преимущественно на показаниях пульса. Для этого нужно было интегрировать приложение с фитнес-трекерами или умными часами. Мы исследовали рынок и выяснили, что не существует общедоступных гаджетов, которые передают частоту пульса в реальном времени (а не через какой-то временной промежуток). Либо у них закрыты api. Нам же важно было давать ответ в реальном времени. Поэтому мы задумались о другом способе получения данных о пульсе, об этом чуть ниже.
В итоге решили использовать для ответа в первую очередь мимику человека. На это нас вдохновили исследования Пола Экмана и Алана Пиза, известных теоретиков лжи. Именно их труды мы заложили в основу приложения.
Решение
Чтобы воплотить эту идею в жизнь, мы использовали несколько современных мобильных технологий. Задачей было сделать не столько приложение для развлечения, сколько правдивый детектор лжи, доступный каждому.
У нас было несколько задач по возможностям приложения, и вот как мы их решили:
Распознавание лица и мимики
Приложение должно выдавать быстрый ответ, лжет ли человек, оценивая видеозапись его разговора, а точнее, движение его мимических мышц. Чтобы приложение «увидело» лицо человека, мы использовали в разработке технологию компьютерного зрения. Более того, нам нужно было сделать так, чтобы приложение распознавало не лицо в целом, а те места на лице, где видно движение каждой отслеживаемой мимической мышцы.
Наглядность движения мимических мышц
Мы решили, что действие приложения должно быть видимым для пользователя, чтобы он смог сам проанализировать мимику и вердикт. Так мы сделали вердикт более прозрачным. Чтобы отслеживание мимики было «наглядным», мимические мышцы «закрепляются» точками, которые двигаются во время разговора. Точки на лице появляются благодаря использованию технологии дополненной реальности.
Отслеживание других факторов кроме мимики
Чтобы ответ был наиболее достоверным, мы расширили количество проверяемых метрик. Добавили к мимике отслеживание движения зрачков и пульс. С пульсом, как мы писали в начале, все было не так просто. Раз использование дополнительных гаджетов оказалось плохой идеей, мы решили измерять изменения пульса по изменению цвета лба, так как известно, что гемоглобин поглощает свет, а значит, цвет лица меняется, когда человек нервничает. Здесь возникла новая проблема — качество света в помещении, где идет запись. Для помощи пользователям мы добавили индикатор света на экран записи, который загорается желтым цветом, когда недостаточно света или трясется телефон, и красным, когда совсем темно. Фактор пульса учитывается как второстепенный, так как редко получается добиться идеального освещения.
Вердикт на основе полученной информации с помощью машинного обучения
Далее на основе полученной информации необходимо выводить вердикты. Для этой функции мы написали алгоритм на основе искусственной нейронной сети. Образно говоря, мы наделили приложение мозгом. В него мы заложили паттерны двух типов, которые в свою очередь получили с помощью машинного обучения. Первый тип паттернов — это те самые «распознавалки» лжи по мимике от исследователей, только воплощенные в коде. Второй тип — обучение алгоритма на живых людях. То есть мы пригласили людей, посадили их перед камерой смартфона и задавали им вопросы, на которые они иногда отвечали правду, а иногда ложь. Таким образом мы получили паттерны теоретические и практические. С ними алгоритм сравнивает полученную информацию и высчитывает вероятность лжи и правды. Вердикт выносится в процентном соотношении.
Обмани искусственный интеллект
Когда основной функционал был разработан, мы стали тестировать приложение, и поняли, что для пользователей будет огромным соблазном попробовать обмануть приложение. Таким образом, улучшить свои навыки лжи. Поэтому мы добавили кнопку перехода на фронтальную камеру, чтобы записывать самого себя было удобно.
Обучение распознаванию лжи
Мы подумали, что наше приложение могло бы быть своеобразным тренажером для тех, кто хочет научиться распознавать ложь как в сериале «Обмани меня». Вы добавили галерею с видеороликами, на которых люди говорят правду или лгут. Видео прерывается вопросами с вариантами ответа. Нужно определить, ложь это или правда, и так же фактор, который на это указывает. Пока в галерее не так много роликов, но она будет пополнятся. Также у самого пользователя есть возможность сохранять свои записи в отдельной галерее.
Публикация ответа в соцсетях
Мы интегрировали приложение с соцсетями и добавили функцию «поделиться результатом». В ленте записей пользователя появится скриншот записи с вердиктом. Мы добавили такую возможность, чтобы пользователи могли легко показывать свои результаты друзьям, а возможно и обнародовать чью-то ложь или доказать правоту.
На сегодняшний день приложение Verity выпущено для двух платформ — iOS и Android. В будущем планируем выпустить версию для desktop.
Если у вас есть идеи, как применить технологию компьютерного зрения для вашего бизнеса, готовы обсудить!
Компания PunicApp.