Проекты

Краткое описание

Общение является неотъемлемой частью жизни любого человека, начиная от ребенка, заканчивая пожилыми людьми. Каждый из нас ежедневно общается со своими коллегами, друзьями, второй половинкой, продавцами и консультантами по всевозможным вопросам: дружеское общение, рабочая деятельность, совершение покупок, получение консультаций, уточнение метаположения зданий и улиц, а также множеству других вопросов. Однако существуют люди, которые в силу врожденных или приобретенных недугов лишены такой возможности, а именно: глухо-немые и немые люди. Данные лица вынуждены всю свою жизнь общаться языком жестов, который знают либо специалисты-терапевты, либо крайне узкий круг близких родственников. По данным Фонда «ВАК» на территории РФ проживают более 90 000 людей с названными нарушениями, а процент людей, которые знают язык жестов, составляет 0,001% от общего числа населения РФ, что составляет менее 73 000 человек на всю страну (https://clck.ru/3SSJqM). В результате инвалид может не встретить ни одного человека, понимающего язык жестов, за всю свою жизнь.
Люди с нарушением речевого аппарата сталкиваются с «языковым» барьером ежедневно при осуществлении любых социальных действий. Единственным решением проблемы на данный момент является печатание текста на телефоне или бумаге с последующим прочтением собеседников и таким же письменным ответом, что крайне затрудняет взаимоотношения во всех сферах. Команда проекта разработала уникальное техническое решение данной проблемы для жителей РФ: устройство, которое считывает жесты пользователя и озвучивает их в реальном времени. Устройство для общения немых с дееспособными лицами «Голос» представляет собой носимый на шее пользователя кулон, предназначенный для помощи людям с нарушениями речевого аппарата. Система переводит жесты пользователя в обычную речь в реальном времени, обеспечивая комфортное общение с окружающими без необходимости знания жестового языка со стороны собеседника.
Решение состоит из двух взаимосвязанных компонентов: Нательный модуль (кулон) - компактное устройство, крепящееся на груди пользователя, оснащённое камерой для фиксации жестов и модулем беспроводной связи. Мобильное приложение - программа на смартфоне пользователя, выполняющая обработку данных и озвучивание результата. Принцип работы: Камера кулона записывает движения рук и тела пользователя в зоне видимости устройства, после чего записанный сигнал в оцифрованном виде передаётся на смартфон через безопасное беспроводное соединение. Специальная программа на основе искусственного интеллекта анализирует жесты, сопоставляет их с известными значениями и формирует текстовое сообщение, после этого текст преобразуется в звуковую речь с помощью встроенного синтезатора голоса и воспроизводится через динамик смартфона. В результате собеседник слышит чёткую, грамматически правильную речь, соответствующую смыслу, который пользователь выразил жестами. В рамках проекта команда создаст 3 первых экземпляра устройства и передаст их социальным организациям ВО.

Цель

1. Создание и презентация Социальным организациям Воронежской области 3 экземпляров аппарата для речевого взаимодействия между дееспособными лицами и лицами с нарушениями речевого аппарата для обеспечения минимальной потребности в эксплуатации устройств представителями целевой аудитории на территории Воронежской области

Задачи

1. Подготовка рабочего помещения к производственному процессу
2. Производство 3 устройств для голосового общения между лицами с нарушениями речевого аппарата и дееспособными лицами "Голос"
3. Обеспечение доступа представителей целевой аудитории к созданным устройствам на равных условиях
4. Информационное освещение проблем слепо-глухих граждан, в том числе в Воронежской области, а также демонстрация решения проблем слепо-глухих в сфере самостоятельного передвижения и ориентирования в закрытых и открытых пространствах

Обоснование социальной значимости

На территории Российской Федерации проживает значительное количество людей с нарушениями слуха и речи, для которых жестовый язык является основным способом коммуникации, однако подавляющее большинство окружающих не владеют этим языком, что создает непреодолимый барьер в повседневном общении. В магазине, поликлинике, банке, транспорте или на улице глухонемой человек оказывается в ситуации, когда он не может быстро и естественно донести свою мысль или понять собеседника. В отсутствие специализированных технических средств люди вынуждены прибегать к неудобным методам: открывать приложение заметок в смартфоне, вручную вводить текст, показывать экран собеседнику, ждать ответа и снова набирать сообщение. Этот процесс делает диалог прерывистым, неестественным и затянутым: то, что в обычном разговоре занимает секунды, здесь растягивается на минуты, а иногда и десятки минут. Ситуация усугубляется в местах, где требуется быстрое принятие решений, например, при обращении за экстренной помощью или в очереди, где время ограничено. Человек испытывает постоянное эмоциональное напряжение, чувство изоляции и неуверенности, потому что каждое взаимодействие требует дополнительных усилий и часто заканчивается недопониманием. Даже простые бытовые задачи — заказать еду, уточнить маршрут, объяснить симптомы врачу, ответить на вопрос кассира — превращаются в сложную задачу. Попытки объясниться простыми жестами без знания языка жестов собеседником часто приводят к ошибкам, так как мимика и движения рук без контекста могут быть истолкованы неверно. Существующие приложения-переводчики часто требуют установки на оба устройства, стабильного интернета, сложной настройки или не поддерживают полноценный жестовый язык с его грамматикой, мимикой и нюансами. В результате человек вынужден ограничивать круг общения, избегать посещения общественных мест, зависеть от помощи родственников или сурдопереводчиков, которые есть не всегда и не везде. Это снижает качество жизни, ограничивает возможности для работы, обучения, досуга и полноценного участия в жизни общества. Ключевая потребность заключается в отсутствии быстрого, естественного и доступного инструмента, который мог бы мгновенно переводить жестовый язык в текст или озвученную речь и наоборот, позволяя человеку общаться на равных без посредников, без длительного набора текста и без чувства беспомощности. Такое устройство или приложение вернуло бы пользователю чувство достоинства, независимости и возможности быть понятым в любой ситуации.
Устройство «Голос» предназначено для преобразования жестового языка в озвученную речь в режиме реального времени. Нательное устройство в форме кулона фиксирует и анализирует движения рук и мимику пользователя, распознавая элементы жестового языка. Обработанные данные передаются по беспроводному соединению на смартфон, где специальное программное обеспечение преобразует их в текстовую форму. Далее текст поступает в предварительно обученную языковую модель, которая синтезирует естественную озвученную речь. Таким образом, жесты пользователя в реальном времени транслируются в понятный для собеседника аудиоформат, обеспечивая непрерывный и естественный диалог без необходимости набора текста вручную.
В результате стирается коммуникационный барьер между глухонемыми гражданами и людьми, не владеющими жестовым языком, что способствует их полноценной интеграции в общество и повышает качество повседневных взаимодействий.
Также команда проекта при поддержке партнеров провела опрос представителей ЦА и их опекунов на территории Воронежской и смежных областей в части необходимости разработки новых решений для ЦА , полученные результаты онлайн-опроса -https://clck.ru/3SYd69

География проекта

Воронежская область

Целевые группы

1. Граждане Воронежской области с нарушениями речевого аппарата, нуждающиеся в технологических возможностях беспрепятственного и удобного общения с дееспособными людьми