Как перевести язык жестов в текст с помощью Arduino?

Мы постоянно признаем, что технологии должны быть доступны для всех и для всех, будь то нормальные люди или люди с особыми способностями. Основное преимущество инноваций состоит в том, чтобы вовлекать людей и улучшать их, а не побеждать, а помогать им.

Войдите в текст

Люди с неспособностью говорить используют разные способы общения для передачи своих сообщений. Наиболее распространенным из них является язык жестов. Язык жестов – это язык, который использует модальность жестов для передачи сообщения. Язык жестов распространен среди людей, которые не могут говорить или слушать. Итак, вот проект, который поможет вам перевести язык жестов в некоторый текст, который будет понятен другим людям.

Как использовать Arduino, чтобы сделать переводчик текста в Sign?

Теперь давайте перейдем к сбору дополнительных данных, их анализу, созданию схемы и записи кода на микроконтроллере.

Шаг 1: Предпосылки

Прежде чем мы начнем работать, лучше собрать и изучить устройство, которое мы собираемся использовать. Список ниже показывает все элементы, которые нам нужны в этом проекте.

Шаг 2: Настройка устройства

Мы будем использовать датчики Flex, чтобы обнаружить жест. Датчик гибкости – это датчик, который выдает различное сопротивление и разный угол при каждом изгибе. Он имеет два контакта, которые подключены в конфигурации делителя напряжения. Подключение этих контактов к Arduino показано ниже.

Принципиальная электрическая схема

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 – это датчики гибкости, а RES1, RES2, RES3, RES4, RES5 – резисторы на 470 Ом. Одна точка всех гибких датчиков является общей, и на нее подается 5В. С другой стороны, одна ветвь всех резисторов является общей и соединена с землей. На входы Arduino будут поступать аналоговые данные от 0 до 1023, которые будут преобразованы в цифровую форму в коде.

Теперь, когда мы знаем, как работает гибкий датчик, прикрепите каждый гибкий датчик к пальцам перчатки (избегайте использования клея). Припаяйте соединительные провода ко всем гибким датчикам и соедините их на плате Veroboard, как показано на рисунке выше. Тщательно спаяйте соединения и выполните проверку целостности. Если проверка целостности не пройдена, перепроверьте свои паяные соединения и исправьте их.

Шаг 3: Начало работы с Arduino

Если у вас нет Arduino IDE, загрузите последнюю версию с Arduino

1. Подключите Arduino к компьютеру и перейдите в Панель управления> Оборудование и звук> Устройства и принтеры, чтобы проверить имя порта, к которому подключен Arduino. На моем ПК это COM14. Это может отличаться на вашем компьютере.Поиск номера порта
2. Откройте вашу Arduino IDE и установите на плате «Arduino / Genuino Uno».Настольная доска
3. Откройте вашу Arduino IDE и установите порт, который вы наблюдаете на вашем компьютере раньше.Настройка порта
4. Теперь загрузите код, прикрепленный ниже, и загрузите его на свой Arduino Board, нажав кнопку Загрузить.Загрузить

Ссылка для скачивания: Кликните сюда

Шаг 4: Код

Код комментируется хорошо, но вот некоторые общие объяснения того, как это работает.

1. В начале кода 5 аналоговых выводов Arduino инициализируются для использования с гибкими датчиками. Затем инициализируется Vcc от Arduino и сопротивления 4,7 кОм, что используется в схеме. Затем инициализируется сопротивление датчика прямого изгиба и сопротивление под углом 90 градусов. Эти инициализации будут полезны при написании кода.
2. void setup () – это функция, в которой мы инициализируем скорость передачи Arduino, и все пять аналоговых выводов инициализируются для использования в качестве INPUT. Скорость в бодах – это скорость, с которой микроконтроллер обменивается данными.
3. void loop () – это функция, которая работает снова и снова в цикле. В этой функции все аналоговые значения считываются и преобразуются в цифровые значения. Затем сопротивление рассчитывается по формуле делителя напряжения, и по этому сопротивлению рассчитывается угол изгиба гибкого датчика.

Когда вы поймете и загрузите код, наденьте перчатки и сделайте разные жесты, чтобы перевести их в текст. В коде вы можете добавить больше комбинаций движений пальцев по вашему выбору и соответственно отобразить сообщение. Вы увидите, что ваш язык жестов теперь преобразован в текст.

Шаг 5: Продвинутый

Этот проект посвящен преобразованию языка жестов в текст и отображению его на последовательном мониторе. Поскольку в качестве микроконтроллера используется Arduino, это устройство будет работать только в том случае, если Arduino подключен к ПК через кабель передачи данных, поскольку в Arduino отсутствует встроенный модуль WiFi. Чтобы сделать этот проект немного более интересным, вы можете добавить внешний модуль WiFi или использовать модуль ESP вместо Arduino, избавиться от кабеля для передачи данных и наслаждаться трансляцией преобразования речи в Wi-Fi.