Инструмент на основе ИИ создает простые интерфейсы для виртуальной и дополненной реальности

В статье, опубликованной в Трудах 37-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса , исследователями из Института взаимодействия человека и компьютера при Университете Карнеги — Меллона, представлен EgoTouch — инструмент, который использует искусственный интеллект для управления интерфейсами дополненной и виртуальной реальности посредством прикосновения пальца к коже. В конечном итоге команда хотела разработать элемент управления, который обеспечивал бы тактильную обратную связь, используя только датчики, поставляемые со стандартной гарнитурой дополненной/виртуальной реальности. OmniTouch, предыдущий метод, разработанный Крисом Харрисоном, доцентом HCII и директором Future Interfaces Group, был близок к этому. Но этот метод требовал специальной, неуклюжей камеры с датчиком глубины. У Вимала Моллина, аспиранта, которого консультировал Харрисон, возникла идея использовать алгоритм машинного обучения для обучения обычных камер распознаванию прикосновений. «Попробуйте взять палец и посмотреть, что произойдет, когда вы коснетесь им кожи. Вы заметите, что есть эти тени и локальные деформации кожи, которые возникают только тогда, когда вы касаетесь кожи», — сказал Моллин. «Если мы можем их увидеть, то мы можем обучить модель машинного обучения делать то же самое, и это, по сути, то, что мы сделали». Mollyn собрал данные для EgoTouch, используя специальный сенсорный датчик, который проходил по нижней стороне указательного пальца и ладони. Датчик собирал данные о различных типах прикосновений с разной силой, оставаясь невидимым для камеры. Затем модель научилась соотносить визуальные особенности теней и деформаций кожи с прикосновением и силой без человеческого комментария. Команда расширила сбор данных для обучения, включив в него 15 пользователей с разным тоном кожи и густотой волос, и собрала многочасовые данные по различным ситуациям, видам деятельности и условиям освещения. EgoTouch может определять прикосновения с точностью более 96% и имеет уровень ложных срабатываний около 5%. Он распознает нажатие вниз, поднятие вверх и перетаскивание. Модель также может классифицировать, было ли прикосновение легким или сильным, с точностью 98%. «Это может быть очень полезно для реализации функции щелчка правой кнопкой мыши по скину», — сказал Моллин. Обнаружение изменений в касании может позволить разработчикам имитировать жесты сенсорного экрана на коже. Например, смартфон может распознавать прокрутку вверх или вниз страницы, увеличение масштаба, смахивание вправо или нажатие и удерживание значка. Чтобы перевести это в интерфейс на основе кожи, камера должна распознавать тонкие различия между типом касания и силой прикосновения. Точность была примерно одинаковой для разных тонов кожи и густоты волос, а также для разных участков руки и предплечья, таких как передняя часть руки, задняя часть руки, ладонь и тыльная часть руки. Система не очень хорошо работала на костных участках, таких как суставы пальцев. «Ве...

Сообщает android-robot.com

Опубликовано: 05:00, 15.11.2024

Новость из рубрики: Технологии, Наука

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ новости часа

01:18, 27 Мар Обнаружена уязвимость в системах виртуальной реальности Команда компьютерных ученых из Чикагского университета обнаружила потенциальную уязвимость в системах виртуальной реальности, которая может позволить хакеру вставить то, что команда называет «начальным слоем» между главным экраном VR пользователя и ...

09:45, 01 Дек Обучение виртуальной реальности может сократить гендерный разрыв в некоторых задачах Выяснение того, почему мужчины и женщины по-разному справляются с некоторыми задачами, является предметом споров и не имеет научного консенсуса. Одной из областей исследования является область зрительно-пространственных способностей, где ряд исследо...

12:55, 01 Июл Какое напольное покрытие выбрать? В доме есть три основных вида полов - деревянный паркет, панели и плитка. Скорее всего, случится так, что вы определитесь с двумя из них - плиткой и паркетом или панелями. Плитка идеально подходит, например, для ванной комнаты, потому что пол там ча...

13:09, 16 Июн Финансист перечислил простые способы накопления денег У некоторых россиян нет привычки откладывать деньги. Чтобы у них появились какие-то накопления, они могут начать откладывать по 100 рублей в день, тогда за год размер финансовой подушки составит 36 тыс. рублей, порекомендовал финансист Андрей Пушкар...

15:31, 07 Июн Электрические сушилки для рук - Santehlux В современном мире стремление к гигиене и удобству стало важной частью повседневной жизни. Электрические сушилки для рук от компании Santehlux представляют собой идеальное решение для общественных и частных ванных комнат, обеспечивая быструю и эффек...

15:36, 03 Май Названы самые простые диеты для снижения веса Диета DASH. Она направлена на снижение кровяного давления и сокращения потребления натрия. Фокусируется эта диета на фруктах, овощах, цельнозерновых продуктах, нежирных белках и нежирных молочных продуктах. Ограничивается потребление холестерина, на...

19:45, 17 Фев Keyframer от Apple может анимировать простые рисунки Исследователи машинного обучения из Apple разработали приложение, которое может принимать простой рисунок и текстовое описание, чтобы анимировать рисунок нужным образом. Тиффани Ценг, Жуйцзя Ченг и Джеффри Николс опубликовали статью , описывающую но...

04:09, 10 Дек США вторыми в мире разрешили терапию на основе CRISPR Управление по контролю качества пищевых продуктов и лекарственных средств США (FDA) одобрило к применению терапию серповидноклеточной анемии, основанную на системе редактирования генов CRISPR, говорится в пресс-релизе ведомства. Страна стала второй ...

07:00, 18 Авг Trello vs Jira: Какой инструмент выбрать для управления проектами? В мире управления проектами выбор правильного инструмента может определить, будет ли проект успешным или будет бороться за достижение своих целей. С множеством доступных опций, два самых популярных выбора, которые часто рассматриваются, это Trello и...

20:40, 30 Сен Ручные клуппы для нарезания резьбы: надежный инструмент для работы Ручные клуппы являются незаменимым инструментом для профессионалов, занимающихся нарезкой резьбы на трубах и других металлических изделиях. Этот инструмент обеспечивает высокую точность работы, позволяя создавать качественные и прочные соединения. К...

01:54, 23 Июн Соучредитель OpenAI Суцкевер создает новую компанию в области искусственного интеллекта, занимающуюся «безопасным суперинтеллектом» Илья Суцкевер, один из основателей OpenAI, который участвовал в неудачной попытке свергнуть генерального директора Сэма Альтмана, заявил, что создает компанию по искусственному интеллекту, ориентированную на безопасность. Суцкевер, уважаемый исследо...

08:00, 30 Июн Корпус из поликарбоната, лютые дроп-тесты и «пустая» iOS без App Store. Как Apple создает Айфоны на самом деле Apple известна своим трепетным отношением к производству техники: у компании очень высокие стандарты качества, за счет чего в ее продукции меньший процент брака, чем у других производителей. Об этом наверняка слышали все, но детально с такими вещами...

12:00, 31 Мар OpenAI представила инструмент, полноценно клонирующий голос: Voice Engine достаточно 15-секундного семпла OpenAI объявила о запуске нового инструмента под названием Voice Engine. Это технология клонирования голоса, которая позволяет имитировать речь любого человека после анализа 15-секундного аудиосэмпла. Компания заявляет, что Voice Engine генерирует &...

13:27, 23 Ноя Сбер представил новую версию GigaChat - на основе самой сильной модели для русского языка На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию сервиса GigaChat, в основе которого лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров. Иллюстра...

00:00, 20 Сен Черновую работу в сфере искусственного интеллекта можно передать на аутсорсинг с помощью новой платформы на основе блокчейна Рабочее место завтрашнего дня будет работать на ошеломляющих объемах данных. Чтобы разобраться во всем этом, предприятиям, разработчикам и отдельным лицам понадобятся более совершенные системы искусственного интеллекта (ИИ), более подготовленные раб...