Махатаева З., Ахметов Т. и Вэрол Х. А. (2023). Улучшение памяти человека на основе дополненной реальности с использованием искусственного интеллекта. Транзакции IEEE в человеко-машинных системах

Аннотация: В данной работе представлена система расширения памяти человека, которая использует дополненную реальность (AR), компьютерное зрение (CV) и искусственный интеллект для замены внутреннего мысленного представления объектов окружающей среды внешним дополненным представлением. Система состоит из двух компонентов: 1) гарнитуры дополненной реальности и 2) вычислительной станции. Гарнитура дополненной реальности запускает приложение, которое определяет обстановку в помещении, отправляет данные на вычислительную станцию для обработки, получает обработанные данные и обновляет внешнее представление объектов с помощью виртуального трехмерного объекта, проецируемого в реальную среду перед глазами пользователя. Компьютерная станция выполняет самолокализацию внутренней среды на основе CV, обнаружение объектов и привязку объекта к местоположению, используя данные о виде от первого лица, полученные с помощью гарнитуры дополненной реальности. Мы провели поведенческое исследование, чтобы оценить удобство использования системы. В пилотном исследовании с участием 26 человек (12 женщин и 14 мужчин) мы исследовали эффективность выполнения человеком экспериментального задания, которое включало запоминание расположения объектов в физическом пространстве и отображение положения изученных объектов на двумерной карте пространства. Мы проводили исследования в двух условиях — с использованием системы дополненной реальности и без нее. Мы исследовали удобство использования системы, субъективную нагрузку и переменные производительности в обоих условиях. Результаты показали, что расширение мысленного представления объектов в помещении с помощью дополненной реальности снизило когнитивную нагрузку и повысило точность работы.