Публикация была переведена автоматически. Исходный язык: Английский
Улучшение памяти человека на основе дополненной Реальности с помощью искусственного Интеллекта
Augmented-Reality-Based Human Memory Enhancement Using Artificial Intelligence
Махатаева З., Ахметов Т. и Вэрол Х. А. (2023). Улучшение памяти человека на основе дополненной реальности с использованием искусственного интеллекта. Транзакции IEEE в человеко-машинных системах
Аннотация: В данной работе представлена система расширения памяти человека, которая использует дополненную реальность (AR), компьютерное зрение (CV) и искусственный интеллект для замены внутреннего мысленного представления объектов окружающей среды внешним дополненным представлением. Система состоит из двух компонентов: 1) гарнитуры дополненной реальности и 2) вычислительной станции. Гарнитура дополненной реальности запускает приложение, которое определяет обстановку в помещении, отправляет данные на вычислительную станцию для обработки, получает обработанные данные и обновляет внешнее представление объектов с помощью виртуального трехмерного объекта, проецируемого в реальную среду перед глазами пользователя. Компьютерная станция выполняет самолокализацию внутренней среды на основе CV, обнаружение объектов и привязку объекта к местоположению, используя данные о виде от первого лица, полученные с помощью гарнитуры дополненной реальности. Мы провели поведенческое исследование, чтобы оценить удобство использования системы. В пилотном исследовании с участием 26 человек (12 женщин и 14 мужчин) мы исследовали эффективность выполнения человеком экспериментального задания, которое включало запоминание расположения объектов в физическом пространстве и отображение положения изученных объектов на двумерной карте пространства. Мы проводили исследования в двух условиях — с использованием системы дополненной реальности и без нее. Мы исследовали удобство использования системы, субъективную нагрузку и переменные производительности в обоих условиях. Результаты показали, что расширение мысленного представления объектов в помещении с помощью дополненной реальности снизило когнитивную нагрузку и повысило точность работы.
Makhataeva, Z., Akhmetov, T., & Varol, H. A. (2023). Augmented-Reality-Based Human Memory Enhancement Using Artificial Intelligence. IEEE Transactions on Human-Machine Systems
Abstract: This work presents a human memory augmentation system that uses augmented reality (AR), computer vision (CV), and artificial intelligence to replace the internal mental representation of objects in the environment with an external augmented representation. The system consists of two components: 1) an AR headset; and 2) a computing station. The AR headset runs an application that senses the indoor environment, sends data to the computing station for processing, receives the processed data, and updates the external representation of objects using a virtual 3-D object projected into the real environment in front of the user's eyes. The computing station performs CV-based indoor environment self-localization, object detection, and object-to-location binding using first-person view data received from the AR headset. We designed a behavioral study to evaluate the usability of the system. In a pilot study with 26 participants (12 females and 14 males), we investigated human performance in an experimental task that involved remembering the positions of objects in a physical space and displaying the positions of the learned objects on the 2-D map of the space. We conducted the studies under two conditions—that is, with and without using the AR system. We investigated the usability of the system, subjective workload, and performance variables under both conditions. The results showed that the AR-based augmentation of the mental representation of objects indoors reduced cognitive load and increased performance accuracy.
