Breve resumen de la materia

A medida que la inteligencia artificial (IA) transforma las industrias a nivel mundial, su integración con las tecnologías de realidad virtual (VR) y realidad aumentada (AR) abre nuevas posibilidades para experiencias inmersivas. Las aplicaciones de VR/AR impulsadas por IA ofrecen niveles sin precedentes de compromiso, realismo y adaptabilidad en áreas como la educación, la salud y el entretenimiento. Este curso ofrece una introducción profunda a la poderosa intersección de la IA con VR y AR, proporcionando a los participantes perspectivas sobre el vasto potencial y los desafíos emergentes en este dinámico campo.

Comenzando con los conceptos fundamentales, el curso explora cómo la IA habilita entornos inmersivos, abordando tanto el potencial como las complejidades de VR y AR. A través de conferencias interactivas, estudios de caso y ejemplos prácticos, los participantes aprenderán cómo la IA transforma las experiencias VR/AR al mejorar el realismo, la capacidad de respuesta, la personalización y la interactividad. Los temas clave incluyen el papel de la IA en la creación de entornos adaptables e inteligentes que soportan la capacidad de respuesta contextual y contenido dinámico dirigido por el usuario. Al finalizar el curso, los participantes sintetizarán su aprendizaje en una tarea final, diseñando una experiencia conceptual de VR/AR, demostrando su comprensión de los principios fundamentales de la IA y las estrategias de aplicación en tecnologías inmersivas.

Abstract

As AI reshapes industries worldwide, its integration with virtual (VR) and augmented reality (AR) technologies unlocks new possibilities for immersive experiences. AI-driven VR/AR applications offer unprecedented levels of engagement, realism, and adaptability in education, healthcare, and entertainment. This course provides an in-depth introduction to the powerful intersection of AI with VR and AR, equipping participants with insights into the vast potential and emerging challenges in this dynamic field.

Beginning with foundational concepts, the course explores how AI enables immersive environments, addressing both the potential and complexities of VR and AR. Through interactive lectures, case studies, and practical examples, participants will learn how AI transforms VR/AR experiences by enhancing realism, responsiveness, personalization, and interactivity. Key topics include AI’s role in creating adaptable, intelligent environments that support context-aware responsiveness and dynamic, user-driven content. By the course’s end, participants will synthesize their learning in a take-home assignment to design a conceptual VR/AR experience, demonstrating their grasp of core AI principles and application strategies in immersive technologies.

Objetivos del curso

El objetivo principal de este curso es proporcionar a los participantes las habilidades y conocimientos necesarios para proponer y diseñar aplicaciones de VR/AR mejoradas con IA. El curso comienza estableciendo una base sólida en los conceptos de VR y AR para lograr esto, ayudando a los participantes a comprender los desafíos y oportunidades que presentan estas tecnologías inmersivas. Sobre esta base, los participantes explorarán cómo la IA transforma los entornos VR/AR, habilitando experiencias adaptativas e interactivas mediante técnicas avanzadas como la generación de contenido, el procesamiento de lenguaje natural en tiempo real, el reconocimiento de emociones y el análisis del comportamiento del usuario. El curso también analizará diversas aplicaciones de la IA dentro de VR/AR, incluidos entornos adaptativos, humanos virtuales e interactividad impulsada por IA, fomentando que los participantes consideren el papel de la IA en la creación de experiencias de usuario inmersivas y atractivas. A través de estudios de caso, obtendrán una visión de experiencias innovadoras de VR/AR y el impacto práctico de la IA en la creación de contenido y el diseño inmersivo. Finalmente, el curso integrará consideraciones éticas, haciendo hincapié en el desarrollo responsable de aplicaciones de VR/AR mejoradas con IA y preparando a los participantes para abordar las necesidades de los usuarios y las dimensiones éticas en sus diseños.

Objectives of the Course

The primary objective of this course is to equip participants with the skills and knowledge needed to propose and design AI-enhanced VR/AR applications. The course begins by establishing a solid foundation in VR and AR concepts to achieve this, helping participants understand the challenges and opportunities these immersive technologies present. Building on this foundation, participants will explore how AI transforms VR/AR environments, enabling adaptive and interactive experiences through advanced techniques such as content generation, real-time natural language processing, emotion recognition, and user behavior analysis. The course will also analyze diverse AI applications within VR/AR, including adaptive environments, virtual humans, and AI-driven interactivity, encouraging participants to consider AI’s role in creating immersive, engaging user experiences. Through case studies, they will gain insight into innovative VR/AR experiences and the practical impact of AI in content creation and immersive design. Finally, the course will integrate ethical considerations, emphasizing the responsible development of AI-enhanced VR/AR applications and preparing participants to address user needs and ethical dimensions in their designs.

Programa

Introducción a las Tecnologías Inmersivas

1. Visión general de VR, AR, MR (Realidad Mixta) y XR (Realidad Extendida)
2. Aplicaciones clave y tendencias industriales en VR/AR en diversos sectores (por ejemplo, educación, salud, entretenimiento)
3. Desafíos y oportunidades en el desarrollo de tecnologías inmersivas

Fundamentos de la Inteligencia Artificial

1. Breve introducción a los principios de la IA relevantes para VR/AR
2. Visión general de la interactividad impulsada por IA: procesamiento de lenguaje natural, visión por computadora y aprendizaje automático en entornos inmersivos

El Papel de la IA en la Mejora de los Entornos Inmersivos

1. Creación de entornos VR/AR adaptativos y responsivos
2. IA contextual para una respuesta en tiempo real
3. Estudio de caso: aplicaciones VR/AR mejoradas con IA que muestran entornos adaptativos

Generación de Contenido e IA en VR/AR

1. Generación procedural de modelos 3D, texturas y entornos interactivos
2. Herramientas de IA para automatizar la creación de contenido en VR/AR
3. Ejemplos prácticos de flujos de trabajo para la creación de contenido en VR/AR

Humanos Virtuales e Interacción Humano-Computadora

1. El papel de los humanos virtuales en la simulación de interacciones y comportamientos realistas
2. Técnicas de IA en procesamiento de lenguaje natural, reconocimiento de gestos y reconocimiento de emociones
3. Estudios de caso: humanos virtuales en VR social, simulaciones de entrenamiento y servicio al cliente

Personalización y Diseño Centrado en el Usuario en VR/AR

1. Personalización impulsada por IA: perfiles de usuario, contenido adaptativo y experiencias personalizadas
2. Mejora del compromiso del usuario a través de retroalimentación y interacciones personalizadas impulsadas por IA
3. Ética de la personalización: preocupaciones sobre privacidad y consideraciones de datos

Ética e Implicaciones Sociales de la IA en VR/AR

1. Equilibrando la innovación con la responsabilidad ética
2. Abordando la privacidad, autenticidad e impacto social de las tecnologías inmersivas
3. Discusión: Directrices éticas para el desarrollo responsable en VR/AR

Futuras Direcciones en VR/AR Mejorado por IA

1. Tendencias emergentes y tecnologías en IA y tecnologías inmersivas
2. Especulando sobre aplicaciones futuras y el rol en evolución de la IA en VR/AR
3. Preparación para el aprendizaje y desarrollo continuos en el campo Preparación y

Orientación para el Proyecto Final

1. Visión general de la tarea final
2. Pasos para diseñar un esquema de experiencia VR/AR, con enfoque en las necesidades del usuario y características de IA
3. Sesión de preguntas y respuestas y retroalimentación para apoyar el desarrollo del proyecto

Brief Index

Introduction to Immersive Technologies

1. Overview of VR, AR, MR (Mixed Reality), and XR (Extended Reality)
2. Key applications and industry trends in VR/AR across sectors (e.g., education, healthcare, entertainment)
3. Challenges and opportunities in immersive technology development

Fundamentals of Artificial Intelligence

1. Brief introduction to AI principles relevant to VR/AR
2. Overview of AI-driven interactivity: natural language processing, computer vision, and machine learning in immersive settings

AI’s Role in Enhancing Immersive Environments

1. Creating adaptive and responsive VR/AR environments
2. Context-aware AI for real-time responsiveness
3. Case study: AI-enhanced VR/AR applications that showcase adaptive environments

Content Generation and AI in VR/AR

1. Procedural generation of 3D models, textures, and interactive environments
2. AI tools for automating content creation in VR/AR
3. Practical examples of content creation workflows in VR/AR

Virtual Humans and Human-Computer Interaction

1. Role of virtual humans in simulating realistic interactions and behaviors
2. AI techniques in natural language processing, gesture recognition, and emotion recognition
3. Case studies: Virtual humans in social VR, training simulations, and customer service

Personalization and User-Centric Design in VR/AR

1. AI-driven personalization: user profiling, adaptive content, and custom experiences
2. Enhancing user engagement through tailored, AI-driven feedback and interactions
3. Ethics of personalization: privacy concerns and data considerations

Ethics and Societal Implications of AI in VR/AR

1. Balancing innovation with ethical responsibility
2. Addressing privacy, authenticity, and the social impact of immersive technologies
3. Discussion: Ethical guidelines for responsible development in VR/AR

Future Directions in AI-Enhanced VR/AR

1. Emerging trends and technologies in AI and immersive tech
2. Speculating on future applications and the evolving role of AI in VR/AR
3. Preparing for continued learning and development in the field

Capstone Project Preparation and Guidance

1. Overview of the take-home assignment
2. Steps for designing a VR/AR experience outline, with a focus on user needs and AI features
3. Q&A and feedback session to support project development

Prerrequisitos

El curso está destinado a estudiantes con formación en Ciencias de la Computación. Además, contar con conocimientos fundamentales en IA o Aprendizaje Automático (por ejemplo, cursos introductorios de Inteligencia Artificial o Aprendizaje Automático) y/o familiaridad con la Interacción Humano-Computadora o Medios Digitales (por ejemplo, cursos en HCI o Medios Interactivos) mejorará la comprensión y el compromiso con el material.

Preferred Background

The course is intended for students with a Computer Science background. Additionally, foundational knowledge in AI or Machine Learning (e.g., introductory courses in Artificial Intelligence or Machine Learning) and/or familiarity with Human-Computer Interaction or Digital Media (e.g., courses in HCI or Interactive Media) will further enhance understanding and engagement with the material.

Bibliografía

• Hirzle, T., Müller, F., Draxler, F., Schmitz, M., Knierim, P. and Hornbæk, K., 2023, April. When XR and AI meet-a scoping review on extended reality and artificial intelligence. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (pp. 1-45).
• Liberatore, M.J. and Wagner, W.P., 2021. Virtual, mixed, and augmented reality: a systematic review for immersive systems research. Virtual Reality, 25(3), pp.773-799.
• Ribeiro de Oliveira, Tainã, Brenda Biancardi Rodrigues, Matheus Moura da Silva, Rafael Antonio N. Spinassé, Gabriel Giesen Ludke, Mateus Ruy Soares Gaudio, Guilherme Iglesias Rocha Gomes et al. «Virtual reality solutions employing artificial intelligence methods: A systematic literature review.» ACM Computing Surveys 55, no. 10 (2023): 1-29.
• Soliman, M.M., Ahmed, E., Darwish, A. and Hassanien, A.E., 2024. Artificial intelligence powered Metaverse: analysis, challenges and future perspectives. Artificial Intelligence Review, 57(2), p.36.
• Suzuki, R., Gonzalez-Franco, M., Sra, M. and Lindlbauer, D., 2023, October. XR and ai: AI-enabled virtual, augmented, and mixed reality. In Adjunct Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology (pp. 1-3).
• Xu, X., Yu, A., Jonker, T.R., Todi, K., Lu, F., Qian, X., Evangelista Belo, J.M., Wang, T., Li, M., Mun, A. and Wu, T.Y., 2023, April. Xair: A framework of explainable ai in augmented reality. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (pp. 1-30).