EMOTRAQ es un sistema diseñado para la detección y representación de emociones en tiempo real mediante las gafas de realidad mixta Meta Quest 3.
El proyecto combina técnicas de visión artificial, redes neuronales y entornos de realidad mixta para crear esta herramienta.
emotraq/
├─ core-app/ # Backend (FastAPI) + Frontend (React) + ejecutable (.bat)
├─ meta-app/ # Proyecto Unity para Meta Quest (aplicación nativa MR)
├─ ai/ # Entrenamiento de redes YOLO y CNN (scripts y notebooks)
├─ LICENSE
└─ README.md
Contiene el servidor (FastAPI) y el frontend (React).
Incluye un script automático (run_app.bat) que levanta ambos componentes en local.
- Backend (FastAPI): gestiona las peticiones de detección y clasificación de emociones.
- Frontend (React): interfaz web para visualizar los resultados y pruebas fuera del entorno VR.
Proyecto Unity configurado para Meta Quest 3, encargado de:
- Capturar imágenes del passthrough.
- Enviarlas al servidor para análisis.
- Superponer en el entorno de realidad mixta la emoción detectada en tiempo real.
Incluye los scripts y notebooks de entrenamiento de las redes neuronales:
- YOLO para la detección de rostros.
- CNN para la clasificación de emociones faciales.
cd core-app
./run_app.bat # En WindowsEl servidor FastAPI quedará disponible en http://localhost:8000
El frontend React en http://localhost:5173.
Abrir la carpeta meta-app/ desde Unity Hub y crear el .apk para Meta: File > Build Profiles > Build and Run
Compilar y desplegar en las Meta Quest 3 para ejecutar la aplicación nativa.
Los modelos de redes neuronales y el dataset ocupan demasiado espacio para incluirlos directamente en este repositorio.
Por este motivo, se encuentran almacenados en un Google Drive.
En caso de necesitarlos, solicite acceso.
- Modelo YOLO (detección de cabezas)
- Modelo ResNet50 (clasificación de emociones)
- Dataset utilizado para el entrenamiento
Este proyecto se distribuye bajo la licencia MIT.