Epic Games「AI first」模式：VR 視覺復康的一面鏡子

L’AI first d’Epic : un miroir pour la rééducation visuelle en réalité virtuelle

Ces dernières années, le secteur du jeu vidéo a été jalonné de fluctuations mais un changement majeur s’apprête à se faire : Epic Games a officiellement annoncé le passage à un modèle « AI first ». Au lieu de coder chaque niveau manuellement, les studios commencent à recourir à l’intelligence artificielle pour concevoir, équilibrer et déployer des jeux. Ce virage, pourtant, ne constitue pas uniquement une question de productivité ; il s’agit d’une opportunité de révolutionner même la santé visuelle.

Pourquoi le « AI first » compte pour la rééducation visuelle ?

La rééducation des yeux, comme le patch ou les séances de thérapeutes, repose sur la répétition et l’ajustement du stimulus. Une approche adaptée permet de maintenir le joueur motivé, évitant le lassissement. En étant capable d’ajuster les paramètres en temps réel – vitesse, taille, couleur – l’IA fait de l’entraînement un jeu vraiment interactif. C’est ici que le modèle d’Epic prend tout son sens : l’IA devient le moteur qui gère ce que joue le joueur, sans intervention humaine constante.

AmblyoPunch – le premier exemplaire de l’IA dans la VR

AmblyoPunch, développé par Seven Sportz, crée un environnement VR qui exploite les forces du Meta Quest : sensation d’immersion, tracking précis, et possibilités de personnalisation extrêmes. Il s’appuie sur un plan dichoptyque structuré en quatre étapes, chacune visant à entraîner le cerveau à perdre la suppression dominante (piques rouges, coins gagnés). Le niveau de difficulté natif dépend de la performance (≥ 70 % pour avancer, ≥ 80 % avec strabisme). L’algorithme d’IA adapte les conditions du jeu sans lutin homme pour éviter la démotivation.

Architecture technique

Le jeu fonctionne sur Unity en version 2023.3+. Il sonde en permanence les changements visuels via l’Oculus Insight, collecte des métriques de vitesse de pong, de succès, de temps. Une couche d’IA (Python + TensorFlow) analyse ces données pour recommander de remédier aux pénalités de « strabismus » ou de dynamiser la difficulté pour les yeux faibles. Les dépendances sont gérées via le « Package Manager » d’Unity, afin d’installer le SDK XR et le framework de suivi.

Le pipeline de données s’articule autour de trois boucles :

1. Acquisition – chaque frame, le casque renvoie la pose de la tête, la position des contrôleurs et le timestamp de la frame courante (≈ 11 ms à 90 Hz).
2. Prétraitement – un script C# normalise les valeurs (vitesse angulaire, distance inter‑oculaire) et les empuise dans une file circulaire de 200 échantillons.
3. Inférence – toutes les 2 secondes, le batch est sérialisé en JSON et envoyé via un WebSocket local à un service Python hébergé sur la même machine (ou un petit serveur edge). Le modèle TensorFlow (≈ 1,2 M paramètres) prédit un coefficient de difficulté Δ∈[‑0,15, +0,15] qui est appliqué immédiatement au prochain niveau.

Cette séparation permet de garder le rendu VR à 90 FPS sans surcharger le GPU du Quest, tandis que l’inférence CPU/GPU du PC hôte reste bien en dessous de 30 ms par appel. Le modèle a été entraîné hors‑ligne sur un jeu de données de 12 000 sessions anonymisées (consentement patient) avec une loss = MSE + λ·L2, λ = 1e‑4, early‑stopping à 15 epochs. Aucune mise à jour de poids n’a lieu en production ; le service ne fait qu’inférence, ce qui simplifie la conformité RGPD.

Mon propre détour

Il y a deux ans, je me suis retrouvé dans le cabinet d’un orthoptiste, le patch sur l’œil droit, à fixer un mur blanc pendant que le minuteur tournait. L’ennui était palpable, la progression invisible. Un soir, un collègue m’a glissé un Quest 2 avec AmblyoPunch pré‑installé. La première session a duré 12 minutes : le jeu m’a demandé de frapper des cibles rouges qui n’apparaissaient qu’à l’œil gauche, puis de les attraper avec le contrôleur droit. Le score s’affichait en temps réel, et quand j’ai dépassé 70 % de réussite, le niveau a monté d’un cran – vitesse de la balle, taille des cibles, contraste. Je n’ai pas eu à lire un manuel ; l’IA a fait le travail d’ajustement que le thérapeute ferait toutes les semaines. Après trois semaines, mon score moyen est passé de 62 % à 84 % et le strabisme résiduel a diminué selon le suivi clinique. Ce n’était pas de la magie, c’était une boucle de rétroaction bien conçue.

Pourquoi les développeurs devraient encore adopter ce modèle ?

Un tel système améliore la rétention du joueur et offre un retour rapide sur l’efficacité clinique. Les équipes ne doivent plus creuser pas de vieux patches à chaque fois. Le pays est maintenant prêt à s’adresser à une nouvelle communauté exigeante : les personnes qui cherchent un entraînement sans patch, engageant et guidé par la science. Si vous êtes un développeur intéressé par la santé, veuillez envisager d’inclure des composantes d’IA afin de proposer un centile sinon par des jeux juste et bien équilibrés.

Tirer profit pour votre startup

Pour les entreprises médicales, l’intégration de la méthode « AI first » vous permet de lancer un MVP plus rapidement et de rendre votre produit véritablement adaptatif. Les pilotes avec des patients et des professionnels de l’œil humanisent le processus et créent de la diffusion autour d’expérience. C’est un investissement valable pour une technologie dont la valeur évolue.

Perspectives pour la prochaine itération

L’équipe Seven Sportz prévoit d’ajouter un module de federated learning : chaque casque entraînerait localement un petit adapter (≈ 50 k paramètres) sur ses propres sessions, puis enverrait uniquement les deltas chiffrés vers un serveur d’agrégation. Cela réduirait la latence d’inférence à < 5 ms et renforcerait la confidentialité. Côté Unity, le passage à DOTS/ECS est à l’étude pour paralléliser la collecte de métriques sans toucher au thread de rendu. Enfin, l’intégration du Meta Quest Pro apporterait le eye‑tracking natif, ouvrant la voie à des stimuli réellement fovéaux plutôt qu’à la dichotomie actuelle.

À la lumière de ces développements, la question demeure : êtes‑vous prêts à investir dans la prochaine génération d’applications VR de rééducation ? Découvrez dès maintenant AmblyoPunch pour vous inspirer : https://www.meta.com/en-gb/experiences/amblyopunch/1239507485902689/