Amblyotube 使用 VR 協助雙眼協同:個人體驗
The Download: AI “mind-reading” and creative uses for small batteries
Amblyotube 在 Unity 2022 LTS 上以雙眼分視渲染,配合 TensorFlow Lite 小型神經網絡調整對比度,為弱視訓練提供 VR 體驗。作者稱使用三週、每日 20 分鐘後,融合分數由 0.68 升至 0.91,視力表評估改善兩行;程式碼以 MIT 授權開源,運作毋須伺服器。
Quand l'IA lit nos pensées, la VR réapprend à nos yeux de collaborer — mon retour d'expérience sur Amblyotube (Meta Quest, Unity, dichoptic rendering) | LinkedIn France
Je me souviens du soir où j'ai enfilé le Quest 2 pour la première fois, le bruit du ventilateur dans le salon, l'odeur de café froid sur la table. Mon œil gauche, paresseux depuis l'enfance, ne suivait jamais le droit. Le diagnostic : amblyopie, « lazy eye ». Le médecin m'avait dit : « Il faut forcer les deux yeux à travailler ensemble ». Facile à dire, difficile à faire.
Amblyotube propose exactement cela : un rendu dichoptique natif sous Unity 2022 LTS, exploitant le pipeline URP et le Meta XR SDK. Chaque œil reçoit une texture légèrement décalée (≈ 2°) et un contraste adaptatif piloté par un petit réseau de neurones embarqué (TensorFlow Lite, 1,2 Mo). Le tout tourne à 90 fps, latency < 15 ms, grâce à une instanciation GPU instanciée (Graphics.DrawMeshInstancedIndirect) qui évite le double‑pass CPU.
Premier session : 12 minutes. Je vois le cube rouge‑vert se fondre, mes deux rétines reçoivent enfin des informations complémentaires. Le tableau de bord interne affiche « fusion score : 0,68 ». Après trois semaines, 20 min/jour, le score grimpe à 0,91. Mon ophtalmo note une amélioration de 2 lignes sur l'échelle de Snellen.
Ce qui m'a frappé, c'est la simplicité de l'API : AmblyoManager.StartSession(eyeOffset, contrastCurve). Pas de serveur, tout local, pas de télémétrie invasive. Le code source (MIT) laisse entrevoir comment le shader dichoptique écrit dans deux render textures distinctes, puis les compose via Blit dans le frame final.
Aujourd'hui, je retire le casque, je regarde le monde sans flou. Si vous cherchez un projet concret où l'IA légère et la VR médicale se croisent, testez Amblyotube. Votre regard vous en remerciera.
來源:DEV Community · dev.to