跳到正文
新浪科技·· 3 小時前AI 評分44

智能眼鏡在協助殘疾人士方面大展拳腳

智能眼镜在服务残障人群领域大展拳脚

AI 導讀

智能眼鏡正透過聲音放大、即時轉寫、唇語識別及 AI 提示,協助聽障、視障及記憶障礙人士,部分方案不設攝像頭以減低私隱爭議。Nuance Audio 眼鏡以六麥克風陣列和開放耳道揚聲器放大人聲;CrossSense 的 Wispy 測試中,物品名稱識別準確率由 46% 升至 82%,加上彩色標註提示後達 89%。

正文

尽管 Meta 的雷朋智能眼镜这类产品越来越被贴上 “偷拍眼镜” 的标签,但这项技术在帮助听障、视障以及存在记忆障碍的人群方面潜力巨大。

尤其是车载摄像头,常被视作对他人隐私的侵犯 —— 佩戴者可以在对方不知情、未许可的情况下进行拍摄。因此,业内衍生出多种辅助技术方案,避开这类隐私争议:包括搭载开放耳道音频放大功能的眼镜、语音实时转写设备,甚至可以隔着口罩识别唇语的方案。全新的基于物理仿真的 AI 开发工具正在加速这类眼镜的研发;同时,搭载 ARM Cortex‑M85 内核的新一代超低功耗处理器,有助于提升设备性能、支撑本地 AI 运行、延长续航时间。

英国纽卡斯尔一位失明剧作家表示:“我对近期 AI 与智能眼镜遭到滥用的现象深感担忧,也对部分人使用这项技术的方式感到震惊。这类行为带有剥削性质、极不妥当,但我更担心,公众会因为这些滥用案例,对真正有需求的使用者产生质疑。”

英国皇家国立聋人研究所数据显示,英国有超过 120 万成人听力损失严重,难以正常对话,而帮助他们并不一定需要摄像头。

Nuance Audio 研发的智能眼镜内置六麦克风阵列,结合定向波束成形技术与开放耳道扬声器,无需入耳即可放大人声。

六枚麦克风隐藏在镜架内:两枚朝前布置在镜框前端,其余分布在镜腿位置。设备依靠波束成形算法锁定特定方向传来的声音,抑制来自侧面与后方的背景噪声。

小巧隐蔽的微型扬声器安置在耳上方的镜腿中,通过气传导清晰输出处理后的音频。音频延迟低于 8 毫秒,保证唇形与放大后的声音保持同步。

设备内置多种听音模式:前置模式将拾音焦点锁定正前方说话人,削减侧方与后方环境噪音,适合餐厅场景或一对一交谈;全向模式支持 360° 均匀收音,适合步行、驾车或是需要感知周边环境的场景。

中国深圳的 Evenrealities 等厂商同样选择不搭载摄像头。旗下 Even G2 智能眼镜可在屏幕上直接展示对话文字。这项由 AI 驱动的对话功能能够在交谈过程中给出提示、释义,对话结束后自动生成 AI 摘要。

这款 36 克重的智能眼镜还支持 30 多种语言互译,并可搭配 Even R1 智能戒指内置的地磁传感器实现导航。

声音感知建模是一大技术难点,对 AI 模型而言尤为突出。一家仿真工具企业联合创始人芬努尔・平德称,该公司正在开发面向 AI 模型性能仿真的工具,智能眼镜是增长迅猛的应用赛道。

他说:“我们对声音物理特性进行建模仿真,能够复现任意场景下的声学环境。我们对麦克风、扬声器、模数转换器(ADC)、数模转换器(DAC)以及头部相关传递函数(HRTF)建立模型,仿真所有器件的物理行为。以 AR 眼镜扬声器为例,我们模拟声源向外辐射、传播至眼镜,同时仿真麦克风信号绕过头部产生的折射效应。”

平德表示:“智能眼镜是我们目前重点市场之一,我们会对头部轮廓、眼镜佩戴贴合状态做建模。我们的客户自研大语言模型,同时做端侧与云端推理。”

“当下端侧设备能实现的功能已经令人惊叹,还有一批在研方案更值得期待,包括超人类听觉、实时转写。用户可以选择性拾取想听的声音,同步转写或者翻译,能力会非常强大。”

英国有一个科研项目,实现智能眼镜隔着口罩识别唇语。新冠疫情让大家意识到戴口罩时唇读的巨大困难,一批高校科研人员开始不断突破传感技术的边界。

COG‑MHEAR 项目正在研发 “助听眼镜”,结合唇语识别与 AI,大幅改善听障人士的听音体验。

项目最初目标是打造一款设备,在嘈杂环境中实时滤除背景噪音,帮助听障人群。AI 可以从混杂环境声中分离出说话人声,几乎无延迟地将净化后的音频发送至用户助听器或耳机。

来自格拉斯哥赫瑞‑瓦特大学的玛蒂妮・塞拉苏赖教授(项目核心研究员之一,合作团队还包括斯特灵大学、格拉斯哥大学、爱丁堡大学、曼彻斯特大学、诺丁汉大学)表示:“我们不是要重新发明助听器,而是给助听器赋予超能力。”

“你只需要看向想要聆听的对象。哪怕两个人同时说话,AI 也能借助视觉特征,提取你注视对象的语音。”

这种视听语音增强方案,利用了唇部动作和语音之间强关联的特性。现有的降噪技术很难处理多人交叠说话或是复杂背景噪音,而本项目正是为了解决该痛点。

塞拉苏赖说:“助听器市场仅有少数大厂,它们的产品在嘈杂环境下效果有限。我们希望打破这个瓶颈,让更多人,尤其是儿童和老年群体,能够用上平价的 AI 助听方案。”

“这项技术的通用性也十分令人振奋。它固然面向助听器使用者与重度视障人群,但石油钻井平台、医院病房等嘈杂环境里的工作人员同样可以受益。”

该项目还针对摄像头方案固有的隐私短板,提出一套基于射频(RF)的远程唇读框架,支持口罩下唇语识别。系统仅采集超宽带射频芯片的射频数据,不录制视频,以此保护隐私。

研究团队采用 Novelda 的 Xethru UWB 芯片。这款芯片原本计划在 2024 年被北欧半导体收购,但交易最终告吹;Novelda 随后破产,其资产由挪威特隆赫姆的医疗科技企业 Vitalthing 接手。

科研团队目前仍在研发可落地的眼镜样机。

当然,视频采集依旧是重要技术路线。纽卡斯尔的博吉(前文的失明剧作家)说:“我近期新增了 Meta 智能眼镜作为辅助设备,它彻底改变了我的生活。它帮我保障出行安全、感知周遭环境、和亲友沟通。眼镜上的摄像头搭配 AI 以及各类辅助应用,能实现极为丰富的功能。”

雷朋 Meta 智能眼镜由意大利眼镜巨头依视路陆逊梯卡联合 Meta 开发,搭载高通骁龙 AR1 Gen1 系统级芯片,配备 32GB 闪存与 2GB LPDDR4X 内存。一侧铰链内置 1200 万超广角摄像头,另一侧设有专用录制状态指示灯;即便指示灯被遮挡,设备依旧会给出提示。

视频录制耗电较高,常规款雷朋 Meta、Oakley 版本采用 219mAh 小型锂聚合物软包电池,续航约 8 小时;雷朋 Meta 带显示的 AR 版本升级至 248mAh 电池。

光机采用硅基液晶(LCoS)微型显示屏,输出 600×600 分辨率画面;反射式波导方案由企业联合 Lumus 共同开发、肖特负责生产。

不少辅助类应用依托它运行,例如 Be My Eyes。该应用不完全依赖 AI,用户发出语音指令后,志愿者可以通过眼镜摄像头 “代为观看”,通过开放耳道扬声器直接语音反馈;同时它也支持 AI 图像描述,轻松处理复杂任务。

伦敦初创企业 CrossSense 另辟赛道,利用摄像头与 AI,帮助痴呆症患者在家独立、安心生活。

该公司旗下 AI 智能眼镜助手 Wispy,斩获百万英镑 “痴呆经度奖”。它会学习使用者独有的行为习惯,适配个人需求,并通过眼镜显示屏给出温和提示。

CrossSense 首席执行官什切潘・奥林斯说:“十余年前,一个简单想法催生了我们这个宏大目标:打通不同感官通路,比如把名字和颜色关联、形状搭配声音,大脑就可以搭建新的神经通路或是强化原有通路。我们相信这种跨感官方式,能够增强大脑韧性,改善认知衰退人群的记忆能力。”

“当时阿尔茨海默病临床进展停滞,硬件条件也不成熟。我们只能等待智能眼镜与 AI 变得轻量化、高性能,让这套方案落地。”

“我们把照护逻辑从监控转变为赋能。CrossSense 就像一位耐心、善解人意的伙伴,依托眼镜应用提醒用户按步骤完成日常事务,留住重要的生活瞬间。”

“在项目立项之初,我们希望保留甚至提升痴呆症患者的自理能力。深耕 AR 可穿戴领域的经历,让我们看到它增强现实能力的潜力。”

“我们针对多感官处理、认知刺激疗法(CST)的研究表明,在恰当时机提供合适干预,能比大众预想的更久地维持患者自理能力与生活质量。难点一直在于干预实施 —— 传统干预需要专业引导人员。借助智能体 AI,CrossSense 实时介入,当用户遇到认知卡点(比如忘记菜谱下一步操作)时给出提示,完成后自动静默。”

“多数痴呆症会破坏大脑形成新记忆的区域,但我们的方案并非临时补救。AR 眼镜把信息锚定在真实空间,同步调动多个脑区;当部分神经通路受损时形成信息冗余。我们采用双重编码,通过多感官潜移默化传递信息,巩固记忆关联。近期产品评估已经证明,这套方式具备长效记忆巩固效果。”

该公司与萨塞克斯大学朱莉娅・西姆纳教授合作开展测试:在原型眼镜辅助下,受试者识别物品名称准确率从基线 46% 提升至 82%;搭配彩色标注提示后可达 89%。摘掉眼镜后效果依然留存,一小时后受试者仍能记住 74%–78% 的名称。生活质量评分从 64% 提升至 80%,95% 受试者体验改善。

团队十分重视隐私风险,整套数据合规框架在英国信息专员办公室(ICO)监管沙盒内搭建。

奥林斯介绍:“我们采用分级授权机制,用户自主掌控向平台与照护者开放哪些信息。Wispy 会在日常场景中适时弹出简短权限提示,而非冗长协议。照护者可以获取温和、宏观的每日情况概览,不会形成侵入式监控。由设备承担重复性认知引导,亲友才能专注于最核心的情感陪伴,共享相处的快乐。”

当前成品眼镜重 76 克,外观和普通眼镜无异;早期原型重量高达 200 克。产品计划于 2027 年初正式商用。

谷歌眼镜是早期智能眼镜代表,相关技术生态延续至今。Envision 眼镜支持文字识别、手写与版式检测、场景描述、纸币与色彩识别,还可以远程连线陪护人员视频协助。但它依托的底层平台已于 2023 年停更,也凸显了依赖第三方平台的风险。

新一代超低功耗 MCU 也专门面向智能眼镜开发。

正被安森美收购的新突思科技(Synaptics),本周推出支持多模态端侧 AI 的全新系列微控制器 ——Astra SR200 系列。芯片集成 AI 加速单元与高带宽自研 DRAM,可在 AI 可穿戴、电池供电传感设备上完整运行更大规模 AI 模型。

SR200 系列搭载新思 Torq AI 引擎、谷歌研究院 Coral 神经网络处理器(NPU),同时集成 ARM 旗舰微控制器内核 Cortex‑M85 与低功耗 Cortex‑M52。

三款引脚兼容的产品线共享硬件底座与软件开发套件(SDK):SR210 算力 200GOPS,主打低功耗持续收音与传感;SR230 算力 300GOPS,新增视觉、显示与可选音频,面向主流多模态设备;SR250 算力 400GOPS,配备双路视觉与显示通路,用于高端产品。开发者可以平滑升级算力,保护软件与系统架构投入。

Torq AI 引擎搭配 Coral NPU,支持卷积神经网络、Transformer、全连接网络。配套开源编译器,兼容主流行业框架与模型格式,不绑定厂商私有工具链。可选配 Cadence Tensilica HiFi 5 DSP 内核,专门处理音频声学机器学习任务;独立常开域负责语音检测、计时与唤醒。

新突思边缘计算与连接事业部高级副总裁兼总经理维克拉姆・古普塔说:“下一代 AI 的核心,是能够感知环境、本地自主决策,同时满足严苛的功耗、成本与体积约束。Astra SR200 系列属于全新 xMCU 品类,把应用处理器的能力带入 MCU 领域,承载过去需要 Linux、外挂独立 DRAM 才能运行的多模态 AI 负载,为智能传感、高端端侧物理 AI 系统提供可扩展底座。”

谷歌研究院副总裁兼负责人约西・马蒂亚斯表示:“我们和新思持续合作,依托 Coral 平台、Astra 可扩展硬件与开发者生态,赋能下一代可穿戴设备。”

超低功耗控制器厂商 Ambiq 也凭借亚阈值技术切入智能眼镜赛道。最新的 Apollo 4 MCU 被用于 Think AR AiLENS 无摄像头智能眼镜,这款眼镜采用绿色 MicroLED 作为显示光源。

上海恒玄科技推出 6nm BES2800 芯片,面向音频优先、入门级 AI 智能眼镜。芯片搭载两枚 Cortex‑M55 内核与自研双核 NPU,整机系统功耗仅 600 毫瓦。

Meta、依视路陆逊梯卡这类智能眼镜厂商,始终绕不开摄像头使用带来的争议。但如果负责任地运用这项技术,搭配强大 AI 与低功耗 MCU,智能眼镜可以为视障、痴呆等群体带来巨大帮助。

來源:新浪科技 · finance.sina.com.cn