跳到正文
新浪科技·· 3 小時前AI 評分63

小米開源 0.8B 文件理解模型 Xiaomi-OCR-0,支援文件解析與視覺問答

小米开源 0.8B 参数 OCR 小模型:打通文档解析与视觉问答,支持 Markdown 与 JSON 输出

AI 導讀

小米開源 0.8B 文件理解模型 Xiaomi-OCR-0,並在 Hugging Face 和 GitHub 同步公開模型權重與推理程式碼。模型以 Qwen3.5-0.8B-Base 為基座,涵蓋文件解析、關鍵資訊抽取及 OCR 視覺問答,支援 Markdown、LaTeX 和 JSON 輸出。

正文

IT之家 10 月 30 日消息,小米官方今日宣布开源轻量级文档理解模型 Xiaomi-OCR-0,模型权重与推理代码已同步上线 Hugging Face 和 GitHub。

官方给出的参数规模为 0.8B,定位是单一模型同时覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。

在文档解析方向,该模型可识别正文、表格与数学公式,按阅读顺序输出结构化结果,原生支持 Markdown、LaTeX 格式。关键信息抽取面向发票、收据、卡证和业务表单,依据指定字段定位并输出 JSON 等结构化数据,可接入自动化处理流程。

OCR 视觉问答则允许围绕文档与图表内容进行跨区域检索、数值计算和语义推理,而非仅做文字转写。小米方面表示,这一组合覆盖了从底层文字感知到高层内容理解的链路。

据小米官方披露,Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 基座构建,训练累计使用约 1.7 亿条 OCR 与文档理解样本。数据侧采用异构专家共识机制,对正文、表格、公式等不同区域由多个 OCR 专家模型交叉校验并投票筛选高置信标注。

针对复杂表格与公式,团队引入“预测 — 重渲染 — 视觉比对”的闭环校验:将候选解析结果重新渲染为图像,与原始文档区域做像素和结构级比对,定位行列错位或符号缺失后定向修正。此外还按版面复杂度、字体形态与物理退化因素合成困难样本,补充多语种、古籍手写、屏幕摩尔纹与扭曲光照等长尾数据。

训练分为三个阶段:Q-Mask 文本锚定强化视觉局部区域与文字 Token 的空间对应;OCR 持续预训练以百亿级 Token 的多任务混合数据打底;混合任务强化学习则在困难样本上使用结构编辑距离、表格匹配度和问答准确率作为可验证奖励信号。

小米公布的评测结果显示,在模拟扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种真实采集方式的 Real5-OmniDocBench 上,Xiaomi-OCR-0 得分为 95.24 分,在其对比模型中排名第一。在 Wild-OmniDocBench 上得分为 87.94 分。

综合基准 OmniDocBench v1.6 中,该模型得分 96.83 分,位列总榜第二,与榜首相差 0.04 分,在 1B 以下参数模型中排名第一。专项测试方面,数学公式识别基准 UniMER-Test 得分 97.84 分,表格结构识别基准 PubTabNet 得分 92.27 分。

在古籍与书法评测集 Chronicles-OCR(Mature Scripts)中,Xiaomi-OCR-0 得分 73 分,小米方面称这一成绩与闭源模型 Seed 2.0 Pro 的 72 分处于同一水准。

文档理解方面,小米在 DocVQA、InfoVQA、ChartQA、OCRBench 和 TextVQA 五项基准上取平均分,Xiaomi-OCR-0 为 83.2 分。

官方对比数据显示,该成绩高于 HunyuanOCR-1.5(1B,76.5 分)、TokenVL-2B(2B,78.1 分)和 TextHawk2(7B,78.5 分)。

同一组对比中,通用多模态模型 Qwen3.5-2B 为 80.9 分,8B 规模的 MiniCPM-V-4.5 为 82.6 分,Qwen3.5-4B 为 84.9 分。

落地层面,小米称相关技术已用于手机端“超级小爱”。用户短按 AI 键、三指上滑或语音指令,可提取屏幕中的外卖取餐码、快递取件码、排队号等时效性信息并置于醒目位置。

在账单与卡证场景中,识屏可抽取交易金额、商户名称、支付时间与消费类别,用于智能记账;纸质发票、身份证、银行卡等材料可通过拍照完成字段提取。日程与出行场景中,系统可识别群聊中的会议通知或海报上的时间地点并生成日程卡片。

IT之家注意到,小米除公开 0.8B 模型权重与推理代码外,还提供浏览器交互式 Demo、MCP 服务以及 Agent Skill 工具包,开发者可将其集成至自有业务流或智能体系统。

來源:新浪科技 · finance.sina.com.cn