跳到正文
阿里雲開發者社區 AI·· 2 小時前AI 評分34

Copilot 開始結合文字與圖片進行分析,圖文協同創作到來

Copilot会“看图”了!图文协同创作正式到来

AI 導讀

Copilot 在支援相關能力的使用場景中,已可結合參考文件的文字、圖片和圖表進行分析,並將識別到的資訊融入生成內容。這項能力可用於質量管理、項目管理和內容創作,協助生成分析結果、項目總結及文章;圖片識別結果仍須由專業人員核驗。

正文

2026-10-27 10

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

过去在部分 Copilot 文件分析场景中,有一个比较明显的限制。

Copilot 的分析往往更依赖文档中的文字内容。

如果上传的参考文件中包含大量视觉信息,例如:

  • 柏拉图
  • 鱼骨图
  • 流程图
  • 思维导图
  • 产品图片
  • 组织架构图
  • 现场照片
  • 数据图表

其中很多信息对人来说非常重要,但过去并不一定能够被充分纳入 Copilot 的分析结果。

例如:

文件里已经画好了问题分析鱼骨图,但生成的总结可能主要参考文字内容。

文件里已经整理好了项目流程图,但生成的报告未必能够完整体现流程逻辑。

现场照片记录了实际情况,但最终生成内容可能没有充分引用图片中的关键信息。

因此,在一些场景中,用户还需要额外增加一步:

先把图片里的重要信息整理成文字,再交给 Copilot 分析。

而现在,这种情况正在发生变化。

在当前支持相关能力的 Copilot 使用场景中,Copilot 已经能够结合参考文件中的文字与视觉信息进行分析。

也就是说,它不只是读取文字,还可以进一步参考图片、图表、流程图等内容,并把识别到的信息融入最终结果。

这意味着:

Copilot 的文件分析能力正在从以文字为主,进一步走向“文字 + 图片 + 图表”的协同理解。

为什么这是一次重要升级?

很多企业文档真正有价值的信息,本来就不只存在于文字里。

例如质量管理场景。

质量工程师编写一份质量分析报告时,通常会包含:

  • 问题描述
  • 柏拉图分析
  • 鱼骨图分析
  • 改善措施
  • 现场照片

其中,很多信息只有结合图表和图片才能完整理解。

例如:

鱼骨图可以帮助团队系统梳理问题的潜在原因,但最终根因仍然需要结合数据、现场调查和验证结果进一步确认。

柏拉图则能够更加直观地体现不同问题的数量、占比或重要程度。

现场照片能够补充文字中难以完整描述的实际情况。

如果 AI 只能读取文字,那么很多视觉信息就无法被充分纳入分析过程。

而现在,Copilot 开始能够同时参考:

文字 + 图表 + 图片。

这有助于提升文件分析和内容生成的完整性

场景一:质量管理

这是最能体现这项能力价值的场景之一。

假设你上传了一份质量分析报告,其中包含:

  • 客户投诉记录
  • 柏拉图
  • 鱼骨图
  • 生产现场照片
  • 改善措施

过去,Copilot 的分析可能更多依赖文字部分。

现在,它还可以进一步参考:

  • 柏拉图中不同问题的数量、占比或排序
  • 鱼骨图中整理出的潜在原因分类
  • 现场照片中可以直接观察到的信息
  • 文档中已经记录的改善措施

然后把这些信息整合到分析结果中。

需要注意的是:

图片识别结果可以作为分析参考,但不能直接代替专业人员完成根因确认。

例如鱼骨图展示的是潜在原因,现场照片也只能提供可观察信息。最终根因仍然需要结合数据、现场调查和验证结果确认。

Copilot提示词

8D报告生成

请结合参考文件中的柏拉图、鱼骨图和现场照片。

分析主要质量问题。

识别问题根因。

生成完整8D改善报告。

场景二:项目管理

项目汇报文件中经常包含:

  • 项目计划
  • 甘特图
  • 流程图
  • 架构图
  • 产品截图

对于项目经理来说,很多关键信息实际上都体现在图中。

例如:

流程图描述项目执行路径。

架构图描述系统或模块之间的关系。

产品截图展示阶段性开发成果。

甘特图则可以直观展示项目任务和时间安排。

如果 AI 只分析文字,生成的项目总结往往无法完整利用这些信息。

现在,Copilot 可以进一步结合这些视觉内容进行分析,帮助生成更加完整的项目总结。

Copilot提示词

项目总结报告

请结合参考文件中的图片、流程图和文字内容。

分析项目执行过程。

总结项目成果。

提取项目风险。

生成项目总结报告。

适合管理层阅读。

场景三:公众号创作

这也是内容创作者非常值得关注的一项能力。

以前使用 Copilot 写文章时,参考资料往往以文字内容为主。

如果资料中包含大量图片、图表或产品截图,有时还需要先人工整理其中的重要信息。

现在,在支持相关能力的使用场景中,上传参考资料后,Copilot 可以进一步结合:

  • 文字内容
  • 图表内容
  • 产品照片
  • 示意图
  • 操作截图

进行整体分析和内容创作。

这让“图文协同写作”变得更加实用。

Copilot提示词

公众号文章生成

请根据参考文件中的文字、图表和图片内容撰写公众号文章。

要求:

1. 将图片中的关键信息融入正文

2. 对图表进行通俗解释

3. 结构适合公众号阅读

4. 输出标题、副标题和正文

5. 在适合位置提示插入图片

推荐收藏的万能提示词

图文联合分析

请同时分析参考文件中的文字、图表和图片内容。

提取关键信息。

输出:

1. 核心结论

2. 关键数据

3. 风险事项

4. 行动建议

图文总结报告

请结合参考文件中的文字和图片内容。

生成完整总结报告。

确保图片信息融入正文。

图文公众号文章

请基于参考文件中的文字、图片和图表内容撰写公众号文章。

要求:

1. 图片内容融入正文

2. 图表内容转化为通俗表达

3. 标注图片插入位置

4. 输出可直接发布版本

写在最后

过去,在部分文件分析场景中,Copilot 更像一位以文字处理为主的助手。

而现在,它开始进一步理解文档中的视觉信息。

柏拉图、鱼骨图、流程图、思维导图、产品图片、组织架构图、现场照片以及操作截图,不再只是文档里的“配图”。

在支持相关能力的场景中,这些内容也可以成为 Copilot 分析和生成内容时的重要参考信息。

对于质量管理、项目管理、培训管理、知识管理以及内容创作来说,这意味着文档中的文字和视觉信息正在被更加完整地利用。

未来很多工作流程可以进一步简化为:

上传文档 → 提出问题 → Copilot结合文字与图片进行分析 → 输出分析结果或内容初稿 → 人工核验关键结论。

相比简单地把 Copilot 定义为“文字助手”,图文协同分析可能才是这项能力更值得关注的方向。

來源:阿里雲開發者社區 AI · developer.aliyun.com