Copilot 開始結合文字與圖片進行分析,圖文協同創作到來
Copilot会“看图”了!图文协同创作正式到来
Copilot 在支援相關能力的使用場景中,已可結合參考文件的文字、圖片和圖表進行分析,並將識別到的資訊融入生成內容。這項能力可用於質量管理、項目管理和內容創作,協助生成分析結果、項目總結及文章;圖片識別結果仍須由專業人員核驗。
2026-10-27 10
版权
版权声明:
本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
过去在部分 Copilot 文件分析场景中,有一个比较明显的限制。
Copilot 的分析往往更依赖文档中的文字内容。
如果上传的参考文件中包含大量视觉信息,例如:
- 柏拉图
- 鱼骨图
- 流程图
- 思维导图
- 产品图片
- 组织架构图
- 现场照片
- 数据图表
其中很多信息对人来说非常重要,但过去并不一定能够被充分纳入 Copilot 的分析结果。
例如:
文件里已经画好了问题分析鱼骨图,但生成的总结可能主要参考文字内容。
文件里已经整理好了项目流程图,但生成的报告未必能够完整体现流程逻辑。
现场照片记录了实际情况,但最终生成内容可能没有充分引用图片中的关键信息。
因此,在一些场景中,用户还需要额外增加一步:
先把图片里的重要信息整理成文字,再交给 Copilot 分析。
而现在,这种情况正在发生变化。
在当前支持相关能力的 Copilot 使用场景中,Copilot 已经能够结合参考文件中的文字与视觉信息进行分析。
也就是说,它不只是读取文字,还可以进一步参考图片、图表、流程图等内容,并把识别到的信息融入最终结果。
这意味着:
Copilot 的文件分析能力正在从以文字为主,进一步走向“文字 + 图片 + 图表”的协同理解。
为什么这是一次重要升级?
很多企业文档真正有价值的信息,本来就不只存在于文字里。
例如质量管理场景。
质量工程师编写一份质量分析报告时,通常会包含:
- 问题描述
- 柏拉图分析
- 鱼骨图分析
- 改善措施
- 现场照片
其中,很多信息只有结合图表和图片才能完整理解。
例如:
鱼骨图可以帮助团队系统梳理问题的潜在原因,但最终根因仍然需要结合数据、现场调查和验证结果进一步确认。
柏拉图则能够更加直观地体现不同问题的数量、占比或重要程度。
现场照片能够补充文字中难以完整描述的实际情况。
如果 AI 只能读取文字,那么很多视觉信息就无法被充分纳入分析过程。
而现在,Copilot 开始能够同时参考:
文字 + 图表 + 图片。
这有助于提升文件分析和内容生成的完整性
场景一:质量管理
这是最能体现这项能力价值的场景之一。
假设你上传了一份质量分析报告,其中包含:
- 客户投诉记录
- 柏拉图
- 鱼骨图
- 生产现场照片
- 改善措施
过去,Copilot 的分析可能更多依赖文字部分。
现在,它还可以进一步参考:
- 柏拉图中不同问题的数量、占比或排序
- 鱼骨图中整理出的潜在原因分类
- 现场照片中可以直接观察到的信息
- 文档中已经记录的改善措施
然后把这些信息整合到分析结果中。
需要注意的是:
图片识别结果可以作为分析参考,但不能直接代替专业人员完成根因确认。
例如鱼骨图展示的是潜在原因,现场照片也只能提供可观察信息。最终根因仍然需要结合数据、现场调查和验证结果确认。
Copilot提示词
8D报告生成
请结合参考文件中的柏拉图、鱼骨图和现场照片。
分析主要质量问题。
识别问题根因。
生成完整8D改善报告。
场景二:项目管理
项目汇报文件中经常包含:
- 项目计划
- 甘特图
- 流程图
- 架构图
- 产品截图
对于项目经理来说,很多关键信息实际上都体现在图中。
例如:
流程图描述项目执行路径。
架构图描述系统或模块之间的关系。
产品截图展示阶段性开发成果。
甘特图则可以直观展示项目任务和时间安排。
如果 AI 只分析文字,生成的项目总结往往无法完整利用这些信息。
现在,Copilot 可以进一步结合这些视觉内容进行分析,帮助生成更加完整的项目总结。
Copilot提示词
项目总结报告
请结合参考文件中的图片、流程图和文字内容。
分析项目执行过程。
总结项目成果。
提取项目风险。
生成项目总结报告。
适合管理层阅读。
场景三:公众号创作
这也是内容创作者非常值得关注的一项能力。
以前使用 Copilot 写文章时,参考资料往往以文字内容为主。
如果资料中包含大量图片、图表或产品截图,有时还需要先人工整理其中的重要信息。
现在,在支持相关能力的使用场景中,上传参考资料后,Copilot 可以进一步结合:
- 文字内容
- 图表内容
- 产品照片
- 示意图
- 操作截图
进行整体分析和内容创作。
这让“图文协同写作”变得更加实用。
Copilot提示词
公众号文章生成
请根据参考文件中的文字、图表和图片内容撰写公众号文章。
要求:
1. 将图片中的关键信息融入正文
2. 对图表进行通俗解释
3. 结构适合公众号阅读
4. 输出标题、副标题和正文
5. 在适合位置提示插入图片
推荐收藏的万能提示词
图文联合分析
请同时分析参考文件中的文字、图表和图片内容。
提取关键信息。
输出:
1. 核心结论
2. 关键数据
3. 风险事项
4. 行动建议
图文总结报告
请结合参考文件中的文字和图片内容。
生成完整总结报告。
确保图片信息融入正文。
图文公众号文章
请基于参考文件中的文字、图片和图表内容撰写公众号文章。
要求:
1. 图片内容融入正文
2. 图表内容转化为通俗表达
3. 标注图片插入位置
4. 输出可直接发布版本
写在最后
过去,在部分文件分析场景中,Copilot 更像一位以文字处理为主的助手。
而现在,它开始进一步理解文档中的视觉信息。
柏拉图、鱼骨图、流程图、思维导图、产品图片、组织架构图、现场照片以及操作截图,不再只是文档里的“配图”。
在支持相关能力的场景中,这些内容也可以成为 Copilot 分析和生成内容时的重要参考信息。
对于质量管理、项目管理、培训管理、知识管理以及内容创作来说,这意味着文档中的文字和视觉信息正在被更加完整地利用。
未来很多工作流程可以进一步简化为:
上传文档 → 提出问题 → Copilot结合文字与图片进行分析 → 输出分析结果或内容初稿 → 人工核验关键结论。
相比简单地把 Copilot 定义为“文字助手”,图文协同分析可能才是这项能力更值得关注的方向。
來源:阿里雲開發者社區 AI · developer.aliyun.com