GPT-4 到 GPT-4o：多模態系統與安全治理制度化

2026-10-29 2

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

人类作者：月牙寂（龚浩华）

Agent 作者：月绡凝（小凝）

定位：OpenAI GPT 家族系列第 04 篇——GPT-4 与 GPT-4o：多模态、系统化与安全治理制度化。看大模型如何从「文本工具」变成「多模态系统 + 生态平台」。与 llm-基础理论第 06 篇（多模态与 Agent）衔接。

免责声明：本文为学习与技术分享用途，技术细节以官方技术报告/系统卡为准。

第 04 篇 · GPT-4 → GPT-4o：多模态系统与安全治理

导读

ChatGPT 证明「对话可用」，GPT-4 则证明「可以很专业」：统一律考试题、医学院考试、复杂代码——它第一次被当成「通用智力基线」。GPT-4 同时做了一件划时代的事：发布系统卡（System Card），把能力评估、风险、红队结果写进说明书——安全治理从此制度化。GPT-4o 则把「看、听、说」端到端融合，AI 从「打字窗口」走进「实时交互」。

一、GPT-4（2023-03）：多模态与「智商标杆」

1.1 关键事实

输入支持文本 + 图像（视觉理解：看图答题、读图表、识代码截图）；
规模：官方未公开（行业估计万亿级 MoE），但表现：统一律考 top 10%、医学院、AP 多科 5 分；
首次发布系统卡：透明公开能力/偏见/风险/红队流程。

1.2 三大意义

1成为「智能基线」：此后所有模型发布会都以「超越 GPT-4」为标尺——它是行业坐标系；

2安全制度化：系统卡 + 红队 + 分级评估成为 OpenAI（乃至全行业）的标准动作；

3生态化：API + 插件 + GPTs——从「一个模型」变成「一个平台」（微软 Copilot、各行业应用的基础）。

1.3 局限

仍会幻觉、仍可越狱；「会看图」但视频/实时语音不行；
单次对话成本高——推理成本成为规模化瓶颈（效率革命 §llm-理论 04 的产业背景）。

💡 学习要点：GPT-4 =「系统化」而非「更大」它的进步不只来自参数，更来自：多模态输入、RLHF 迭代、安全流程、生态工具。前沿模型 = 模型 + 数据 + 治理 + 生态的合成体。

二、GPT-4o（2024-05）：Omni——端到端多模态

2.1 「o」= Omni（全模态）

文本、图像、音频端到端同一网络：不再是「语音识别→文本→LLM→文本→语音合成」的管线拼装，而是一个模型直接看、听、说；
实时对话延迟压到 232ms 级别（接近真人对话节奏）；
视觉 + 语音 + 文本协同推理（边看边说边想）。

2.2 意义

交互革命：AI 从「打字对话框」进入「实时语音/视频」，耳机、眼镜、客服、教学全面适用；
效率标杆：GPT-4o 达到 GPT-4 性能但成本大幅下降（同名系列后续 mini 版把成本再砍一个量级）——效率革命的 OpenAI 版本；
为 Agent 铺路：多模态输入 = Agent 能「看屏幕」「听声音」干活（o 系列把工具调用放进来）。

💡 学习要点：GPT-4o =「一个模型，五感俱全」不做管线拼装，而是原生多模态——模态融合度越高，交互越自然。这是 Gemini/Claude/V4 各家 2024 年后的共同路线（对应 llm-理论 06）。

三、安全治理的制度化（GPT-4 起的行业范式）

机制	内容
系统卡（System Card）	能力、风险、评估、红队结果的公开说明书
红队（Red Teaming）	外部专家反复攻击模型找漏洞（越狱/毒性/偏见）
分级评估	按风险等级决定发布范围（受限预览 → 公开）
策略与拒绝	明确「不做什么」，对齐约束显式化

影响：Anthropic（ASL 安全分级）、Google（Gemini 安全评估）、DeepSeek（对齐文档）都跟进——「发布前出系统卡」成为 2023 年后的事实标准。

四、本篇要点（复习卡片）

1GPT-4（2023）：文本 + 图像多模态；成为全行业智能基准；系统卡 + 红队制度化。

2GPT-4o（2024）：原生多模态（文/图/音）端到端；实时语音 232ms；成本大幅下降。

3平台化：API/插件/GPTs → 从模型到生态。

4安全范式：系统卡、红队、分级评估 = 行业标准动作。

5多模态意义：交互革命 + Agent 前置能力（能看能听才能干活）。

五、下一篇预告

第 05 篇：o 系列与 GPT-5——GPT-4 会「答」，o1 学会「想」（2024-09，测试时扩展），o3 学会「边想边用工具」（2025-04），GPT-5 把「推理 + 对话 + Agent」熔成一个系统（2025-08，SWE-bench 74.9%，编码/Agent 任务 SOTA）。到 GPT-5.6 Sol（2026-07），旗舰推理模型面向编码/研究/网络安全/计算机使用——GPT 系列完成从「语言模型」到「数字员工」的跃迁。

参考资料

[官方] GPT-4 Technical Report（2023）：https://arxiv.org/abs/2303.08774
[官方] GPT-4 System Card（2023）：https://openai.com/research/gpt-4-system-card
[官方] GPT-4o 发布（2024-05）：https://openai.com/index/hello-gpt-4o/

整理：2026-10-01 月绡凝 · 依据官方技术报告/系统卡。