跳到正文
新浪科技·· 3 小時前AI 評分29

讓推理走出雲端,讓智能紮根本地:凌煙閣攜手 Skymizer 探索企業本地大模型推理部署實踐

让推理走出云端,让智能扎根本地 凌烟阁携手 Skymizer,探索企业本地大模型推理部署实践

AI 導讀

凌煙閣與 Skymizer 攜手探索企業本地大模型推理部署,結合 Skymizer 的 LPU 推理技術、HTX301 LPU 加速卡及 HyperThought 推理平台。方案採用 Prefill / Decode 解耦架構,由 GPU 負責 Prefill、HTX301 負責 Decode。雙方以本地 RTL 代碼生成和會議內容整理、紀要生成功能作為原型演示重點。

正文

随着大模型逐步进入企业业务流程,企业对 AI 的需求正从调用服务,延伸至自主掌控数据、模型与部署环境。对于半导体研发、政务、高端制造等场景,本地部署为企业提供了更直接的数据管理和系统集成选择,也对硬件配置、运行效率与运维能力提出了新的要求。

围绕“Own Your Intelligence——让企业真正拥有自己的 AI”,凌烟阁与 Skymizer 携手探索企业本地大模型推理部署。Skymizer 提供 LPU 推理技术、HTX301 LPU 加速卡及 HyperThought™ 推理平台;双方结合芯片设计服务、硬件工程、模型适配与系统集成能力,推进面向企业场景的方案验证与应用探索。

(HTX301-4S DVB 板卡) 

架构内核:按推理阶段匹配硬件资源

HyperThought 是 Skymizer 的推理平台,HTX301 是承载其推理能力的 LPU 硬件产品。面向企业本地部署,方案采用 Prefill / Decode 解耦的异构架构:GPU 承担预填充(Prefill)任务,HTX301 聚焦解码(Decode),让不同硬件服务于各自适合的工作负载。

HTX301 围绕解码阶段的计算与数据访问需求进行设计。模型权重可根据模型规模、精度和板卡配置驻留于板载内存;实际可运行模型、并发能力与响应表现,需要结合上下文长度及系统配置验证。

(HTX301板卡不同配置参数) 

HTX301 采用 PCIe 板卡形态,可结合适配的风冷主机进行部署。通过预填充与解码资源的合理配置,方案旨在提高硬件利用率,并为企业优化部署成本与运维方式提供新的选择。整机功耗、散热需求和总体拥有成本(TCO),应以实际系统配置和业务负载评估。 

两大应用场景:从本地推理走向业务辅助

场景一:RTL Coding Copilot|本地 RTL 代码生成与研发辅助

RTL 源码、设计规范与 EDA 工具日志是芯片研发中的重要资产。面向这一场景,双方计划以本地 RTL 代码生成为原型演示重点,探索在企业可控环境中提供代码草稿与研发问答辅助。AI 输出由工程师审阅,并通过既有设计、仿真与验证流程确认。

  • 面向后续项目,可根据客户需求进一步集成私有知识库、EDA 日志解析及修复建议等能力。相关能力需要分别完成数据授权、工具接入和效果验证,再纳入具体交付范围。

场景二:本地会议助手|将会议内容转化为可用信息

市面上绝大多数会议助手服务基于公有云实现,语音、谈话纪要、讨论决策信息需要上传至云端完成处理。对于政法检、金融银行等高度敏感行业,内部会议往往涉及案件线索、案件研判、风控策略、客户涉密信息、重大业务决策等高度保密内容,公有云方案存在显著的数据泄露、合规风控风险,无法满足行业保密监管要求。

双方以会议内容整理和纪要生成为原型演示重点,整套推理链路全部在企业内网本地完成,语音音频、谈话文本、生成的会议纪要不会向外传输,实现数据不出域。可提取会议讨论要点、关键结论与行动项,帮助团队沉淀、检索和复用会议信息,同时满足政法检、金融机构的数据安全与合规管控约束。

  • 语音转写、说话人区分、多语种处理,以及待办、邮件等业务系统连接,可按项目需求进一步集成。其中,语音处理、LLM 推理与业务系统接口属于不同组件,需要分别适配与验证。行动项中的责任人和截止时间应由参会人员确认。

本地部署方案可依据企业要求配置数据处理、存储与访问权限。如需实现全离线运行,应对语音、模型、应用、日志及外部接口等完整链路进行验证;具体功能与部署边界,以项目验证和交付范围为准。 

生态协同:推进企业本地 AI 应用

从推理硬件到企业应用,需要平台、模型、工程与服务能力共同配合。凌烟阁与 Skymizer 将围绕客户场景,推进板卡与主机适配、模型部署及系统集成验证,并探索研发辅助、办公协同和行业业务助手等更多本地 AI 应用。 

ICCADExpo 2026 联合参展预告

2026 年 11 月 19—20 日,凌烟阁将携手 Skymizer 亮相北京亦庄北人亦创国际会展中心 ICCADExpo 2026。现场计划展示 HTX301 LPU 加速卡,并围绕 RTL 代码生成、会议纪要等场景开展本地推理原型演示。

欢迎 IC 设计企业、整机厂商及系统集成商莅临凌烟阁展位 C035–C036/C045–C046,交流模型部署、系统适配与合作需求。

新浪众测 新浪众测

新浪科技公众号

新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

科学大家

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片

來源:新浪科技 · finance.sina.com.cn