下一代混元将大幅度扩参。
作者|连冉
编辑|郑玄
11 月 21 日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和混元团队的研究员现身 Reddit LocalLLaMA 社区,开启了混元团队第一场面向全球开发者的公开 AMA。
图片来源:x
两小时内,姚顺雨和混元团队解答了 300 余条开发者提问,从底层架构取舍到长期路线规划,从量化落地经验到开源生态适配,几乎覆盖了当前开源大模型领域所有核心争议与关切。
过去不到一个月,混元刚刚完成一轮高密度产品发布——11 月 4 日推出的 Hy4 首次跻身全球最强开源模型之列,拿下 Agent Arena 开源模型榜首、Artificial Analysis 中国模型第二的成绩;一周后,定位「极致性价比」的 Hy4 flash 快速跟进,单任务成本仅为 Hy4 的二十分之一,上线首日 Token 调用量便突破 50 万亿。
如果把时间倒回九个月前—— 今年 2 月,混元才刚刚完成预训练与强化学习基础设施的全面重建。从重建底座到连发两款标杆级模型,九个月、平均每两个月一个大版本的迭代速度,背后是「preview 先行、正式版跟进」的闭环研发逻辑:把真实业务场景的反馈直接注入研发链路,在解决实际问题中完成能力跃迁。
模型路线上,团队走的是双线并行的思路,既相信规模化的潜力,会继续训练更大的模型探索能力上限;也同步布局小尺寸模型与端侧场景,试图在能力、成本与速度之间找到更务实的平衡点。
落到具体技术选择上,无论是注意力机制选型、MoE 稀疏度设计,还是量化方案的取舍,团队的判断都锚定实验结果、硬件适配条件与实际部署效率,并未将参数规模或榜单分数作为核心决策标准。
对于当前的能力短板,团队也没有回避,称过度思考仍是后训练阶段的核心难题,创意写作与文本可读性还有提升空间,递归自我改进相关技术尚处于早期摸索阶段。
此外,问答也覆盖了开发者普遍关心的实操问题,包括本地运行门槛、工具调用适配、开源生态合作进展;安全层面则提及了有害数据过滤、训练防护、红队评估等治理机制,同时坦言,模型的过度拒绝问题仍需进一步优化。
以下是极客公园从本次 Reddit AMA 中提炼出的核心问题,覆盖模型路线、技术架构、研发难点、开源生态等核心维度。
01
混元的整体产品路线是什么?
接下来还有哪些新模型?
混元采用「两端并行」的研发策略:一边扩大模型与数据规模,探索智能上限;一边压缩推理成本,主打极致性价比,Hy4 与 Hy4 flash 分别对应这两个方向。
后续产品路线清晰,更小尺寸的 Hy4-mini、Flash-Lite 模型已在规划中;24–31B 稠密模型正在评估;5–12B 级小型开源图像模型、新一代视频模型均在考虑范围内;循环式 MoE、持续学习等前沿方向也在积极研究。
02
不跟风 3T/5T 超大规模参数,
混元对模型规模的判断是什么?
团队认为,打磨扎实的小尺寸模型同样可以胜过大参数模型,且部署成本更低,研发过程中能沉淀更多技术经验。但混元同时相信 Scaling law 的有效性,下一代模型的参数量会显著扩大,会持续向更大规模投入研发。
03
Hy4 与 Hy4 flash 的架构核心差异在哪?
关键取舍逻辑是什么?
Hy4 flash 继承了 Hy4 的 iHC、门控 MLA、DSA 技术底座,同时新增混合 SWA、LatentMoE、Engram 三大组件。
所有架构选择均围绕「性能-成本-硬件适配」的综合权衡:比如改用 SWA 替代门控 DSA,可将 KV cache 体积压缩至原有的 1/4,大幅降低服务成本;DSA 技术则解决了 MLA 解码阶段计算强度过高的问题,最终让团队在长期权衡后放弃 GQA、选择效果更优的 MLA。
此外,iHC、Engram 这类架构创新并非大模型专属,在小尺寸模型上能带来甚至更大的性能收益。
04
MoE 是不是越稀疏越好?
极端稀疏路线为什么行不通?
在激活参数量固定的前提下,提高稀疏度确实能提升计算效率;但如果保持总参数量不变、单纯降低激活参数,会显著损害模型质量——激活参数本质决定了计算预算,稀疏度的效率提升无法完全弥补计算量减少带来的能力损失。
对于数据中心部署,过于稀疏的 MoE 并不友好:会占用大量显存却无法充分利用算力,相同吞吐量下,不如运行总参数相当、激活参数更高的模型;端侧场景则会采用独立的架构-硬件协同设计思路。
05
端侧视觉模型的最小可用规模是多少?
多模态有什么规划?
针对图像推理、UI/图表理解等深度视觉任务(非单纯 OCR 或图像描述),团队验证,激活参数约 30 亿(A3B)级别的模型已经可以支撑相关能力。
多模态产品方面,团队正在考虑推出 5–12B 级别的小型开源图像模型,降低本地部署门槛,新一代混元视频模型也在推进中。
图片来源:reddit
06
后训练阶段最难解决的问题是什么?
「过度思考」是后训练阶段最难改善的问题。
Hy4 为了追求极致智能,思维链偏长是已知问题;而 Hy4 flash 则通过强化学习专门控制了思维链长度,实现效率优先。
此外,长程智能体任务的强化学习落地中,最大挑战是环境漏洞导致的「奖励投机」,比如智能体通过搜索答案而非自主解题完成任务,需要反复修正环境规则与奖励机制。
07
MoE 量化如何避免能力退化?
混元有哪些实操经验?
团队沉淀了四点核心经验:
- 位宽分配上,down 投影因激活值存在离群值,对量化更敏感,会分配更多比特,位宽选择基于 Hessian 敏感度判断;
- 精度颗粒度上,更倾向按张量分配混合精度,而非按单个专家设置,避免破坏推理引擎的堆叠矩阵处理逻辑;
- 量化感知训练(QAT)中,路由器会和模型主体一起训练,避免路由漂移与工具调用能力退化;
- 方案优先级上,全参数 QAT 的模型质量优于 LoRA 类适配器方案,是团队的首选。
08
对标行业 AGI 分级,Hy4 处在什么水平?
提升空间还有多大?
团队自评 Hy4 处于 AGI 分级的 2.5 级水平,并明确表示 Hy4 远未到容量上限,在后训练层面仍有很大提升空间,目前正大规模投入强化学习技术,同时持续优化用户体验与模型安全性。
09
递归自我改进(RSI)进展如何?
当前研发优先级怎么排?
递归自我改进目前仍处于早期阶段,团队已开发若干内部基准用于评估核心能力。
但 RSI 并非当前最高优先级,团队现阶段的核心目标是打牢模型基础能力、提升通用智能水平,并与产品场景结合优化真实体验,而非优先推进模型自我迭代。
10
开源模型如何平衡安全能力
与「过度拒绝」问题?
安全层面,混元通过有害数据过滤、训练防护、红队评估三级机制推进负责任开源:网络安全方向重点训练防御性任务(漏洞分析、修复),过滤进攻性利用类数据。
团队同时承认,减少过度拒绝是重要的改进方向。根据内部评估,当前 Hy4 的漏洞发现能力较强,漏洞利用能力相对较弱。
11
本地部署的门槛有多高?
开源生态适配进展如何?
硬件门槛上,96GB 显存+128GB 系统内存即可运行 Hy4 flash,可将部分专家层、Engram 表卸载到主机内存降低显存压力。
生态适配方面,llama.cpp 适配正在推进,即将向社区发布;同时已与 vllm、sgl 等主流推理框架社区深度合作。
目前 Hy4 与 Hy4 flash 已可在 OpenCode、Claude Code、Cline 等开发工具中直接使用。
12
为什么不卷传统基准榜单?
混元的评测理念是什么?
混元坚持「评测真实性」原则,以真实任务而非榜单分数检验模型能力。
团队认为 GPQA、SWE-bench 等传统基准已出现分数饱和,参考价值下降,因此更倾向展示 Agent 编程、真实工程任务等高难度新基准的成绩。研发过程中不刻意刷榜,靠更丰富的训练数据、多样化的内部真实任务评测来打磨模型的实际可用性。
*头图来源:ChatGPT生成
本文为极客公园原创文章,转载请联系极客君微信 geekparkGO






