独家丨腾讯混元3幕后:重构架构,姚顺雨一场非典型的「逆袭」
早在三月,独家典型的逆提起马上要上线的丨腾构架构姚混元 3.0,在腾讯混元工作的讯混袭同学左飞就对雷峰网说过:“这次混元的新版本,其实团队预期不算太高。元幕”
一个月后,后重4 月 23 日晚,顺雨Hy3 的场非 Preview 版本正式发布,同步开源,独家典型的逆向世界展示自己最真实的丨腾构架构姚样子。雷峰网独家获悉,讯混袭Hy3 规模更大、元幕功能更全面的后重闭源旗舰版本将在五六月份发布,给人留下不少想象空间。顺雨
(腾讯混元的场非新进展,雷峰网正在持续关注,独家典型的逆欢迎添加作者微信:william_dong,交流信息,探讨认知。)
说起来,腾讯 Hy3 Preview 的发布也有点“生不逢时”——前有 GPT 5.5 举世围观,后有 DeepSeek V4 重磅回归,被夹在中间的混元,还是在“9.7 减去 9.11”的小学数学题上犯了难,在社交平台上引起了一阵围观。
“其实 GPT 和 DeepSeek 的发布日期在我们内部也不是什么秘密,但为什么选择在这个时候和他们一起发布,我也不太清楚。”左飞对雷峰网如是说
Hy3 之于 4 个月前的上一个版本究竟有哪些变化?在混元内部的同学邰萝对雷峰网分享道:“Hy3 基本上把之前的架构重构了一遍,但简单来来说,是回到了‘基本’。”
一直以来,业界的“基本”,是使用 Transformer 架构和 Full Attention 等一系列被验证了的技术方案,如 OpenAI 实践的一样,少有花里胡哨的操作,核心是把 DATA 做到极致;
而 Hy2 的时期,腾讯却尝试了不少架构上的创新——比如 Multi-Token Prediction、Mamba 等方案,反而把数据和 Infra 的“基础题”放下了。
到了 Hy3,姚顺雨则主导模型回到“基本”,重新使用经过验证的共识架构。而过去没绕过,今天也不可能绕过的数据和 Infra 问题,则成了必须下足的“苦功夫”。
腾讯同学雷瓯对雷峰网(公众号:雷峰网)说,在过去,不少 SFT 数据没有经过去重,重复、冗余的数据甚至能达到上千万条,尤其是工期紧张的时候,数据的优先级就被排在了很后面。
姚顺雨来到腾讯,拉起了一个 20 余人的预训练数据团队,专门做数据审核“最脏最累”的工作,几个月内把冗余的 SFT 数据控制在了一万多条的规模下。
而在 Infra 的角度,姚顺雨也拎起了一个团队,重构过去腾讯 RL 的管线,让万卡集群能够跑得稳定、安全,有应对突发情况的能力。
之前,在腾讯 TEG,内部使用的基础设施是一个名叫“太极”的机器学习平台。近期,太极平台的 Feature 也在以一到两周一次的速度进行更新,做了不少迭代工作。
于是,在腾讯内部的 Benchmark 上,混元的性能可以达到 Kimi 2.5 的水平,超越了 MiniMax,仅次于 Gemini 和 Seed 2.0。
在混元体系的改造中,姚顺雨扮演的角色不仅是一个技术领袖:除了数据和 Infra 进行了大量重构,混元的组织和人员也完成了不小的调整。
组织上,混元被分为了预训练、后训练、Baseline Infra、模型评估和 Frontier 五大板块,除 Frontier 更偏技术探索和预研以外,四个板块十几个组,以十分扁平的结构,几乎全部投入 Hy3 的研发当中,而姚顺雨也被评价为十分亲历亲为的领导角色,对技术细节相当关注,和下面同学一起开会时候不少;
人员上,姚顺雨入主之后,也在推动团队的重构,从字节、阿里、DeepSeek、Kimi 等部招揽大量核心人才,姚顺雨尤其喜欢信仰 AGI、技术扎实的年轻人,不少校招生、实习生也加入团队,给团队注入了不少新鲜血液。
如今的姚顺雨,面临的并非与行业巨头旗鼓相当的正面交锋,而是一场从底层补短板、填漏洞的追赶之战——腾讯的逆袭绝非一蹴而就,唯有沉下心打磨基本功,方能积蓄力量迎头赶上,重回竞逐的第一梯队。
(腾讯等大厂在 AI 赛道上的竞逐,背后内幕不少,雷峰网正持续深度调查,欢迎添加作者微信:william_dong 了解更多消息。)
(责任编辑:焦点)
-
导读: 45岁买重大疾病保险合适吗?45岁重大疾病保险怎么买?45岁的人事业发展已经成熟,而且还需承担着家庭重责,但身体状况不如年轻,所以
...[详细]
-
Only Fans女星Piper Rockelle社交媒体上发布视频,她泪流满面地表示计划起诉R星,因为他们在游戏中将她描绘成街头妓女。她说:“我绝不会容忍这种事,我被以错误的方式性化了。”然而,有粉
...[详细]
-
如今的内存涨价已经失控,一年来价格涨了5-10倍,主要推动力就来自AI数据中心需求,但这波涨价缺货很可能也会遇到狙击,技术突破也是来自AI优化。大家都知道AI大模型对内存的容量及带宽都有极高的需求,所
...[详细]
-
关于2019年玻璃出厂价格,旗滨集团601636)周三在上证e互动介绍,2018年平板玻璃价格前高后低,但整体上保持了稳中有升的态势。2019年,房地产行业受宏观政策持续调控影响,景气度整体偏弱。由于
...[详细]
-
肯德基、蜜雪冰城、瑞幸、高德打车、滴滴等首批接入支付宝AI开放平台
继5月发布AI支付全栈产品、6月发布全新AI版支付宝简称“阿宝”)后,7月7日,支付宝正式上线 AI 开放平台,面向商家、机构、服务商、智能终端、大模型平台等生态伙伴开放AI接入能力。这是支付宝AI战
...[详细]
-
4月17日,今天华东地区玻璃现货市场总体走势偏弱,生产企业出库速度变化不大,部分地区厂家报价小幅松动,市场信心偏谨慎。上周末部分地区生产企业召开区域市场协调会议,以提振市场信心和增加出库。但是从会后厂
...[详细]
-
昨日,全球顶级格斗赛事EVO 2026《饿狼传说:群狼之城》项目在美国拉斯维加斯落下帷幕。中国格斗游戏传奇选手“小孩”曾卓君ID:Xiaohai)在比赛中从败者组一路强势突围,决赛甚至打到2:2最后一
...[详细]
-
最迟到今年9月份,厦沙高速德化段将如一条巨龙般盘踞在戴云山脉之中,连接起德化8个乡镇,成为德化县境内第一条真正意义上的高速公路,也将成为打通闽南至闽西北甚至内陆各省的便捷通道。格仔隧道进口附近路基边坡
...[详细]
-
5月28日中午,全椒县武岗镇荒草圩一圩的3700亩小麦开镰收割。 通讯员金 明摄麦浪滚滚,机声隆隆。5月28日下午3时许,全椒县武岗镇荒草圩一圩的麦田里,新农人朱生兵正利落地指挥着收割机卸粮。油亮饱满
...[详细]
-
有细心的市民发现,泉州市区北清路湖景大酒店门口6棵长势良好的小叶榕,最近被不同程度砍伤破坏。前日下午4时许,海都记者赶到现场,发现被砍下的树枝,有的堆在树下,有的被扔到机动车道边上的灌木丛中。其中4棵
...[详细]

天长市法院开展国际档案日主题宣传活动_
《小黄人与大怪兽》IGN8分好评:系列史上最佳!
泉州市区多处停车场半小时免费 部分仍乱收费
市交通执法三大队“五个在一线”显成效_