MiniMax发长文回应“模型无法说出马嘉祺”
时间:2026-07-16 08:34:07 来源:三春网
5月9日,长文MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事,模型马嘉提供了对“嘉祺识别”问题的无法完整排查过程和技术思考。
MiniMax表示,说出其从分词器版本对齐、长文embedding统计分布、模型马嘉语义近邻检索、无法预训练与后训练模型的说出few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的长文排序扫描等多个维度进行了排查。最终定位到的模型马嘉原因是:“嘉祺”在分词器中被合并为一个独立token,但该token在后训练数据中出现频次极低,无法导致模型在后训练中逐渐遗忘了对该token的说出生成能力。
修复方案方面,长文MiniMax构造了一份覆盖全词表的模型马嘉合成数据,核心思想是无法:通过一个简单的复读任务,为全词表建立一个生成频率的“下限保障”,防止任何token因为完全缺失而退化。此外,MiniMax表示,将token覆盖度作为后训练数据质量的一项常规监控指标,可以在早期发现潜在的稀疏token退化风险,避免类似问题在线上复现。
相关内容
- ·官方通报“公职人员纠集他人私闯民宅,殴打重病老人”:正调查核实
- ·5月13日起可填报普通专升本志愿
- ·2026年第二届“交投杯”职工羽毛球大赛圆满落幕
- ·【省媒看金昌】新甘肃客户端关注金昌:投资消费外贸协同发力 经济运行支撑有力
- ·近视防控问答⑤ | 散瞳会伤害眼睛吗?
- ·“广货”电影牵动海外潮商家国情怀
- ·今天,我要表扬我妈......
- ·《给阿嬷的情书》: 何为“潮汕”,何以“家国”?
- ·第十七届山西省运动会首场群众赛事壶关开赛
- ·中雨、大雨!福建降水将卷土重来!
- ·女子称每月10万元长租一酒店房间,退租后被要求付3300元地板家具磨损费
- ·消防演练进校园 安全护航伴成长
- ·十年炉火映初心——记宝钛集团板材厂二车间五号桥作业区作业长兼燃气炉班长王国伟
- ·驿城区香山街道举办“心系慈母 温情相伴”母亲节志愿服务活动
- ·沈阳市教育局最新发布!事关孩子入学
- ·国乒男团3:1战胜法国队,王楚钦打哭小勒布伦!决赛女团、男团都将对阵日本队
最新内容
推荐内容
