新榜讯 近日，月之暗面研究员 FloodSung 公开分享了 k1.5 模型背后的详尽思考历程，并透露，2024 年 9 月 12 日 OpenAIo1 发布所产生的震撼影响，致使其对 Long-CoT 的有效性展开反思。 早在一年多前，月之暗面 Kimi 联合创始人 Tim 周昕宇就已验证了 Long-CoT 的有效性，通过采用较小的模型，训练其进行几十位的加减乘除运算，将细粒度的运算过程整合为长的 CoT 数据进行 SFT，能取得极佳效果。 FloodSung 称，公司认识到 LongContext 的重要性，率先着眼于将 Context 延长，然而对 Long-CoT 之事重视不足，主要归因于成本考量。“LongContext 主要致力于长文本输入，具备 Prefill 预填充及 Mooncake 支持，成本与速度可控，而 Long-CoT 属于长文本输出，成本高昂且速度缓慢，在此情形下，延长输出未被列为优先选项。” FloodSung 反思道：“但还有何事比性能（Performance）更为关键呢？成本和速度有摩尔定律支撑，能够持续降低，只要将性能提升，其余皆非首要问题。”因此，必须开展 Long-CoT 及 o1 相关工作。“总之，我们就是要训练模型能够如人类一般自由思考。”FloodSung 表示。 在月之暗面 Kimi 官网，FloodSung 发表了一篇揭秘 o1 破解过程的万字长文，标志着公司关注并开始对标 o1 且推进相关研究的实质性举措。（来源：IT 之家）