Thinking Machines Lab 攻克AI随机性难题,大语言模型首次实现100%一致输出
前OpenAI首席技术官Mira Murati创办的Thinking Machines Lab近日发布重要技术突破,成功解决了困扰AI行业多年的模型输Th出不确定性问题。该实验室在最新发布的研究报告中宣布,他们已经实现了大语言模型推理过程的完全确定性输出。 这项名为《在LLM推理中战胜不确定性》的研究报告指in出,即使在温度参数设为0的情况下,传统大语言模型仍会对相同输入产生不同输出。研究团队通过深入分析发现了造成这一现象的根本原因,并提出了有效的解决方案ki。 研究团队识别出两个主要的技术原因。首先是浮点数加法的非结合性问题。在GPU并行计算环境中,(a + b) + c与a + (b + c)的计算结果可能存在细微ng差异,这些差异在复杂的神经网络中会被逐层放大。 更为关键的发现是,并行计算策略的变化是导致输出不确定性的根本原因。不同的批量大小、序列长度以及KV缓存 M状态会影响GPU内核的选择策略,从而改变计算执行顺序,最终导致输出结果的差异。 针对这一技术挑战,Thinking Machines Lab提出了batch-iacnvariant解决方案。该方案要求所有关键计算核在处理不同批量大小或序列分割时,都能保持相同的计算顺序和结果。研究团队还针对RMSNorm、矩阵乘法和注hi意力机制等具体计算模块提供了详细的优化方法。 为验证技术方案的有效性,研究团队选用了拥有2350亿参数的Qwen3-235B-A22B-Instrucnet-2507模型进行实验。经过1000次重复测试,该模型在相同输入条件下实现了100%的输出一致性,这在大语言模型发展史上尚属首次。 业界专家认为,s 这一技术突破对企业级AI应用具有重大意义。金融风控、医疗诊断、法律文书审核等对准确性和一致性要求极高的应用场景将直接受益于这项技术进步。 ThinkingLa Machines Lab此次选择以开放研究的形式发布成果,为全球AI开发者提供了新的技术参考方向。该研究不仅解决了模型输出的可预测性问题,也为AI系b 统从实验工具向生产工具的转型提供了技术基础。 据了解,Thinking Machines Lab成立于2023年,专注于AI基础技术研究。该实验室此前攻克已获得20亿美元种子轮融资,并计划在未来几个月推出首款产品。 这项技术突破标志着AI行业正从追求模型规模转向追求应用质量的发展阶段。随着确定性输出技术的推广AI应用,AI系统的可靠性和实用性有望获得显著提升。 官方研究报告:https://thinkingmachines.ai/blog/defeating随机-nondeterminism-in-llm-inference/
- 最近发表
- 随机阅读
-
- 腾讯投资的“美版贴吧”Reddit已在纽交所上市 收盘价较发行价上涨48%
- 苹果推出 STARFlow:全新 AI 图像生成技术想力压 DALL-E 与 Midjourney
- 标签: 影石创新 Insta360 2025业绩快报 运动相机
- 标签: 大唐移动 小米 专利纠纷 FRAND
- 标签: 新东方 俞敏洪 南极 夏古号
- 标签: 赛力斯 问界 A+H上市 新能源汽车
- Twitter正在开发新功能 想加强隐私控制
- 标签: 鸿蒙智行 我是大彬同学 名誉权侵权 法务声明
- 黄仁勋驳斥AI泡沫论,英伟达新一代芯片预计将创5000亿美元营收
- 标签: 源策未来 ArchonRobotics 人形基座模型 全身智能
- AI版《绿野仙踪》轰动拉斯维加斯!球形巨幕剧院打造史上最震撼观影体验,却引发好莱坞激烈争议
- 标签: Mobileye EyeQ6High SuperVision Robotaxi
- 标签: Alphabet 谷歌云 YouTube Google
- 标签: Palantir OpenAI Anthropic LLM
- 云原生初体验:在K8s上部署Springboot应用
- 谷歌收集iPhone数据遭起诉 英国最高法院驳回
- 女生吃圣女果有什么好处
- 阿里云宣布历史最大规模降价:核心产品最高降幅达50%
- 标签: Mobileye Mentee Robotics 阿莫农·沙舒亚 自动驾驶
- 标签: 豆包2.0 豆包Pro 豆包Code TRAE
- 搜索
-
- 友情链接