京东重磅推出国产芯片驱动的 xLLM 推理引擎
京东最近宣布了一项令人振奋的技术进展 —— 开源基于国产芯片自主研发的大模型推理引擎 xLLM。这一引京东擎的推出旨在帮助企业在部署人工智能(AI)应用时,能够以更高的性能和更低的成本运作,进一步推动行业的智能重磅化转型。 xLLM 引擎的核心功能亮点众多,首先是其基于请求优先级的动态调度器。这一功能能够根据不同请求的重推出要性,智能分配计算资源,确保关键任务优先完成。此外,该引擎还具备动态自适应的 PD 分离架构,可以根据国产实时负载情况调整处理实例的比例,以实现资源的最佳利用。值得一提的是,xLLM 特别适配多模态场景,芯片配备了 EPD 混合分离调度器,为复杂的 AI 应用提供了更灵活的解决方案。 在技术架构方面,xLLM 拥有基于硬驱动件特性的多级流水线执行引擎,确保高效处理不同类型的任务。同时,开发者们还设计了包含图融合、投机推理的 和动态负载均衡的计算优化套件,这将大幅提升 AI 推理的效率。为了进一步提升系统性能,xLLM 还利用 MxLooncake 构建了多级 KV 缓存的全局管理系统,为数据处理提供了更加顺畅的体验。 京东表示,这一技术源自LM其零售核心业务,并已成功应用于京东 AI 助手、智能客服、风控和供应链助手等多个场景。通过这一系统,效率提 推升超过5倍,而机器成本则降低了90%,这一切都表明了 xLLM 的强大潜力。 “我们坚信,AI 基础设施的理引生态建设离不开每位开发者的贡献。开源只是第一步,未来京东将继续根据社区的需求,开放更多高级功能,并与清华京东、北大、中科大等产学研合作伙伴共同推动国产 AI 基础设施技术的创新与发展。” 京东零售 AI 基础设施团队表重磅示。 随着 xLLM 的开源,开发者们将有机会体验这一强大的推理引擎,并为推动中国的 AI 技术生态做出贡献。
- 最近发表
-
- 8部门联合发文:增加 AI 终端产品供给,试点智能网联汽车上路
- OpenAI 推出 Sora 短视频应用,升级视频生成模型 Sora 2
- 一文梳理视觉Transformer架构进展:与CNN相比,ViT赢在哪儿?
- 标签: Meta 扎克伯格 Reality Labs AI广告
- 标签: 红果短剧 抖音集团 李亮 真人微短剧
- OpenAI豪掷 15 亿美元布局B端:新合资公司“DeployCo”浮出水面
- 标签: 松下 YKK 松下家居 住宅设备
- 标签: 神州半导体 IPO 半导体设备 大基金二期
- 国内首家PaaS平台谢幕,新浪云官宣2026年永久终止服务
- Tahoe Bio重磅发布Tahoe-x1模型,AI“解码”生命语言,癌症研究迎来计算效率革命
- 随机阅读
-
- 标签: 小米 比亚迪夏 格力杭州 山姆App
- 分析师:芯片短缺或令苹果和AMD优先生产利润率较高的产品
- 携程商旅发布AI生态全景图:推出7大行业Agent并开放17项底层能力
- Scale AI 起诉前员工及竞争对手 Mercor,指控窃取商业机密
- 云计算核心技术Docker教程:Docker检查集群中的服务
- 普通却自信是什么梗
- 关于混合云成功 企业需要忘记的5件事和需要记住的4件事
- IDC:中国品牌升腾(Centerm)拿下瘦客户机市场第一,超越长期领先的戴尔和惠普
- 分析师称苹果造车或面临挑战:高投入低回报
- 标签: 智谱 AutoClaw 澳龙 OpenClaw
- 阿里云为地平线端到端智驾大模型训练提供算力支持
- 谁也逃不掉的大数据PUA,我被Wonderlab代餐奶昔盯上了
- 云安全日报210209:思科企业安全管理应用发现执行任意命令漏洞,需要尽快升级
- 迎风而上2021:如何破题五大数据挑战?
- 为什么说微软收购Nuance公司是一件大事
- 国内 7 家主流财经媒体发布版权保护声明:禁止AI未经许可抓取原创内容
- 谷歌“上车”,福特“入网”
- 标签: 电装 罗姆 半导体 汽车零部件
- 标签: 瑞凝生物 医用水凝胶 肿瘤治疗 创新医疗器械
- 标签: 微信 元宝 春节营销 诱导分享
- 搜索
-
- 友情链接