腾讯云存储面向AIGC全面升级 80%头部大模型厂商采用
4月8日消息,腾讯云宣布云存储解决方案面向AIGC场景全面升级,能够针对AI大模型数据采集清洗、训练、推理、数据治理全流程提供全面、高效的云存储支持。 据介绍,腾讯云AIGC云存储解决方案主要由对象存储COS、高性能并行文件存储CFS Tu腾讯rbo、数据加速器GooseFS和数据万象CI等产品组成,是国内首个实现存储引擎全面自研的云存储解决方案。目前,已经有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案,包括百川智能、智谱、元象等明星大模型企业。 此前,腾讯云已经面向云存AIGC场景推出了基于星脉网络的大模型训练集群HCC、向量数据库、以及行业大模型服务MaaS等大模型全链路云服务。 解决大模型全链路数据处理难题 AI大模型的研发生产流程,分成数据采集与清洗、模型训练、推理三大环节,各环节都涉及海量的数据处理。 在储面数据采集与清洗环节,由于原始训练数据规模海量,且来源多样,对存储技术提出了多协议支持、高性能、大带宽的需求。 腾讯云对象存储COS支持单集群管理百 EB 级别存储规模,提供便捷、高效的数据公网接入能力,并支持多种协议,充分支持大模型PB级别的海量向A数据采集。在数据清洗环节,大数据引擎需要快速地读取并过滤出有效数据,COS通过自研数据加速器GooseFS提升数据访问性能,可实现高达数TBps的读取带宽,支撑计算高速运行,大大提升数据清洗效率。 在模型训练环节,通常需要每2-4小时保存一次训练IG成果,以便能在GPU故障时时能回滚,因此快速地读写checkpoint(检查点)文件也成了能否高效利用算力资源、提高训练效率的关键。 腾讯云自主研发并行文件存储CFS Turbo ,面向AIGC训练场景的进行了专门优化,每秒总读写吞吐达到TiBC全/s级别,每秒元数据性能高达百万OPS,均为业界第一。3TB checkpoint 写入时间从10分钟,缩短至10秒内,使大模型训练效率大幅提升。 大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审面升核、智能数据检索MetaInsight等能力,为数据生产从“用户输入——预处理——内容审核——版权保护——安全分发——信息检索“业务全流程提供有力支撑,优化AIGC内容生产与管理模式,顺应监管导向,拓宽存储边界。 同时,随着训练数据和推理数据的增级 长,需要提供低成本的存储能力,减少存储开销。对象存储服务提供了高达 12 个 9 的数据持久性和 99.995% 的数据可用性,能够为业务提供持续可用的存储服务。 据介绍,腾讯云AIGC云存储解决方案优秀的性能表现,源自腾讯云自主研发的存储引擎与自研技80术。腾讯云自研的分布式对象存储引擎YottaStore,支持任意多副本及纠删码冗余模式并存,在大幅提升可用性、可靠性及性能的同时大幅降低成本。基于YottaStore,腾讯云对象存储服务COS作为统一的数据存储池,支持单集群1万台服务器,单集群%头百EB级的存储。 在数据清洗环节中,数据加速器GooseFS可根据数据的使用频率,将数据智能存储至内存、计算集群的本地盘、或可用区的全闪存储集群等不同级别的缓存中,低成本缩短IO路径,提升数据访问性能。相比起从对象存储COS中直接读取,Goo部大seFS可以提供亚毫秒级的数据访问延迟、百万级的IOPS和Tbps级别的吞吐能力,有效提升数据清洗效率。 面向模型训练场景的CFS Turbo,则是目前业内唯一自研的并行文件存储系统。 基于自研分布式高性能存储引擎Histor,CFS Turbo底层通模型过自研用户态协议栈和RDMA等技术,减少数据的多次拷贝与虚拟化消耗,大幅降低了存储时延、提升吞吐性能;在应用侧,CFS Turbo自研并行文件传输协议,实现了多链路并行访问,大大提升了吞吐效率。原来的文件存储受限于传统NFS协议,单客户端只能厂商单链路访问,也导致吞吐存在性能瓶颈。 此外,针对AIGC的checkpoint记录、大视频文件读写、小图片读写等场景,腾讯云CFS Turbo还自研了分级缓存、自适应条带化、分布式元数据的技术,大幅提升了AIGC场景下的读写性能。除了大模型企业以外,采用CFS Turbo也被广泛应用于自动驾驶与工业仿真场景,包括博世汽车、蔚来等自动驾驶厂商,上海电气、深势等仿真场景,墨镜天合、追光等影视特效场景。(周小白)
- 最近发表
- 随机阅读
-
- 谷歌将推出自研手机和电脑芯片
- 标签: 美光 Micron 存储芯片 财报
- 标签: 字节跳动 Seeduplex 豆包 桃子音色
- Facebook高管:计划明年推出数字货币Diem和数字钱包Novi
- 标签: 字节跳动 豆包 Dola助手 AI模型
- 可灵AI发布数字人新功能:一张图片生成 1 分钟高清视频
- 英特尔CEO:全球芯片短缺可能还得持续两年
- 标签: 米哈游 原神 拼多多 多摩万事屋
- 波士顿动力一只48.8万,美女沙滩遛「狗」,网友直呼:壕
- 数据与分析领域的10大技术趋势
- 苹果突然拒绝出席反垄断听证会 遭美议员抨击
- Brave 搜索引擎升级:AI 问答功能实现更详尽的搜索体验
- 标签: 畅捷通 小微企业数智化 AI至上 五新
- 标签: 尚界 Z7 小摩互娱 尚界汽车
- 标签: 威兆半导体 功率半导体 消费电子 fab-lite
- 助力1000+企业后 亚马逊云科技给出「构建生成式AI应用」的关键步骤
- Epic诉苹果案即将开庭 双方派高管参加
- 标签: OpenAI GPT-5.1 ChatGPT Instant
- 硬核!一文学完Flink流计算常用算子
- 标签: 亿纬锂能 SK On 股权置换 电池企业
- 搜索
-
- 友情链接