GPT-4参数将达10兆!此表格预测全新语言模型参数将是GPT-3的57倍
对于机器学习来说,参数可以算得上算法的关键:它们是历史的输入数据,经过模型训练得来的结果,是模型的一部分。 一般来说,在NLP领域,参数数量和复杂程度之间具有正相关性。而OpenAI的GPT-3则是迄今为止最大的语言模型之一,有1750亿个参数。 那么,GPT-4会是什么样子GP的? 近日有网友就对GTP-4及其「开源版」GPT-NeoX进行了大胆的预测。 作者认为,GPT-4的参数或许可以达到10T,是现在GPT-3模型的57倍还多,而GPT-NeoX的规模则可以和GPT-3持平。 等下,如果是这样,程序员们还能不能在GPT-NeoX上愉快地调参了? 模型 发T-布时间 Tokens 参数 占1.75T的百分比 训练文本 GPT-2 (OpenAI) Feb 2019 10B 1.5B 0.09% 40GB GPT-J (EleutherAI) Jun 2021 400B 6B 0.34% 800GB GPT-3 (OpenAI) May 2020 499B 175B 10.00% 574参0GB PanGu (Chinese) Apr 2021 40B 200B 11.43% 1.1TB HyperCLOVA (Korean) May 2021 560B 204B 11.66% 1TB? Wudao 2.0 (Chinese) Jun 2021 500B? 1.75T 100.00% 2.4TB LaMDA (G数将oogle) Jun 2021 1T? 200B? 11.43% 1TB? GPT-4 (OpenAI) TBA 20T? 10T? 571.43% 5TB? GPT-NeoX (EleutherAI) TBA 500B? 175B? 10.00% 825GB? 数据集分析 目前应用最广的GPT-3的训练语料库来自于达1规模巨大的结构文本。其中所有数据集都被索引,分类,过滤和加权,而且还针对重复的部分也做了大量的删减。 专门为Openai开发并由Microsoft Azure托管的世界最强超算之一完成了对GPT-3的训练 。超算系统有超过285,000个CPU核心,超过10,000个 GPU,并且以4000兆Gbps的速度运行。 GPT-3 Wikipedia DataSet是来自于Wikipedia的英文内容。由于其质量,写作风格和广度,它是语言建模的高质量文本的标准来源。 WebText数据集(以及扩展版本WebText2)是来自从Reddit出站的大于4500万个网页的文本,其中相!此关的帖子会有两个以上的支持率(upvotess)。 由于具有大于4.3亿的月活用户,因此数据集中的内容可以被认为是最 「流行 」网站的观点。 Books1和Books2是两个基于互联网的书籍数据集。类似的数据集包括: BookCorpus,是由未发表的作者撰写的免费小说书籍的集合,包含了至表格少10,000本书。 Library Genesis (Libgen),一个非常大的科学论文、小说和非小说类书籍的集合。 Common Crawl是一个包含了超过50亿份网页元数据和提取文本的开源存档开放的数据平台: 八年来PB级的数据(数以千计的TB,数以百万计的GB)。 25B个网站。预测 数以万亿计的链接。 75%英语,3%中文,2.5%西班牙语,2.5%德语等。 排名前10域名的内容:Facebook、谷歌、Twitter、Youtube、Instagram、LinkedIn。 GPT-3使用的数据集 GPT-Neo和GPT-J 今年3月,Eleuther AI在GitHub全新上推出了GPT-Neo开源项目,可以在Colab上进行微调。 虽然GPT-Neo与GPT-3比,参数量仍然很小(1.3B和2.7B),但开源又免费,仍然得到了「同性好友们」的认可。 今年6月Eleuther AI再次推出GPT-J-6B,它可以说是GPT-Neo的增强版本,顾名语言思义,模型的参数量增加到了6B。 GPT-J的训练也是基于The Pile数据库——一个825GB的多样化开源语言建模数据集,由22个较小的、高质量的数据集合组成。 The Pile除了专业论坛和知识库,如HackerNews、Github和Stack Exchange,论文预印本网站ArX模型iv以外,还包括如Youtube字幕,甚至安然邮件(Enron Emails)语料库。 GPT-Neo和GPT-J使用的数据集 在zero-shot任务上,GPT-J性能和67亿参数的GPT-3相当,也是目前公开可用的Transformer语言模型中,在各种下游zero-shot任务上参数表现最好的。 这么看来,确实可以期待一下和GPT-3相同规模的GPT-NeoX的表现了。 网友评论 GPT-4怎么这么大? 「GPT-3已经接近理论上每个token的最大效率了。如果OpenAI模型的工作方式是正确的,更大的模型只是对算力的浪费。」 有网友解答说:「规模确实可以带来改将是善。因为本质上是一种关系隐喻模型,『了解更多的关系 』意味着能够对更多的事情或以更细微的方式做出反应。当然,这也同时是一个营销的方式。」
- 最近发表
-
- 美国华盛顿特区总检察官对亚马逊发起反垄断诉讼
- 微软投资40亿美元建造全球最强 AI 数据中心,性能提升十倍!
- 标签: 牧原食品 港股上市 生猪养殖 A+H
- Facebook宣布在全球推出Instagram Reels短视频广告服务
- 鑻规灉绗�笁璐㈠�澶т腑鍗庡尯钀ユ敹147.62浜跨編鍏� 鍚屾瘮澧炲箙杈�58%
- 微软 Copilot AI 实现邮件和文件直接连接,提升办公效率
- Anthropic在纽约开设 “Zero Slop Zone”,抵制低质 AI 内容
- 标签: 追觅科技 长三角 武进区 常州市
- 云安全日报210810:IBM数据保护平台发现跨站脚本攻击漏洞,需要尽快升级
- DBaaS需要数据保护的三大原因
- 随机阅读
-
- 五粮液是什么梗
- 注释掉 on('data') 请求为什么一直挂着?― 了解 Node.js Stream 的两种模式
- 云安全日报210713:红帽XML序列化库发现远程命令执行攻击漏洞,需要尽快升级
- 400亿的卡脖子赛道即将跑出一个IPO
- 微软推出全新AI形象 Mico,Clippy 回归“变身”人工智能好友
- Meta发布支持128种语言的新语音模型:指向元宇宙跨语种交流
- 标签: 海立股份 海立马瑞利 电动压缩机 转子式压缩机
- 侑开始了什么梗
- OpenAI进军音乐创作领域,携手茱莉亚学院学生打造全新AI音乐模型
- 与爱为舞亮相腾讯云AI产业应用大会,联合创始人王琳:打造下一代学习Agent
- 标签: 何同学 罗永浩 台州晚报 数码博主
- 阿里云ECS企业级实例降价40% 对象存储预留空间产品最多降70%
- 奢侈品租赁平台推出AI造型师 三大时尚零售商联手打造个性化购物体验
- 云安全日报220721:思科混合云运维管理解决方案发现执行任意命令漏洞,需要尽快升级
- 云安全日报210831:红帽RHEL系统内核发现特权提升漏洞,需要尽快升级
- AlphaFold2鍘熺悊锛氭敞鎰忓姏鏈哄埗鍙栦唬鍗风Н缃戠粶锛岄�娴嬪噯纭�€ф彁鍗囪秴30%
- 容器云架构 | 了解 Kubernetes 网络模型
- 标签: 东昇聚变 晨光装置 氘氦3聚变 启明创投
- 揭秘亚马逊新帅的Chop会议和Nice邮件 贾西之后AWS CEO花落谁家?
- 标签: 紫光股份 算力×联接 2025年报 A股
- 搜索
-
- 友情链接