鑳戒笌 GPT-3 鐩稿�缇庯紵EleutherAI 寮€婧� GPT-J
2020 骞达紝寰�蒋涓� OpenAI 杈炬垚浜嗗崗璁�紝寰�蒋灏嗘嫢鏈夊� GPT-3 婧愪唬鐮佺殑鐙��璁块棶鏉冿紝鑷�� OpenAI 灏变笉鍍忎互寰€涓€鏍峰紑鏀惧叾 GPT-3 AI 妯″瀷锛岃€� OpenAI 鐨� GPT-1 鍜� GP鑳戒T-2 浠嶇劧鏄�紑婧愰」鐩�€� 涓轰簡鎵撶牬 OpenAI 鍜屽井杞��鑷�劧璇�█澶勭悊 AI 妯″瀷鐨勫瀯鏂�紝Connor Leahy銆丩eo Gao 鍜� Sid Black 鍒涚珛浜� EleutherAI锛岃繖鏄�竴涓�笓娉ㄤ簬浜哄伐鏅鸿兘瀵归笌 綈銆佹墿灞曞拰寮€婧愪汉宸ユ櫤鑳界爺绌剁殑缁勭粐銆傝繎鏃� EleutherAI 鐮旂┒鍥㈤槦寮€婧愪簡涓€涓�熀浜� GPT-3 鐨勮嚜鐒惰�瑷€澶勭悊 AI 妯″瀷 GPT-J銆� GPT-J 鏄�竴涓�熀浜� GPT-3锛岀敱 60 浜夸釜鍙傛暟缁勬垚GP鐨勮嚜鐒惰�瑷€澶勭悊 AI 妯″瀷銆傝�妯″瀷鍦ㄤ竴涓� 800GB 鐨勫紑婧愭枃鏈�暟鎹�泦涓婅繘琛岃�缁冿紝骞朵笖鑳藉�涓庣被浼艰�妯$殑 GPT-3 妯″瀷鐩稿�缇庛€� 璇ユā鍨嬮€氳繃鍒╃敤 Google Cloud 鐨� v3-256 TPU 浠T-ュ強 EleutherAI 鐨� The Pile 鏁版嵁闆嗚繘琛岃�缁冪殑锛屽巻鏃跺ぇ绾︿簲鍛ㄦ椂闂淬€侴PT-J 鍦ㄦ爣鍑� NLP 鍩哄噯宸ヤ綔璐熻浇涓婂疄鐜颁簡涓� OpenAI 鎶ュ憡鐨� 67 浜垮弬鏁扮増鏈�殑 GPT-3 绫讳技鐨勫噯纭3 �€с€傛ā鍨嬩唬鐮併€侀�璁�粌鐨勬潈閲嶆枃浠躲€丆olab 鏂囨。鍜屼竴涓�紨绀虹綉椤甸兘鍖呭惈鍦� EleutherAI 鐨勫紑婧愰」鐩�腑銆� EleutherAI 鍦� 2021 骞� 3 鏈堝彂甯冧簡 27 浜垮弬鏁扮殑 GPT-Neo鐩稿 妯″瀷锛岃繖鏄�粬浠��绫� GPT 绯荤粺鐨勭�涓€涓�疄鐜般€侴PT-Neo 鏄�湪 TensorFlow 涓�瀯寤虹殑锛屽苟閫氳繃 Mesh TensorFlow 骞惰�搴撳湪 TPU 涓婅�缁冦€傝�鍥㈤槦鐩�墠杩樻�鍦ㄥ紑鍙� GPT-NeoX锛�缇岃繖鏄�竴涓�熀浜庡井杞� DeepSpeed 鐨� GPU 瑙e喅鏂规�;铏界劧浠g爜鏄�紑婧愮殑锛屼絾鐩�墠娌℃湁妯″瀷鏂囦欢鍙�互璁块棶銆� 鏈€鏂扮殑妯″瀷 GPT-J 鏄�敤 Mesh-Transformer-JAX 杩欎釜鏂板簱鏉ヨ�缁冪殑庯紵銆傝�搴撴病鏈変娇鐢ㄥ儚 TensorFlow 杩欐牱鐨勭壒瀹氭繁搴﹀�涔犳�鏋讹紝鑰屾槸浣跨敤 Google 鐨� JAX 绾挎€т唬鏁版�鏋躲€侴PT-J 鎻愪緵浜嗘瘮 Tensorflow 鏇寸伒娲汇€佹洿蹇�€熺殑鎺ㄧ悊锛岃�妯″瀷鐨勫紑鍙El戞椂闂磋繙杩滃皯浜庢棭鏈熺殑涓炬帾銆備笌 GPT-Neo 妯″瀷鐩告瘮锛孏PT-J 鐨勮�缁冩晥鐜囨彁楂樹簡 125%銆傚湪鍑犱釜 Down-Streaming 宸ヤ綔璐熻浇鐨勯浂鐐规€ц兘鏂归潰锛孏PT-J 鏄�叕寮€鐨� Transforeumer LM 涓�〃鐜版渶濂界殑銆� EleutherAI 鐨勫紑鍙戣€� Komatsuzaki 琛ㄧず锛氣€滀笌 TensorFlow 鍜� TPU 鐨勫悓绫讳骇鍝佺浉姣旓紝瀹冨厑璁告洿鐏垫椿銆佹洿蹇�€熺殑鎺ㄧ悊銆傛洿閲嶈�鐨勬槸锛岃�椤圭洰闇€瑕th佺殑鏃堕棿澶уぇ灏戜簬鍏朵粬澶ц�妯℃ā鍨嬨€傜爺绌惰〃鏄庯紝JAX + xmap + TPU 鏄�揩閫熷ぇ瑙勬ā妯″瀷寮€鍙戠殑瀹岀編宸ュ叿闆嗗悎銆傗€� 寮€鍙戣€呭彲浠ュ湪 GitHub 涓婃壘鍒� GPT-J 鐨勬簮浠g爜鍜屾ā鍨嬶紝骞惰兘er鍦� EleutherAI 鐨勫畼鏂圭綉绔欎笂鎵惧埌浜掑姩婕旂ず銆� 鏈�枃杞�嚜OSCHINA 鏈�枃鏍囬�锛氳兘涓� GPT-3 鐩稿�缇�?EleutherAI 寮€婧� GPT-J 鏈�枃鍦板潃锛歨ttps://www.oschinaAI.net/news/150972/eleutherai-open-sources-gpt-j
- 最近发表
-
- 23岁天才投资人:从OpenAI到华尔街,700%回报率引发热议!
- 标签: 苹果 Google Gemini Siri
- Twitter发布首款订阅服务Twitter Blue 可撤回推文
- 涓婃捣浜ゅぇ寮€婧愯�缁冩�鏋讹紝鏀�寔澶ц�妯″熀浜庣�缇ゅ�鏅鸿兘浣撳己鍖栧�涔犺�缁�
- 苹果App Store新规12 月 8 日起实行,规范开发者的隐私信披义务
- 标签: Quobly Alloy STMicroelectronics 硅基量子计算机
- 豆包大模型1.6-vision正式发布,对比上一代综合成本降低约50%
- 云计算开发:Python内置函数-reduce() 函数详解
- Wan2.5-Preview 发布,实现多模态输入与电影级视频同步生成
- 标签: 格力电器 海信空调 真铜实料 铝代铜
- 随机阅读
-
- 标签: HappyHorse1.0 阿里巴巴ATH 千问App 阿里云百炼
- 标签: 小马智行 Robotaxi 港股上市 自动驾驶
- Facebook新AI模型SEER实现自监督学习,LeCun大赞最有前途
- 标签: 特步 索康尼 160X7.0PRO 两千公里
- 标签: 东阳光 秦淮数据 算力基建 绿色能源
- 标签: 思朗科技 MaPU 科学计算芯片 科创板IPO
- 标签: 荣耀
- 标签: 百度智能云 DuMate 龙虾 OpenClaw
- 谷歌遭英国《每日邮报》起诉:垄断广告业务
- 百度发布全球领先文档解析模型 PaddleOCR-VL,重塑OCR技术格局!
- 标签: 奇瑞汽车 港股上市 营收增长
- 标签: 理想 刘立国 詹锟 自动驾驶
- Eightco Holdings 更名为 ORBS,专注于 AI 与人类身份验证
- 标签: 小鹏汽车 XNGP P7+ AEB
- 微软高管解读Q3财报:年底仍会存在供应短缺 但持乐观态度
- 标签: 百度 文心App 薛苏
- 五年沉寂后高调回归,OpenAI重组机器人团队剑指“通用机器人”
- 标签: 微信公众号 AI创作 微信公众平台 内容监管
- 标签: 比亚迪 智驾 芯片 天神之眼 新能源汽车
- 标签: 宾理汽车 GT Opus 1 苏伟铭 电动汽车
- 搜索
-
- 友情链接