英伟达开源 Audio2Face 模型,AI 助力实时面部动画生成
近日,英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法,还提供了软件开发工具包(英SDK)和完整的训练框架,旨在加速游戏和3D 应用中智能虚拟角色的开发。 Audio2Face 通过分析音频中的音素、语调等伟达声学特征,能够实时驱动虚拟角色的面部动作,生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等开源多个领域。 Audio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染,另一种则是支持动态 AI 角色的实时流式 A处理。为了方便开发者使用,英伟达还开源了多个关键组件,包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执ud行插件,以及针对 Unreal Engine5.5及以上版本的插件。此外,回归模型和扩散模型也随之开源,开发者可以利用开源训练框架,io使用自己的数据对模型进行微调,从而适应特定的应用场景。 目前,这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Survios 在2F其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face,从而大幅简化了口型同步与面部捕捉的流程。而 Farm51工作室也在其作ac品《切尔诺贝利人2:禁区》中应用了这一技术,通过音频直接生成细腻的面部动画,节省了大量制作时间,提升了角色的真实感和沉浸体验。e 该工作室的创新总监 Wojciech Pazdur 对此表示,这一技术可谓 “革命性突破”。 英伟达的这一新举措无疑为开发者们提供了更模型多的创作工具,也将推动虚拟角色表现的进一步发展。随着技术的不断进步,我们可以期待在未来的游戏和影视作品中看到更加真实和生,A动的角色表现。 入口:https://build.nvidia.com/nvidia/audio2face-3d 划重点:&nI bsp; 英伟达开源 Audio2Face 模型,旨在提升虚拟角色的面部动画生成技术。 支持离线渲助力染和实时流式处理,适用于多种场景。 已被多个游戏开发商采用,简化了制作流程并提升了角色的真实感。
- 最近发表
- 随机阅读
-
- 标签: 创维集团 智能家电 新能源业务 现代服务业
- 标签: REDMI K90 Note15 WPS Mate90 麒麟芯片
- 香港超声领域迎来AI革命!新大模型助力医生轻松诊断
- 标签: 王石 万科地产 深圳 造谣
- 手机拍视频最怕抖,只能靠AI拯救了
- 标签: 亿咖通科技 Antora® Venado™ Pikes®
- 免费试玩!Hailuo 2.3发布!文字直出电影级视频 动作表情保真!
- 标签: 保时捷 Cellforce 布加迪 莱特斯
- OpenAI、甲骨文与软银联手建五大AI数据中心,投资超4000亿
- 标签: OpenClaw 格力空调 小米汽车 内存涨价
- 标签: 和辉光电 AMOLED面板 港股聆讯 上海国资委
- 标签: 宁德时代 广汽集团 巧克力换电 磐石底盘
- 标签: Mobileye EyeQ6High SuperVision Robotaxi
- 云安全日报211025:Ubuntu Linux内核发现拒绝服务等重要漏洞,需要尽快升级
- 标签: 上海移动 上门断网 10086 客服声明
- 标签: 问界 鸿蒙智行 赵长江 H200
- 百度文心新模型ERNIE-4.5-21B-A3B-Thinking强势登顶Hugging Face榜首
- 标签: 腾讯元宝 山姆会员 欧盟研发
- Facebook测试消息推送功能,告知用户苹果隐私设置更改
- 云安全日报210826:思科云应用部署和治理方案发现任意文件读写漏洞,需要尽快升级
- 搜索
-
- 友情链接