AI现在能教你画画了
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 画画新手们,如何才能画出一副像样的手绘肖像? 除了假以时日的练习,或许也可以借助下面这款工具! 首先,你只需画出人脸轮廓图,例如下面这样: 然后,计算机就能向你提示肖像整体结构的线条,供你参考: 接着,再给出人脸细节的提示线条: 最AI终,你就能画出这样一幅作品了: 是不是比新手徒手一张白纸要强很多? 两步引导教你画肖像 这款工具叫做dualFace。 它之所以能辅助绘画新手和普通用户画出像样的肖像画,是因为可以根据你的初始线条 给出人像全局框架和局部细节的素描线条。 你只需照着它来,没有经过绘画培训的“手残党”也可以完成! 在全局引导阶段现在,dualFace根据你绘制的大概轮廓,就能从内部数据库中搜索出若干相 关人像,并在画布背景上显示建议的人脸轮廓线。 在局部引导阶段,dualFace利用全局指导绘制的轮廓线,用深度生成模型合成人脸图 像,然后将合成结果的细节(眼睛、鼻子、嘴等)作为辅助线条给出来。 请注意,在全局阶段,人像是数据库中真实的人像。而能教局部阶段,是合成的虚拟人像。 为什么两阶段不用同一种人像呢? 这样做是为了让计算机给出的指导更具多样性!毕竟数据库里的人都是有限的,使用生 成模型可以在细节区分出更多的肖像。 另外dualFace具有切换功能,用户可以选择最合理的局部指导; 如果用户认为局部指导不符合他们的想象,也可以通过点击按钮来使绘制过你画程返回到全 局阶段。 下面就来说说这两个阶段具体如何操作的: 全局引导 全局引导阶段分为三步:数据生成,轮廓匹配和交互式指导。 数据生成就是把数据库中的人脸图像转换成人脸轮廓。 他们使用双向分割网络(BiSeNet)来生成人脸原图的语义标签蒙层(mask)。再从这 个语义标签蒙层中提取人脸轮廓。蒙层中的每个像素(e画了g. 眼睛、鼻子和嘴巴)都有来 自原图的面部标签ID(为了方便后面的搜索)。 另外,轮廓图像与相应的原始人脸图像一起存储。 轮廓匹配步骤,通过计算用户画的轮廓与数据库中存储的轮廓图像的相似度,得到最接 近的轮廓图像。使用了GALIF(Gabor Local Line-based Feature, 基于局部线条的GaAIbo r特征描述符)进行草图检索和局部形状匹配。 交互式指导步骤根据用户不断更新的笔划实时检索出最相似的“候选对象”,并将其转换 成阴影图。 局部引导 提供了整体结构图后,系统就开始提供细节线条了。 局部引导阶段包括两个步骤:蒙层(mask)生成和肖像草图生成。 蒙层生成步骤,利用全局阶段中的用户所绘,和在全局现在阶段-数据生成部分生成的数据 库人脸蒙层,系统可以生成最终蒙层,如下图。 肖像草图生成步骤,采用MaskGAN生成与上一阶段匹配的“真人”肖像,并采用APdrawi ngGAN将肖像图转为素描图。 其中,由于这两个生成模型是独立训练的,为了连接它俩,该步骤还使用梯度提升决策 树(GBDT)来计算人脸标志点,并将合能教并后的蒙层转换成二进制背景轮廓。 此阶段可以生成多幅详细的人像素描,用户可以选择最需要的一个作为后续绘制的参 考。且用户一开始画的轮廓图不全也没关系,缺少的部分可以通过“笔划—蒙层映射优 化”自动完成。 以上就是两个阶段引导的具体实现过程。 接下来,他们进行了用户研究,以定性的方式验证该工具的效果。 无法正确识别抽象你画的输入 dualFace是在windows10平台上用Python编写的一个实时绘图程序。 全局指导阶段,每次释放鼠标后平均需要0.36 s来检索图像,而在局部指导中每生成一 幅肖像图像需要2.78 s。 下面是试验者从全局和局部以及整体使用感受上的问卷调查结果,满分5分,平均分都 在3.9以上。 从整体用户体验画了来看,所有参与者都认为该工具可以帮助他们更好地绘制肖像。 而和其他绘图工具相比,dualFace在空间关系和面部细节的绘图评价上取得了较高的成 绩,平均分分别为4.5分和4.32分。 因此,dualFace可以引导用户通过正确的面部空间关系和详细的面部特征来获得更好的 肖像画,而其他绘图程序可能无法提供这AI些信息。 此外,下图最右显示,使用dualFace画画最短花费4分15秒,最长17分15秒,平均花费 在10分钟左右。虽然用户的绘画技巧可能不同,但是花费更多时间必然会导致更好的绘 图结果。 下面是试验者的画画成果: 可以看出,系统给出的指导图的水平都差不多,但最终结果还是有点受限于用户的实际 画画水平的 不过现在正如前面所说的,最后一组只画了眉毛和眼睛,系统也不会受到限制,也可以给出 完整的指导图。 当然,他们这个方法也有局限性:抽象的草图可能无法转换为合理的人脸mask。 例如,下图中用户画的轮廓中的嘴被错误地视为了鼻子的一部分,这就导致后面一系列 图的鼻子都不对劲。 这是因为人脸数据库中都是真实的照片,dualF能教ace只能支持绘制具有真实风格的人像。 所以,表情、夸张卡通造型等高层次的语义素描用它都很难实现。 作者介绍 此项目研究人员来自日本北陆先端科学技术大学院大学和东京大学。 前者是于1990年设立的研究院性质的日本国立大学,拥有多个日本重点扶持学科,科研 水平比肩东大、京大,在信息科学领域的研究极其顶尖。 7名你画研究成员中4位为华人,其中包括论文一二作。 试玩可戳GitHub地址下载: https://github.com/shasph/dualFace 论文地址: https://www.arxiv-vanity.com/papers/2104.12297/
- 最近发表
-
- 标签: SBTI DeepSeek 豆包 千问
- 标签: 理想汽车 鸿蒙智行 小米汽车 自研芯片
- 标签: 工商银行 农业银行 消费贷款 财政贴息
- 颠覆百年制药规则!美国双名校联手打造PepMLM:仅凭序列就能造药,63%命中率震撼医学界
- MetaGPT推出端到端自动化测试工具RealDevWorld,达到精准度92%
- 谷歌 AI 承包商裁员风波:200 多名员工因工作条件争议被解雇
- Anthropic 推出 Claude for Life Sciences:AI 助力生命科学研究提速
- 标签: 闻泰科技 安世半导体 *ST闻泰
- 赢得版权诉讼的谷歌将停用甲骨文财务软件:转投SAP怀抱
- 云安全日报201201:红帽身份验证访问控制系统发现SQL注入漏洞,需要尽快升级
- 随机阅读
-
- 有了它,你的照片能“屏蔽”人脸识别算法
- 标签: 货拉拉 市场监管总局 反垄断整改 平台抽成
- 火山引擎正式发布大数据研发治理套件
- OpenSearch 3.2 发布:全新功能助力 AI 驱动的搜索与分析体验
- 标签: 鸿蒙 星光盛典 央视 HUAWEI
- 为什么投资人不担心阿里云有泡沫?
- 标签: 美光科技 小米集团 三体公司 许垚
- 标签: Anthropic ClaudeSonnet5 智能体AI OSWorld-Verified
- Arc的幽灵重生!6.1亿美元收购案后,Dia浏览器确认继承“前辈”衣钵,AI架构融合经典设计
- 港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need
- 标签: 尚乘数科 HKD 尚乘集团 数字解决方案
- 云安全日报220623:红帽数据库管理系统发现执行任意代码漏洞,需要尽快升级
- 标签: 英伟达 OpenClaw 黄仁勋 Vera Rubin
- 标签: 摩尔线程 GPU 科创板 AI
- 香港超声领域迎来AI革命!新大模型助力医生轻松诊断
- 标签: 甲骨文 AI基础设施 生成式AI 裁员
- Salesforce 2023财年第四财季净亏损9800万美元 同比有所扩大
- 标签: 万达酒店 长白山度假区 支付宝碰一下 万悦会
- 手镯取不下来怎么办
- Gartner:2026年全球IT支出预计将达到6.15万亿美元,同比增长10.8%
- 搜索
-
- 友情链接