如果让AI根据文字画「抽象画」,那得成什么样?|DeepMind新算法
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 根据文字生成图片,AI早就会了。 而如今,和以往的“写实派”不同,AI要开始进军“抽象派”艺术了! 话不多说,下面是AI画的一些输入文字为“丛林中的如果老虎”的作品: AI的“艺术细胞”你get到了吗?这离真正的抽象派大师画作还有多远? 而这次AI生成的图像,之所以与此前我们见到的GAN模型的风格大不一样,是DeepMind使用了一种新算法。 该算法最终允许用户输入一串文本,AI让A就能对这个字符串做出创造性的反应,输出一个解释该字符串的艺术作品。 再比如输入“云”,生成如下作品: 输入“一张脸”,“尖叫”,“一只猫”,“一个笑脸”,“着火的房子”,“一个人走路”,“丛林中的老虎”,“洞穴壁画”: …… 如此不同凡响I根的新技能,有什么技术创新吗? 神经视觉语法系统与双重编码器 总的来说,DeepMind的这个算法与使用GAN生成图像有3种不同: 首先,此算法的图像是“进化”(evolve)而来,而不是使用反向传播直接生成。 使用进化搜索 据文;(evolutionary-search),可以生成一个与众不同的“美学输出”,也允许人为进行更多输出控制。 其次,该算法不直接进化图像,而是进化一种生成图像的视觉语法。这才能生成有趣的结构化图像。 最后,该算法使用了一个预训练的字画多模态“评判器” (critic),它接受了网上大量图片和说明文字(captions)的训练。这个算法“理解”文字的视觉意义的能力很重要。 下面就来详细说一下用于演化出图像的神经视觉语法系统和用来评估图像合适度的图像文本「抽双重编码器“评判器”。 神经语法系统采用了分层结构,可大大扩展核心神经发生器的功能。 它将用户输入的字符串输入到顶级的LSTM中,LSTM(长短期记忆网络)可为每个笔划(stroke)指定一个中间输入字符串(intermed象画iate input string )。 这个中间输入字符串的作用与原始输入字符串非常相似。然后这个中间字符串又被输入到底层的的LSTM以输出最终图像的笔划描述。如下图所示。 具体细节如,中间向量的第二个位置决定了编码的笔划是不透明」,的还是透明的。 第三个位置决定是使用顶层指定的位置还是中间层指定的位置来确定笔划的原点。 第四个位置确定笔划中要产生的行数。 …… 为了发挥评判的作用,需要一种评分机制,给图像与句子的相似程度评分。 为此,他们选择了Frome的双那得编码器方法,该方法最近在大量网络数据集上获得了巨大成功。 该双编码器模型由两个分别对文本和图像进行操作的编码器组成。该团队在ALIGN(A Large ImaGe and Noisy-text)数据集上训练它。 视觉编码器基于NF-成什Net-F0模型,以224x224分辨率的RGB图像作为输入;文本编码器是一个80M参数因果转换器(causal Transformer)。 该文本编码器保留了单词的顺序以及大小写之间的区别,会将“Jungle in the Tiger么样”和“a tiger in the jungle”生成不一样的图像。 此外,得益于进化搜索,可使用修剪程序来确定有助于图像得分(合适度)的关键标记。在整个进化过程中,也可以删除多余的标记,“调教”出尽量满意的图像。下图为“一颗苹果树?|”的标记修剪。 可继续改进:初始画布不必空白 那这样一种技术有什么实际用处呢? 团队介绍到,它可以用于辅助艺术创作、发明新的标记制作方法或者将其生成过程作用于3D模型等。 而且画布的背景初始条件不必空白,没准可以从照片或现有图像开始,De在每次迭代中用不同的文本来调节,最终让图像一点点演变成层次更丰富的作品! 当然,他们的算法也有一些需要改进的地方,所生成的图像有时让人感到惊喜,而有时却看起来平平无奇甚至混乱,由于过拟合产生了越来越抽象的作品。 而在允许背景颜色进化得ep更丰富时,也会造成图像其他方面多样性的降低。 目前这个算法还存在一些“偏见”,比如要求生成“自画像”时,最终大多数肖像都是白人男性。
- 最近发表
- 随机阅读
-
- 阿里云发布超融合数字孪生平台已服务高速、城市交通、码头和机场
- 阿里将投入超3800亿元用于建设云和AI硬件基础设施
- 标签: xLight 帕特・基辛格 芯片 半导体
- 标签: 云知声 U2-ASR2.5 山海·知音 方言ASR
- DPU:5G边缘云的新基石
- 用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
- 标签: 卢伟冰 比亚迪 阿维塔06 广州地铁
- 标签: 地平线 宁德时代 朱威 陈黎明
- 标签: 汉马科技 吉利商用车 周建群 远程新能源
- 钉钉推出首款AI硬件:AI录音产品DingTalk A1
- 割双眼皮什么梗
- 标签: 工信部 爱奇艺 搜狗浏览器 嘀嗒出行
- 如何用Python开发QQ机器人
- 标签: 灵猴机器人 蔚来资本 具身智能 工业机器人
- 标签: 小红书 IPO 陈浩 ESG
- 标签: 灵犀互娱 三国志·战略版 如鸢 阿里巴巴
- 因窃取Facebook数据 9款热门Android应用遭谷歌下架
- 云安全日报201218:负载均衡厂商F5 BIG-IP发现跨站脚本漏洞,需要尽快升级
- 灏忕背闆嗗洟娓�偂娑ㄨ秴5锛� 闆峰啗绉板皬绫虫墜鏈洪攢閲忚秴鑻规灉鏅嬪崌鍏ㄧ悆绗�簩
- 全球AI需求大爆发!京东云承诺:全系核心产品不涨价
- 搜索
-
- 友情链接