![]() |
|
在“一句话生成照片”这件事上,英伟达又一次突破了大伙的想象力。
他们最新的AI模型GauGAN2,不仅能根据字词生成逼真风景照,还能实时用文字P图!
输入一句“海浪击打岸边石”,立刻输出一张逼真照片。
从单词到短语,这只AI全都能get!
要是觉得哪部分你不喜欢,直接打字就能“P图”。
上面这些效果,都是英伟达这个叫做“GauGAN2”的模型做出来的,而它的“完整版”功能,还远不止这些。
从草图到文字,都能生成风景照
GauGAN2的绘制模式,一共分为三种。
第一种,打字生成图片。
我们先试了一下单个词组,“阳光(sunshine)”,生成如下图片:
再多来点限定词也没问题。
像“冬日树林中的阳光”,输入in winter后,眼前本来郁郁葱葱的树林立刻“全秃了”,换成了雪景下的一幕:
这效果,u1s1(有一说一)确实不错。
还能输出不同style的风景图,例如输入“大山(mountain)”一词,立刻要山有山,还能给你换不同风格:
当然,这些不同的风景照也都能继续生成新细节,在mountain后加上“beside a river”就能生成山水:
第二种,“打字P图”,直接用文字编辑部分图像。
只需要把想替换掉的部分圈出来,输入你想要的东西,就能立刻造出各种新颖的风景图:
嗯……英伟达给出的这个demo,思路也是非常清奇了,“浮在空中的城堡”:
第三种,用涂鸦生成风景照。
这是上一代GauGAN2(2019年英伟达推出的GauGAN)的看家本领。
例如,要是想实现下面这样的“一片天空两个太阳”,就完全可以在通过文本生成的图像上,自己手动再加一个。
这几种玩法迭加在一起,简直让网友们脑洞大开。
像外媒ZDNet就恶搞出来了一种神奇的玩法,在已有的风景上画个人头:
然后让GauGAN2根据已有的画面,再重新生成图画,就会得到如下“人头海岛”的神奇景观:
不过这可能也对个人画技有所要求,在我们的灵魂画风下,效果看上去就有些……不太聪明的亚子。
那么,生成这一系列风景照的GauGAN2,背后究竟用了什么原理?
它与OpenAI今年发布的DALL·E和CLIP,又究竟有什么区别?
与DALL·E有什么不同?
2019年,英伟达GauGAN2的“前身”GauGAN正式开源。
当时的它,还只拥有其中一个能力,就是将涂鸦直接变成风景画,就像“神笔马良”一样,还推出了对应的软件Canvas:
当然,这时GauGAN已经能随意改变画面风格了,从白天黑夜到春夏秋冬的气质都能稳稳“拿捏”:
据英伟达介绍,GauGAN采用了一种基于空间适应标准化(SPADE)算法。
SPADE算法不仅使用随机的输入图像,还采用了一种被称作“分割图”的图像。在分割图中,每一个像素都会被归类,来生成更接近于真实的图像,这种模式被称作“图对图翻译”。
现在,英伟达将GauGAN升级成了GauGAN2,后者一共采用了1000万张高质量的图片、在英伟达Selene超算上进行训练,这台超算在Green500排行榜上排到世界第二。
生成这些风景画的效果和“手法”,是不是感觉有点熟悉?
没错,大多数人看到GauGAN2的第一眼,可能都会觉得它和OpenAI的DALL·E+CLIP有点像。
今年年初,OpenAI用DALL·E和CLIP两个模型,做了个“图像版”GPT-3,同样能用一句话生成图片。
不过,这两个模型生成的内容其实不太一样。
GauGAN2专注于生成风景照,DALL·E+CLIP则更多地生成具体的物体,例如一把椅子或者一个闹钟等。
这与它们的原理差异也有关系,GauGAN2更加注重“单词与视觉效果”之间的关系,例如“冬天”这种模糊的状态词给照片带来的效果;DALL·E+CLIP则更注重“文字-图像”这种有明确对应关系的物体效果。
据英伟达介绍,GauGAN2不同于“文本-图像”和“分割图像-图像”一类的模型,它所能产生的照片种类更多,质量也会更高。
不过,偶尔也会出现点bug…
比如给出“沙滩(beach)”一词后,有些生成的画面中出现了语言无法描述的事物。
对此,英伟达表示,他们在训练中“完全没有用到任何人像照片”。(所以可能是偶然?)
但这样一来,网友想要的“瑞克摇(Rick roll)”和“鬼畜视频生成”,GauGAN2大概也是没办法实现了。
但是能生成仿佛梦境中才能见到的画面,也吸引了不少人来试玩。
这不,有人就晒出了自己生成的抽象画大作,并表示自己非常喜欢这个模型:
还有人表示,GauGAN2给出了一些建筑设计的新idea啊。
也有网友觉得这种能够自动生成景观的功能,未来Adobe可能也会用上。
或许就是下一个画手利器?
最后,GauGAN2在浏览器上就能试玩,欢迎大家留言讨论自己的体验感受~
GauGAN2试玩Demo地址:
http://gaugan.org/gaugan2/
当前新闻共有0条评论 | 分享到: |
|
||||||||||
评论前需要先 登录 或者 注册 哦![]() |
24小时新闻排行榜 | 更多>> |
1 | 等不及四中全会 中南海变局公开 |
2 | 习亲自指挥谋害 传遗孀程虹爆李克强死前心 |
3 | 这一击 将成为压垮习近平的一根稻草 |
4 | 习下台前兆 中南海突祭新规内幕 |
5 | 快讯!马兴瑞卸任新疆党委书记 |
48小时新闻排行榜 | 更多>> |
一周博客排行 | 更多>> |
1 | 俺吃错过药 | 阿妞不牛 |
2 | 空前绝后:24岁的中共总书记及 | 赵大夫话室 |
3 | 人死后灵魂还在吗? | 骆驼 |
4 | 中美空军相差多远?看运-20和C | 弓长贝占郎 |
5 | 走出中国城,走活中国人 | 解滨 |
6 | 共产革命之前的上海和伊斯兰革 | 陈家梁子 |
7 | 习大大唱独角戏,听床师们情何 | 蛇形刁手 |
8 | 2024回国:海南环岛游 | 马黑 |
9 | 赵晓:燕京大学校训的真正含义 | 万维网友来 |
10 | 国内外形势一片大好 | 倩影 |
一周博文回复排行榜 | 更多>> |
1 | 人死后灵魂还在吗? | 骆驼 |
2 | 奇袭伊朗.高法裁决.外交内政. | 木秀于林 |
3 | 俺吃错过药 | 阿妞不牛 |
4 | 永生的三种结局:福斯卡的幻灭 | 万维网友来 |
5 | 伊朗问题能够一劳永逸吗? | 阿妞不牛 |
6 | 相信固执己见可以治愈 | 施化 |
7 | 走出中国城,走活中国人 | 解滨 |
8 | 2024回国:海南环岛游 | 马黑 |
9 | 纽约市想要一位共产主义市长吗 | Jinhuasan |
10 | 再反转:B-2只炸了个皮毛? | 北栖 |