万维读者网 > 美国看台 > 正文  
快来这里体验上帝视角!英伟达又一次突破想象力
www.creaders.net | 2021-11-25 09:11:35  量子位 | 0条评论 | 查看/发表评论
 

1.gif

在“一句话生成照片”这件事上,英伟达又一次突破了大伙的想象力。

他们最新的AI模型GauGAN2,不仅能根据字词生成逼真风景照,还能实时用文字P图!

输入一句“海浪击打岸边石”,立刻输出一张逼真照片。

从单词到短语,这只AI全都能get!

那感觉,简直是要山得山,要水得水。

要是觉得哪部分你不喜欢,直接打字就能“P图”。

上面这些效果,都是英伟达这个叫做“GauGAN2”的模型做出来的,而它的“完整版”功能,还远不止这些。

从草图到文字,都能生成风景照

GauGAN2的绘制模式,一共分为三种。

第一种,打字生成图片。

我们先试了一下单个词组,“阳光(sunshine)”,生成如下图片:

5.gif

加上限定词in the forest后,AI立刻就将场景换到了树林里,变成光洒在树林中的场景:

20211125_16378597964857.gif

再多来点限定词也没问题。

像“冬日树林中的阳光”,输入in winter后,眼前本来郁郁葱葱的树林立刻“全秃了”,换成了雪景下的一幕:

7.gif

这效果,u1s1(有一说一)确实不错。

还能输出不同style的风景图,例如输入“大山(mountain)”一词,立刻要山有山,还能给你换不同风格:

8.gif

当然,这些不同的风景照也都能继续生成新细节,在mountain后加上“beside a river”就能生成山水:

第二种,“打字P图”,直接用文字编辑部分图像。

只需要把想替换掉的部分圈出来,输入你想要的东西,就能立刻造出各种新颖的风景图:

10.gif

嗯……英伟达给出的这个demo,思路也是非常清奇了,“浮在空中的城堡”:

11.gif

第三种,用涂鸦生成风景照。

这是上一代GauGAN2(2019年英伟达推出的GauGAN)的看家本领。

例如,要是想实现下面这样的“一片天空两个太阳”,就完全可以在通过文本生成的图像上,自己手动再加一个。

12.gif

这几种玩法迭加在一起,简直让网友们脑洞大开。

像外媒ZDNet就恶搞出来了一种神奇的玩法,在已有的风景上画个人头:

13.jpg

然后让GauGAN2根据已有的画面,再重新生成图画,就会得到如下“人头海岛”的神奇景观:

14.jpg

不过这可能也对个人画技有所要求,在我们的灵魂画风下,效果看上去就有些……不太聪明的亚子。

15.jpg

那么,生成这一系列风景照的GauGAN2,背后究竟用了什么原理?

它与OpenAI今年发布的DALL·E和CLIP,又究竟有什么区别?

与DALL·E有什么不同?

2019年,英伟达GauGAN2的“前身”GauGAN正式开源。

当时的它,还只拥有其中一个能力,就是将涂鸦直接变成风景画,就像“神笔马良”一样,还推出了对应的软件Canvas:

16.gif

当然,这时GauGAN已经能随意改变画面风格了,从白天黑夜到春夏秋冬的气质都能稳稳“拿捏”:

17.gif

据英伟达介绍,GauGAN采用了一种基于空间适应标准化(SPADE)算法。

SPADE算法不仅使用随机的输入图像,还采用了一种被称作“分割图”的图像。在分割图中,每一个像素都会被归类,来生成更接近于真实的图像,这种模式被称作“图对图翻译”。

18.jpg

△GauGAN的技能点(狗头)

现在,英伟达将GauGAN升级成了GauGAN2,后者一共采用了1000万张高质量的图片、在英伟达Selene超算上进行训练,这台超算在Green500排行榜上排到世界第二。

生成这些风景画的效果和“手法”,是不是感觉有点熟悉?

没错,大多数人看到GauGAN2的第一眼,可能都会觉得它和OpenAI的DALL·E+CLIP有点像。

今年年初,OpenAI用DALL·E和CLIP两个模型,做了个“图像版”GPT-3,同样能用一句话生成图片。

image.png

不过,这两个模型生成的内容其实不太一样。

GauGAN2专注于生成风景照,DALL·E+CLIP则更多地生成具体的物体,例如一把椅子或者一个闹钟等。

image.png

这与它们的原理差异也有关系,GauGAN2更加注重“单词与视觉效果”之间的关系,例如“冬天”这种模糊的状态词给照片带来的效果;DALL·E+CLIP则更注重“文字-图像”这种有明确对应关系的物体效果。

据英伟达介绍,GauGAN2不同于“文本-图像”和“分割图像-图像”一类的模型,它所能产生的照片种类更多,质量也会更高。

不过,偶尔也会出现点bug…

比如给出“沙滩(beach)”一词后,有些生成的画面中出现了语言无法描述的事物。

21.jpg

对此,英伟达表示,他们在训练中“完全没有用到任何人像照片”。(所以可能是偶然?)

但这样一来,网友想要的“瑞克摇(Rick roll)”和“鬼畜视频生成”,GauGAN2大概也是没办法实现了。

22.jpg

但是能生成仿佛梦境中才能见到的画面,也吸引了不少人来试玩。

这不,有人就晒出了自己生成的抽象画大作,并表示自己非常喜欢这个模型:

23.jpg

还有人表示,GauGAN2给出了一些建筑设计的新idea啊。

也有网友觉得这种能够自动生成景观的功能,未来Adobe可能也会用上。

24.jpg

或许就是下一个画手利器?

最后,GauGAN2在浏览器上就能试玩,欢迎大家留言讨论自己的体验感受~

GauGAN2试玩Demo地址:

http://gaugan.org/gaugan2/


3.gif

4.gif

   0


当前新闻共有0条评论 分享到:
评论前需要先 登录 或者 注册
全部评论  
暂无评论 上一页 下一页  
实用资讯
24小时新闻排行榜 更多>>
1 惊!习近平三连任前 要除掉这两个人
2 速看!中共驻美国大使馆发布重要提醒
3 感恩美国!我在同学群里,已经"群死"了
4 太吓人了,这座中国中部第一城又开始变大了
5 数量骤减 90% 中国货轮最近从海上消失了…

48小时新闻排行榜 更多>>
1 惊!习近平三连任前 要除掉这两个人
2 ​张高丽带头反习 或成丑闻引爆点
3 冯小刚亲选的“芳华三美”:4年后人生各异
4 速看!中共驻美国大使馆发布重要提醒
5 几乎净身出户 10年婚姻汪小菲什么都带不走
6 前驻华大使谈张高丽 匿名官员曝彭帅通话内
7 感恩美国!我在同学群里,已经"群死"了
8 太吓人了,这座中国中部第一城又开始变大了
9 数量骤减 90% 中国货轮最近从海上消失了…
10 彭帅事件越瞒越大,中共外交部气急败坏
热门专题
一周博客排行 更多>>
1 有情人终成眷属,彭帅张高丽事 金复新
2 感恩美国 福田自耕
3 赵晓:永远不要低估美国 万维网友来
4 我在美国做穷人 福田自耕
5 费城华裔机智勇敢反擊持械抢劫 蒋大公子
6 娘炮式的历史性决议与躺不平的 文庙
7 从彭帅想到当年彭真以及性特权 毕汝谐
8 盛世人民觉得一点儿都不好玩 思芦
9 索额图:台海会不会打起来? 索额图
10 我们家的“花生米” WillyRong
一周博文回复排行榜 更多>>
1 拜登的体检和习近平的终身 远方的孤独
2 有情人终成眷属,彭帅张高丽事 金复新
3 关于里腾豪斯案的裁决:极端华 一草
4 关于里腾豪斯案的民调和评论-- 一草
5 我衷心希望阿妞博早日回万维博 新歌
6 如果有一天,离开美国、加拿大 体育老师
7 左派的原始基因 施化
8 感恩美国 福田自耕
9 赵晓:永远不要低估美国 万维网友来
10 从金复新爆红博文领教华人的猥 施化
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2021. CyberMedia Network/Creaders.NET. All Rights Reserved.