杜甫在线演唱《奇迹再现》、兵马俑都能开口说话… 网友用AI技术分分钟打破次元壁

  鱼羊发自凹非寺

  量子位报道公众号 QbitAI

  相关文章:大谷新作!AI 还原「王之霸气」朱元璋,杜甫倾情献唱奥特曼主题曲

  霍格沃茨的同学们都知道,想要进入格兰芬多休息室,得先过胖夫人这一关。

  所以,会说话的照片/画像它科学吗?

  其实,在 AI 时代的麻瓜世界里,这早就不算事儿了。

  不信,你看看这个激情演唱迪迦奥特曼主题曲《奇迹再现》的杜甫:

  

  △网友:0202 年,杜甫越来越忙了

  还有这个目光如炬,侃侃而谈的明太祖朱元璋:

  以及从大秦帝国穿越而来的这位大哥:

  谁见了不得喊一句:鹅妹子嘤。

  想必你已经猜到了,这样的「魔法」依然是由 AI 带来,涉及的技术包括图像生成运动估计等等。

  而打造这些作品的,就是那位给 100 年前的北平城上色的独立艺术家、微博博主@大谷 Spitzer。

  就仅仅在 8 月份月,@大谷 Spitzer 在微博上先后被@人民日报 、@央视新闻、@头条新闻等诸多媒体和微博大号“点名”,粗略统计微博上关于他的视频总播放量达数千万。

  用一个时下热门的词来说,@大谷 Spitzer 这位原本将自己定位为“游戏”的博主,凭借 AI 还原技术一夜之间在微博“出圈”了。

  背后的 AI 黑科技

  那么,AI 具体是怎么让这些艺术作品动起来的呢?

  大谷介绍,基于 YouTube 大神 Denis Shiryaev 的教程,他这次用到的 AI 项目分别是(链接见文末):

  • Artbreeder

  • StyleGAN-Art

  • Realistic-Neural-Talking-Head-Models

  • First-Order-Model(加文章超链)

  • DAIN

  • Topaz Labs

  Artbreeder

  Artbreeder 是一个基于生成对抗网络(GAN)技术的在线图像生成网站。

  在 Artbreeder 上,用户可以通过调整滑块,来创建不同风格的人像、动画。

  StyleGAN-Art

  StyleGAN 是英伟达在 2018 年发布的人脸生成模型,支持 2014×1024 的高清大图生成。

  并在 2019 年升级成为了效果更加逼真、无暇的 StyleGAN2。

  StyleGAN-Art 则是经过了特殊调教的 StyleGAN,专注于肖像画的生成。效果是酱婶的:

  Realistic-Neural-Talking-Head-Models

  这项研究来自莫斯科三星 AI 中心和斯科尔科沃科学技术研究所。

  只需要少量图像样本,就能学习到高度逼真和个性化的目标人物面部模型。甚至对于肖像画也一样适用。

  First-Order-Model

  一张名人照片,加上随便一段视频,就能让照片里的人物分分钟动起来。

  比如输入一段川普的视频,原本静止在画面中的史塔克们,也忍不住跟着动了起来。

  这就是来自意大利特伦托大学的「First-Order-Model」。

  DAIN

  DAIN 是上海交通大学开发的插帧算法,能把 30fps 的视频一口气插帧到 480fps,让视频丝滑流畅,毫无卡顿。

  

  △看琦玉老师这丝滑的披风

  并且,这项技术不仅适用于真实拍摄的视频,电影、定格动画、动漫都能搞定。

  Topaz Labs

  Topaz Labs 的能力,是基于机器学习技术和 trimap 技术,增加照片的分辨率,补充像素细节。

  提供添加蒙版,AI 色彩、细节增强,AI 降噪,无损失放大等功能。

  不过,这是一系列收费软件。

  当然,除了这些 AI 黑科技,作者的耐心调教也是不可或缺的。

  大谷本人也在接受新京报采访时坦承,制作过程中,翻车的例子也不少。

  没有点亮 AI 技能点怎么办?

  最后的最后,还有一个问题:

  如果没有点亮 AI 技能点,就不能亲自体验这样的「魔法时刻」了吗?

  或许,你可以期待一下 Adobe 的产品。

  在去年的 Adobe MAX 大会上,Adobe 露了这么一手:加入音轨,画中人就能一键对口型。

  哪怕只是简笔画,也能被赋予自然的动态。

  Adobe 表示,在不远的将来,这样的功能可能会出现在 Adobe 全家桶里面,作为新增功能或新产品出现。

  介时,穿越到哈利波特的世界还不是分分钟的事?(狗头)

  传送门

  完整视频:

  https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment

  https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

  Artbreeder:

  https://www.artbreeder.com/

  StyleGAN-Art:

  https://github.com/ak9250/stylegan-art

  Realistic-Neural-Talking-Head-Models:

  https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models

  https://arxiv.org/abs/1905.08233

  First-Order-Model:

  https://github.com/AliaksandrSiarohin/first-order-model

  https://arxiv.org/abs/2003.00196

  DAIN:

  https://github.com/baowenbo/DAIN

  https://sites.google.com/view/wenbobao/dain

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注