ai魔幻黑科技!华人学者推出视频修复AI,可换天造物,秒变科幻大片
AI修图到底有多强?
前几日 , Adobe Max 大会刚刚结束 , Photoshop 2021版便登上了国外各大媒体版面 。
其原因是 , 新版Ps工具中内置了AI驱动工具 , 诸如“天空置换”等高难度修图问题 , 现在点点鼠标就可以轻松实现 , 而且效果远超手动操作 。
无论是拍人拍景或是其他 , “天空”都可以说是摄像中的关键元素 。 比如 , 一张平平无奇的景色图加上落日余晖的天空色调 , 是不是有内味了?
本文插图
对于短视频爱好者来说 , 如果也能达到如此处理效果岂不是更佳?
没错 , 今天小编就是要给大家介绍一款基于原生视频的AI处理方法 , 不仅可以一键切置换天空背景 , 还可以打造任意“天空之城” 。
AI视频修复新玩法
这项AI处理方法来自密歇根大学的一位华人博士后的最新研究 。 该方法基于视觉技术可一键调整视频中的天空背景和天气转换 。
比如 , 《星际迷航》等科幻电影中经常出现的浩瀚星空、宇宙飞船 , 也可以利用这项技术融入随手拍的视频中 。
本文插图
公路片秒变科幻片 , 画面毫无违和感 。
视频中的蓝色的天空背景也随飞船变成了灰蒙蒙的色调 , 一种世界末日的即视感有木有?
本文插图
当然它的玩法还不止如此 。
动漫迷也可以创建自己的移动城堡 。 喜欢《天空之城》《哈尔的移动城堡》的朋友应该对这一幕应该非常熟悉 。
本文插图
又或者在视频中挂一个超级月亮 , 又是另一番景象 。
本文插图
好像只要脑洞够大 , 利用这项AI技术 , 视频创作就有无限种玩法 。
另外 , 它还具备天气转换的功能 , 比如晴空万里、阴雨绵绵、雷雨交加等各种天气都可以在视频中随意切换 。
本文插图
本文插图
喜欢玩Vlog的朋友听着是不是非常心动了?研究人员表示 , 现在已经在考虑将其制作成插件/脚本的形式 , 方便相关从业者或行业使用 。
在此之前 , 这项技术的AI代码已经在Github开源 , 懂技术的朋友可以优先安装体验了~
本文插图
Github地址:https://github.com/jiupinjia/SkyAR
技术原理
不同于传统研究 , 研究人员提出了一种完全基于视觉的解决方案 。 它的好处就是可以处理非静态图像 , 同时不受拍摄设备的限制 , 也不需要用户交互 , 可以处理在线或离线视频 。
上述实验视频 , 均是通过手持智能手机和行车记录仪在野外拍摄的 。 经过该方法处理后 , 其在视频质量、运动动态、照明转换方面都达到了较高的保真度 。 比如在浮动城堡 , 超级月亮样例中 , 使用单个NVIDIA Titan XP GPU卡 , 该方法可以在输出分辨率为640 x 320时达到24 fps的实时处理速度 , 在854 x 480时达到接近15 fps的实时处理速度 。
具体来说 , 该方法分为三个核心模块:
- 天空遮罩框架(Sky Matting Network):用于检测视频帧中天空区域的视频框架 。 该框架是采用了基于深度学习的预测管道 , 能够产生更精确的检测结果和更具视觉效果的天空蒙版 。
- 琴雨聊科技|严屹宽自己理发,杜若溪穿睡衣素颜出镜,2岁女儿扎小辫太可爱
- 收益|魔幻!本来只想图个稳健投资,结果一周跌去一年收益,“踩雷”债基最高年内跌幅近40%,投资者该怎么办?
- 晨日科技捷报!晨日科技成功通过TATF16949质量管理体系认证
- 灵浮网络科技拼多多商家想快速提升自然流量,,怎么做?
- 这是个大科技号iPhone 12专用:紫米20W充电套装,不伤电池性价比高
- 科技圈 搭建全新 SIM 卡开放生态,中国移动产品创新开放合作论坛
- 科技有意思 mini火了,安卓厂商会推出小屏手机吗?,如果iPhone12
- 科技有意思 但iPhone12mini才是手机该有的样子,虽然不喜欢苹果
- 影客网络科技 大尺寸二维单晶材料在铜基底上的可控成长
- 科技数码迷 6S系列被放弃,苹果正在准备iOS15,一代神机iPhone