网易首页 > 网易数码 > 正文

Adobe新技术可将全景视频变成6自由度视频

0
分享至
绝大部分的360度视频都不是3D拍摄的,更不用说6自由度移动。

(原标题:厉害了!Adobe新技术可将全景视频变成6自由度视频)

很早大家就发现,360度视频和真正的 VR 相比差一些,于是就有很文章站出来说这些都是“伪 VR”。

他们给出的理由是,绝大部分的360 度视频都不是 3D 拍摄的,更不用说 6 自由度移动。

也正是看出了这一点,包括 Facebook、索尼、英特尔在内在 VR 领先公司都在尝试 6 自由度 VR 视频。但他们通常需要用到好几个高端相机组合拍摄,产生巨大的数据量,并由于运算量太大还得在云端剪辑。

不过 Adobe 或许可以改变这一点,他们刚刚展示了一项新技术,可以将平面的 360 度视频变成 6 自由度视频。如此,“伪 VR”也可以变“真 VR”了。

Adobe 的这项研究由该公司的首席研究员在本周的 National Association of Broadcasters Show(国家广播协会展)上发布。最初由国外媒体 Variety 独家报道。

所谓的 360 度视频变 6 自由度视频,从用户体验上来看,是指之前用户只能在 360 度视频里转动头部看四周,6 自由度则可以让用户不仅能转动头,还能在视频里上下前后左右地移动头部,就像是在真实世界里看东西一样。

那么 Adobe 是怎么做到的呢?

据该公司的研究员介绍,他们使用了一种新的扭曲算法(warping algorithm),这种算法可以在固定视点的视频里模拟出新的视点,同时保持 120 fps的帧率。

简单来说就是,普通的 360 度视频只有一个视点,就是相机的位置,而要想变 6 自由度,就得在这个位置周围创造新的视点,这样你才能前后左右移动,而周围的画面不动。

实际上,这一新算法不仅可以用在创造 6 自由度体验上,还能用于视频防抖,让一些手持拍摄时抖动造成的动态模糊画面更平滑。

不过,实现这些功能有一个条件,那就是相机必须得动,毕竟只在一个点拍摄是算不出精确深度的。

在 Adobe 发布的研究论文里,研究员介绍了这项功能实现的基本流程:

首先他们采用了一个运动恢复结构(structure-from-motion,SfM)算法来计算相机的运动并创造一个基本的三维重建架构。(雷锋网注:运动恢复结构是基于计算机视觉的三维重建方法之一)

用这个方法推测出三维几何值后,他们把视频的每一帧都映射(map)到一个六面的球体上,然后针对每个面运行标准的计算机视觉追踪算法。

对于将画面映射到六面体时不可避免会产生的失真情况,他们使用大于 45 度的视场角(FOV)产生画面重叠区域来解决。下面这个视频展示了算法实际运行的情况。

虽然很厉害,但这技术也不是万能的。除了要求相机要动外,三维重建的质量也取决于合成视点的位置与初始视点位置的距离。就是说,虽然能产生 6 自由度的体验,但如果你移动得太快太远,效果就会打比较大的折扣。

此外,有些自然现象也会带来问题,比如画面中遇到一大片没什么纹理的区域,遮挡情况以及光照的改变,它们可能会在重建点的画面中造成严重的噪点,以及在 3D 效果里带来“黑洞”(holes)效果。

在固定点的画面中,也会看到一些非静态物体的扭曲,这是由于算法试图将合成的帧和初始帧融合在一起。

俗话说,后期再厉害,不如把素材拍得好一点。所以很多公司直接用光场相机来拍摄 6 自由度视频,比如 HypeVR 带激光雷达(LiDAR)的 6K/60 FPS 相机,还有雷锋网之前报道过的 Lytro 那巨型的 Immerge 相机。使用这些相机显然可以拍出更高质量的 3D 效果。

不过,话又说回来,这些相机全都是又大又贵的定制化产品,普通人一般用不起。所以,雷锋网认为,Adobe 的这套技术就算不完美,也给了普通用户做出 6 自由度视频的希望。

相关推荐
热点推荐
湖南一经开区党工委原书记受审,当庭认罪!

湖南一经开区党工委原书记受审,当庭认罪!

大爱三湘
2024-03-28 23:33:00
樱井麻美:银行助手到影视女神,她如何征服Premium公司?

樱井麻美:银行助手到影视女神,她如何征服Premium公司?

衷情苦
2024-02-15 20:33:24
冉莹颖自曝与邹市明分床3年!原因有4点,评论区沦陷

冉莹颖自曝与邹市明分床3年!原因有4点,评论区沦陷

娱乐圈酸柠檬
2024-03-29 03:27:23
限量 5000 台的小米汽车 SU7 创始版已售罄,4 月 3 日交付

限量 5000 台的小米汽车 SU7 创始版已售罄,4 月 3 日交付

IT之家
2024-03-28 22:36:09
《人世间》郝冬梅至死不知,40岁就是副厅级干部的丈夫周秉义,在国外和真爱亲密拥抱

《人世间》郝冬梅至死不知,40岁就是副厅级干部的丈夫周秉义,在国外和真爱亲密拥抱

娱乐圈酸柠檬
2024-03-25 19:57:01
乔治:我的合同一签,啥事都解决了!哈登后悔啊,自作自受

乔治:我的合同一签,啥事都解决了!哈登后悔啊,自作自受

皮皮文章J
2024-03-28 15:35:57
专家:梅根就像是凯特的“另一面”,生怕别人不知道她付出过什么

专家:梅根就像是凯特的“另一面”,生怕别人不知道她付出过什么

娱乐圈酸柠檬
2024-03-29 07:05:20
社保缴满15年,办理退休却被告知不能领养老金,保费白交了?

社保缴满15年,办理退休却被告知不能领养老金,保费白交了?

猫小姐Coco
2024-03-27 08:18:39
阿里巴巴,突然宣布

阿里巴巴,突然宣布

现代物流报
2024-03-28 09:35:39
突传噩耗!商界大佬病逝

突传噩耗!商界大佬病逝

21世纪经济报道
2024-03-28 08:55:58
1979年,去世3年的张闻天补办追悼会,陈云却突然反悔:我不致悼词

1979年,去世3年的张闻天补办追悼会,陈云却突然反悔:我不致悼词

帝哥说史
2024-03-28 06:45:03
谁动了我的黄金 | 深度聚焦

谁动了我的黄金 | 深度聚焦

北青深一度
2024-03-27 16:05:52
肺病是“拖”出来的吗?医生:双腿出现三种异常,及时进行CT检查

肺病是“拖”出来的吗?医生:双腿出现三种异常,及时进行CT检查

铠甲护士
2024-03-27 16:47:35
大学生借书时发现67年前书签!“谜底”解开了

大学生借书时发现67年前书签!“谜底”解开了

新民晚报
2024-03-26 21:12:11
菲律宾持续在南海挑衅中国,29国站出来力挺马科斯,菲防长叫嚣!

菲律宾持续在南海挑衅中国,29国站出来力挺马科斯,菲防长叫嚣!

老李聊军事
2024-03-27 20:47:42
不是说龙年新生儿有1000万吗?妇产科却迎来关停潮,冲上了热搜

不是说龙年新生儿有1000万吗?妇产科却迎来关停潮,冲上了热搜

户外钓鱼哥阿勇
2024-03-28 23:03:21
张怡宁vs王楠:一个双圈大满贯,一个世锦赛三连冠,谁实力更强?

张怡宁vs王楠:一个双圈大满贯,一个世锦赛三连冠,谁实力更强?

凤幻洋
2024-03-28 12:08:56
华中农大回应全年节假日不调休:避免连续7天或6天上班上学情况

华中农大回应全年节假日不调休:避免连续7天或6天上班上学情况

极目新闻
2024-03-28 20:55:47
54岁“武松”丁海峰曝光:在美国树林砍柴烤肉,美国豪宅尽显气派

54岁“武松”丁海峰曝光:在美国树林砍柴烤肉,美国豪宅尽显气派

黄律议法
2024-03-23 17:50:03
很多人难以想象的场景!网传某地劳务市场,天没亮就挤满待工的人

很多人难以想象的场景!网传某地劳务市场,天没亮就挤满待工的人

可达鸭面面观
2024-03-26 23:55:31
2024-03-29 07:54:44

头条要闻

十亿富豪家庭上演股权争夺战 二女儿称被亲哥送拘留所

头条要闻

十亿富豪家庭上演股权争夺战 二女儿称被亲哥送拘留所

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

旅游
家居
时尚
手机
亲子

旅游要闻

在广西不洗澡,是不是犯了天条啊?

家居要闻

邂逅浪漫,注入柔性的法式基因

2024的流行色,一定离不开安可拉红

手机要闻

安兔兔CPU跑分38万!骁龙8s Gen3又要干翻全场?

亲子要闻

懂事的让人心疼!3岁男孩主动帮父母收拾夜宵摊

无障碍浏览 进入关怀版
×