实验7-2:360°全景视频 · 头部追踪

360° 全景视频要配全景声:先看全景视频在头显里能有多清楚,再体验声音怎样跟着头部转动。VR 里的声音要“钉”在虚拟世界中:你转头时,声场必须朝反方向转同样的角度。本实验用 Ambisonics(全景声)编码声场,再按头部姿态旋转并解码到耳机,比较开关头部追踪、不同阶数和追踪延迟的效果。请戴耳机。

声源(点一下开关)

头部姿态

0°
0°
0°

渲染设置

10 ms

声场俯视图声源固定在世界坐标中;头像鼻尖为面朝方向;虚线框表示声源在你耳中的相对位置(头部追踪关闭时与真实位置不同)

0°, 0°, 0°
头部姿态:偏航、俯仰、翻滚
—
此刻在你正前方的声源(相对方位)
16 路
全景声通道数 (N+1)²
10 ms
动作到声音延迟(建议 < 20 ms)

全景声(Ambisonics):不记录“每个扬声器放什么”,而是把整个声场分解成球谐函数分量。1 阶用 4 个通道(全向 + 前后、左右、上下),3 阶用 16 个通道,阶数越高方向越精确。播放时可以按任意头部姿态旋转声场,再解码到耳机或任意扬声器布局,所以 VR 视频和游戏普遍采用。

头部追踪:VR 头显用陀螺仪和摄像头测量头部姿态,每帧把声场反向旋转。关闭追踪后,声音“粘”在头上:你向右转头,原本在前方的声音仍在前方,这正是普通耳机听音乐的感觉。

延迟:从转头到声音方向跟上的时间超过约 20~50 毫秒,声音会“拖着”跑,容易引起不适。本实验的“追踪延迟”人为把姿态推迟送入渲染器,用来体会这一点。