实验7-3:AR视频合成 · 实景放声音

用示例视频或摄像头画面当实景,在画面里点一下,程序用相机视角和地面平面算出那一点在现实中的方位和距离,把声音“锚定”在那里。转动视角时,标记和声音都留在原地;向前走,声音变近变响。这就是 AR 空间音频里的“命中测试”和“空间锚点”。

AR 视图

不开摄像头也能做:用示例视频当实景,或使用虚拟地面网格,用下面的滑块转动视角。手机上开启摄像头后可用陀螺仪转动。

选择音源(再点画面放置)

视角与位置

0°
-20°

音量距离衰减

1.0

AR 画面相机离地 1.4 m,水平视场角 60°;点地面放置,点在地平线以上时按 4 m 放置

音源 0 个 · 最近 — · 虚拟地面

俯视图扇形为当前视野;网格 1 m

—
最近一次命中测试:方位 / 距离
0.0, 0.0 m
你的位置(东, 北)
—
最近音源的距离衰减
滑块
视角来源

命中测试:从相机穿过你点击的像素发出一条射线,求它与地面(高度 0)的交点。低头角度越大、点得越靠下,交点越近。真实 AR 框架(华为 AR Engine、ARCore、ARKit 等)会先用摄像头识别出桌面、地板等平面,再做同样的计算。

空间锚点:音源记录的是“世界坐标”,不是屏幕坐标。你转头时,程序反向旋转听者朝向,所以声音始终从同一个现实方向传来。

本实验的局限:只跟踪转动(3 个自由度),不跟踪你在房间里的真实移动,所以用“前进/后退”按钮模拟走动;摄像头画面只作背景,没有做平面识别。真实 AR 用视觉惯性里程计同时跟踪位置和朝向(6 个自由度)。