实验4-3:增强现实交互

在真实画面(摄像头或示例照片)上叠加三维物体。先让虚拟地面网格与画面中的地面对齐(相当于 AR 的平面检测与相机位姿估计),再点击地面放置物体;系统从画面中估算环境光的亮度和色温,让虚拟物体的光照与实景一致。

1. 真实画面

2. 对齐地面(相机位姿)

3. 放置物体(点击地面)

拖动物体可移动,滚轮旋转,右键删除。

4. 光照估计

真实画面

技术原理

平面检测与位姿:手机 AR(华为 AR Engine、ARKit、ARCore 等)通过摄像头特征点和陀螺仪实时估计相机的高度、朝向,并找出地面、桌面等平面。本实验用滑块手动标定这些参数,原理相同:知道了相机在哪、朝哪,屏幕上的一个点就能反算成地面上的一个三维位置(射线与平面求交)。

光照估计:把画面的平均亮度和偏色转换成虚拟环境光的强度与颜色。关掉估计后,物体在暗场景里会显得“发光”、不真实。

遮挡与阴影:透明的“阴影接收面”只显示虚拟物体投下的影子,让物体看起来真正落在地面上。

AR、VR、MR 对比

特性 AR增强现实 VR虚拟现实 MR混合现实
沉浸程度 部分沉浸 完全沉浸 高度沉浸
设备类型 手机、AR眼镜 VR头显 MR头显
视觉体验 虚实叠加 纯虚拟环境 虚实融合
应用场景 导航、教育、营销 游戏、培训、展示 工业、医疗、协作
移动性 高 低 中
成本 较低 中等 较高
代表产品 华为 AR Engine、ARKit、ARCore PICO、Quest、PSVR HoloLens、Magic Leap