实验10-5:多模态交互设计

语音、手势、触摸、注视各有长短:语音适合下达命令,指点适合指定位置。逐个体验每种模态的真实识别过程,最后把“说”和“指”融合起来完成一次操作。

交互模态

各模态的特点

语音:不用手、表达抽象命令快,但难以精确指定位置,且受环境噪声和隐私限制

手势:直观,需要识别算法把轨迹匹配到预设手势

触摸:多点触控能同时表达位移、缩放、旋转

注视:天然表达“我在看哪里”,但眼睛同时用来看和选,容易误触(“米达斯之触”问题)

融合:用一个通道补另一个通道的不足,如语音说动作、手指说对象