交互模态
语音
真实语音识别手势
单笔画识别触摸
拖动、双指缩放旋转注视
停留时间选择多通道融合
指向 + 语音:“删除这个”各模态的特点
语音:不用手、表达抽象命令快,但难以精确指定位置,且受环境噪声和隐私限制
手势:直观,需要识别算法把轨迹匹配到预设手势
触摸:多点触控能同时表达位移、缩放、旋转
注视:天然表达“我在看哪里”,但眼睛同时用来看和选,容易误触(“米达斯之触”问题)
融合:用一个通道补另一个通道的不足,如语音说动作、手指说对象
语音、手势、触摸、注视各有长短:语音适合下达命令,指点适合指定位置。逐个体验每种模态的真实识别过程,最后把“说”和“指”融合起来完成一次操作。