0分0秒

多模态交互设计

进阶层章内定位综合应用 建议时长8 分钟 产业场景智能交互与多模态交互 设备麦克风可选(没有时直接输入指令文字)
下载

仿真实验区

开始实验并完成课前步骤后,这里的操作计入成绩

实验说明

实验五:多模态交互设计

探索超越传统图形界面的交互方式,学习语音、手势、触觉等多模态交互技术。理解自然用户界面(NUI)的设计原则。

拓展交互设计的创新视野。

达成要求:能针对语音、手势、触摸、注视多通道输入设定800毫秒停留时间并执行文字指令,完成多模态融合方案设计并验证各通道识别与融合结果。

  • 了解多模态交互的概念与分类
  • 学习语音交互设计原则
  • 掌握手势识别与交互设计
  • 体验触觉反馈(Haptic Feedback)
  • 实践AR/VR交互设计
  • 探索脑机接口(BCI)前沿技术
  • 知识目标: 掌握多模态交互的原理与设计
  • 能力目标: 培养创新交互方式设计能力
  • 素养目标: 理解技术演进对交互范式的影响
  • 语音用户界面(VUI)设计
  • 手势识别技术
  • 触觉反馈设计
  • 空间交互设计
  • 多模态融合策略
  • 自然用户界面(NUI)

漫话数媒

开始实验后,课前的“AI 导学”会在这里生成奇思、妙想的对话。