感知智能交互：打通人机交互界限

图16.5　教育机器人要真正用于课堂教学，亟须进一步提升智能交互能力。在课堂教学中，教师起着主导的作用，因此，教育机器人需要具备自主感知和主动交互功能。

不同于一般的应用场景，在课堂教学中，教师起着主导作用。机器人要想承担起教师的职责，特别是要承担起学生学习评价的职责，首先需要实现自主感知和主动交互功能，也就是说，能够实时、自主地对课堂氛围、学生状态、教学效果等情况进行感知、分析、预测和判断。在此基础上，才能谈得上进一步调整和优化教学策略，提升教学效果。当然，这是一个庞大的系统工程。本章中，我们只关注其中的一个任务：通过智能光电感知技术来分析学生的听课状态^[1]。图16.5(b)所示的是教育机器人所“看到”的教学场景，目前，已有很多成熟的基于深度学习的目标识别算法，例如著名的YOLO（You Only Look Once）算法^[2]，可以直接提供目标检测结果，如图16.5(b)所示。

(www.xing528.com)

图16.6　教室范围内学生面部检测效果。我们先针对简单场景进行算法尝试，也就是说，小班上课的情况。此时，我们可以稳定地获取（完整的）人脸跟踪序列，

需要指出的是：图16.5(b)中的目标检测结果并不等价于对课堂氛围或学生状态的描述。我们需要对目标检测结果的时序过程进行分析，从而实现对学生听课状态的分析和描述。基于前面两章介绍的数学基础和算法实现，为我们完成这一任务打下了坚实的基础。

我们可以根据人脸检测结果的时间序列，应用隐Markov模型来对每一个学生的听课状态进行评估。本章介绍的模型参数估计方法，使得我们可以不断更新模型参数，进一步提升系统的鲁棒性。基于智能感知的结果，教育机器人在播放教学内容的过程中，可以自主地实现智能交互，例如，当发现某一个同学听课时的专注度较低时，主动提醒同学认真听课，并主动进行问答式的交互，判断是否需要重复讲解前面的哪部分内容。我们先针对较为简单的教学场景进行尝试，也就是说，图16.6中的小班上课的情况。此时，我们可以稳定地获取完整的人脸，并且，人脸的跟踪序列也是完善的。