基于多模态数据的学习投入评估方法分析

张利钊， 杜旭， 李浩， 谢艺乾， 唐野野

华中师范大学人工智能教育学部

摘要：学习投入是学生学习表现的关键影响因素，学习投入的自动识别是被广泛研究的问题。随着信息与传感技术的发展，在真实课堂中采集学生的多模态数据成为可能，如何利用多模态数据提升学习投入识别的准确率是值得研究的问题。文章分析基于外显或内隐信息的单模态模型和基于早期、晚期、混合融合方法的多模态模型，探究：（1）多模态数据相比于单模态数据在识别学习投入状态上的优势；（2）多模态数据融合方法对学习投入状态评估的影响。结果表明：结合外显与内隐信息可以更准确地识别学习投入状态；基于早期或混合融合方式的多模态模型在学习投入状态识别任务上有更佳的表现；融合方式对于最终结果准确性非常重要，不当的融合方式可能引入噪声，降低模型表现。

关键词：学习投入;多模态数据;EEG;身体姿态;多模态数据融合;

基金资助：科技部2021年“社会治理与智慧社会科技支撑”重点专项“大规模学生跨学段成长跟踪研究”（项目编号：2021YFC3340803）；

更多内容见中国知网