
12月13日至14日,第20届虚拟现实领域连续体及其应用国际会议(20th International Conference on Virtual Reality Continuum and its Applications,VRCAI 2025)在中国澳门举办。软件学院杨承磊教授、盖伟副教授、王宇博士研究生参加会议并汇报了题为“Practice-Along-Watching in Panoramic VR: A Novel Human-AI Collaboration Genre for Demonstration-Based Training”的论文成果。王宇为论文第一作者,盖伟为论文通讯作者,山东大学为论文第一完成单位。该论文被评为最佳学生论文。

本研究提出了一种名为Practice-Along-Watching(PAW)的新型虚拟现实学习模式,创新性地将全景视频示范、虚拟现实交互操作与大语言模型(LLM)智能代理相结合,突破了传统“先观看、后练习”或单纯虚拟练习模式在互动性与指导性方面的局限。学习者可在沉浸式虚拟环境中一边观看专家示范,一边同步进行操作练习,显著提升了学习连贯性与参与感。

在此基础上,研究进一步引入具备教学能力的LLM智能代理,对学习者的操作过程进行实时分析,并提供个性化、情境化的指导与反馈,有效减轻了学习过程中的认知负担。团队以茶艺学习为应用场景构建了完整的系统原型,并通过用户实验验证了该方法在可用性、学习体验和学习效果方面的优势。该研究为虚拟现实示范式训练提供了一种可扩展、智能化的新范式,对文化技能学习、职业技能培训等领域具有重要的应用价值,也展示了人机协同与人工智能赋能沉浸式学习的广阔前景。
VRCAI是由ACM SIGGRAPH赞助的重要国际学术会议,聚焦虚拟现实(VR)、增强现实(AR)、混合现实(MR)等虚拟现实连续体技术及其在科研、产业与艺术中的最新创新与应用。该会议自 2002 年创办以来,一直是全球虚拟现实研究者、开发者和实践者交流最新成果的重要平台。
(文/图:盖伟 责任编辑:武蕾)