表情與心跳的跨模態“對話”

更新時間：2026-05-18

點擊次數：142

游戲化學習環境通過游戲機制設計（如美學、敘事、激勵）來激發有利于學習的情感體驗。大量研究發現，相比傳統教育方法，游戲化學習能夠提升學習效果、促進更積極的情緒狀態并增強學習動機。

然而，游戲化學習的效果因人而異，這可能與過程中發生的復雜情緒過程有關。

為了更全面、更準確地測量和建模情緒，本文研究采用多模態方法分析了游戲化學習過程中面部表情與心率變異性之間的同步性，并評估了這種同步性與知識獲得和學習增益的關系，為游戲化學習環境的設計和優化提供了科學依據（Cloude et al., 2024）。

游戲化學習中的情緒

隨著教育技術的不斷發展，游戲化學習（Game-Based Learning, GBL）作為一種新興的教學模式逐漸受到關注。它通過游戲機制（如美學、敘事、激勵機制）設計，旨在創造引人入勝且情感豐富的學習體驗，從而促進學習效果。多項研究表明，相較于傳統教育方法，能夠提高學生的學業成績、積極情緒狀態和學習動機。

情緒在學習過程中扮演著重要角色，既是學習的催化劑，也可能成為障礙。控制價值理論（Control-Value Theory, CVT）指出，情緒通過影響動機過程和認知資源（如注意力、記憶、問題解決）來調節學習效果。情緒狀態是多維度的，由心理生理、行為、表達、主觀和認知五個成分的復雜交互作用形成。然而，傳統研究方法往往依賴于單一數據通道（如主觀調查或日志文件），難以全面捕捉情緒的多維度特性。

使用多模態方法分析情緒的多維性

非線性動力系統理論（Non-linear Dynamical Systems, NLDS）提供了一種研究復雜系統中多個成分如何相互作用并形成緊急狀態的方法。該理論認為，系統成分隨時間變化并相互作用，產生更高層次的緊急行為或狀態。在教育研究中，NLDS方法已被用于研究理解、協作學習和情緒模仿等領域。通過結合NLDS理論和情緒成分過程模型，可以更全面地理解情緒的多維度特性及其對學習的影響。

盡管游戲化學習在提高學習效果方面展現出潛力，但其有效性在不同學習者群體中存在差異。因此，為了探究面部表情與心率變異性（HRV）等多情緒成分之間的同步性及其對游戲化學習成果的影響，具體研究問題包括：

游戲化學習后，學習者的知識評估分數是否存在差異？
游戲化學習過程中，面部表情與HRV如何同步？
面部表情與HRV的同步性與知識獲取（前/后）和學習增益之間是否存在關系？

如何捕捉表情與心跳的“對話"？

實驗共招募了81名被試，平均年齡為26歲，性別分布均衡，最終納入分析的為58名。

采用一款名為Antidote 的電子游戲作為游戲化學習環境。被試到達實驗室后完成前測。隨后，佩戴BioNomadix無線光電容積脈搏波（PPG）和皮膚電活動（EDA）放大器，以記錄心率和皮膚電反應。游戲在平板上進行，持續1小時，期間視頻攝像頭記錄被試的面部表情。游戲結束后立即完成后測，并靜坐1分鐘以記錄生理基線。

其中，使用諾達思的行為觀察記錄分析系統（The Observer XT）同步視頻、音頻、屏幕記錄和生理數據。使用面部表情分析系統（FaceReader）對視頻記錄中的面部表情進行分類和強度評分（圖1）。系統基于深度神經網絡（DNNs）識別468個面部標志點，并根據特定配置分類六種基本情緒（憤怒、恐懼、厭惡、快樂、悲傷、驚訝）和中性表情。

面部表情分析系統 (FaceReader)

面部表情分析系統是用于自動分析面部表情的可靠的專業軟件，可以識別六個基本情緒：快樂，悲傷，憤怒，驚訝，害怕和EX，也可以識別“中立"狀態并識別“蔑視"表情。除此之外，系統還可以提供情感態度分析（感興趣，困惑和無聊等），心率，視線方向，效價和喚醒度，個人特征（如性別，年齡）等數據。無論您的測試參與者是嬰兒，兒童，成人還是老年人，面部表情分析系統都會根據您的需要，調整至適合的分析模型。

知識評估包括18道題目（4道開放題和14道選擇題），基于游戲10級的內容創建。學習增益通過標準化增益方程量化，基于前后測分數變化計算。

使用交叉小波變換（XWT）分析面部表情和HRV時間序列在時間和頻率上的同步性。通過計算共同功率、總同步點和平均相對相位等指標，評估兩個信號之間的同步程度和相位關系（圖2）。

中性表情與心率的同步性ZQ

對知識評估分數分析結果顯示，游戲化學習后被試的知識評估分數顯著提高，且GBL對獲得微生物學知識有顯著（但較小）的影響。這一發現支持了假設，即游戲化學習對知識獲取有積極影響。研究結果與先前的研究一致，表明游戲化學習通過創造引人入勝且情感豐富的學習體驗，能夠促進學習效果。然而，本研究發現學習成果在性別之間無顯著差異，這與某些領域（如數學）中觀察到的性別差異形成對比，可能歸因于研究領域的不同。

XWT結果顯示，中性表情與HRV之間的同步性最高，其次是憤怒和快樂，恐懼ZD。這可能是因為當被試處于中性狀態時，會更專注于任務內容，表現出較高的HRV，表明身體能夠有效調節應激反應并恢復平衡。此外，結果發現所有面部表情與HRV之間的平均相位差為0度，表明信號之間存在同相關系。這一發現支持了成分過程模型的觀點，即多個情緒組分同時相互作用和同步，從而產生情緒狀態。

分析同步性與學習成果的關系，結果顯示盡管存在一些邊際顯著的相關性，如后測分數與厭惡情緒和HRV之間的平均功率成正相關，但在校正后，這些相關性不再顯著。同樣，學習增益與中性表情和HRV之間的平均功率之間也成邊際顯著的負相關，但調整后亦不顯著。總體而言，面部表情與HRV之間的同步性并未顯著影響知識獲取和學習增益。這一結果并不支持假設。

這一發現可能歸因于多種因素。比如除中性情緒外，其他情緒表情的強度普遍較低，從而限制了檢測同步性與學習結果關系的能力。其次，研究未針對游戲中的不同元素（如閱讀百科全書與應用知識）分析情緒成分，可能掩蓋了特定游戲交互對情緒和學習的影響。

多模態方法推進游戲化學習設計

本研究采用多模態的方法探討了游戲化學習環境中面部表情與心率變異性之間的同步性及其對學習成果的影響。盡管游戲化學習顯著提高了被試的知識水平，但面部表情與HRV之間的同步性并未顯著影響學習成果。研究結果為游戲化學習環境的設計和優化提供了科學依據。

未來研究應探索構建情感響應型游戲化學習環境的可能性，通過定制游戲機制（如內容、場景）以適應特定情緒狀態，從而優化學習成果。這需要跨學科合作和多模態方法的應用，以推動游戲化學習領域的進一步發展。

參考文獻

Cloude, E. B., Dindar, M., Ninaus, M., & Kiili, K. (2024). Synchrony Between Facial Expressions and Heart Rate Variability During Game-Based Learning: Insights from Cross-Wavelet Transformation. In European Conference on Technology Enhanced Learning (pp. 90-104).

歡迎關注我們的公眾號，了解更多精彩內容