语义图示与知识类型对多媒体学习的影响研究成果

一、目的与假设

本实验将语义图示的呈现方式与知识类型结合起来，探讨语义图示的呈现方式与知识类型对多媒体学习的影响。研究提出以下假设：（1）语义图示的直接呈现和建构呈现的学习效果之间存在显著差异；（2）语义图示的呈现方式对不同知识类型的作用程度存在显著的差异。

二、实验方法

（一）被试

随机从某大学选取被试，专业不限，自愿参加。参加实验的人数共计76名，实验结束后，均获得一定的报酬。剔除先前知识过高、实验过程中眼动数据采样率小于75%的被试6名，最终进入统计分析的有效被试70人（年龄M=21.70，SD=1.80，其中女生40人，男生30人）。所有被试视力或矫正视力正常，无色盲和色弱，并随机分配到四组，分别是“陈述性知识图示直接呈现组”（18人）、“程序性知识图示直接呈现组”（17人）、“陈述性知识图示构建呈现组”（17人）和“程序性知识图示构建呈现组”（18人）。

（二）实验设计

采取2语义图示呈现方式（直接呈现、构建呈现）×2知识类型（陈述性知识、程序性知识）的两因素完全随机实验设计。本实验的自变量为语义图示呈现方式和知识类型，因变量为（1）测验成绩：学习后的保持测验和迁移测验；（2）主观评定：学习材料感知难度、学习心理努力程度；（3）眼动指标：兴趣区眼动注视指标。无关变量为被试的先前知识水平。

（三）实验材料

1.先前知识问卷

包括被试的性别、年龄、专业、联系方式（手机号码）等人口学信息和对学习材料的先前知识经验调查。“神经系统的介绍”和“光合作用过程”先前知识的评定分别由两部分组成，第一部分是主观评定题，参照了Mayer的多媒体学习实验研究中的先前知识测试方法，共4道题；第二部分是客观问答题。以“神经系统的介绍”为例，第一部分的第一道题为“你对神经系统的相关知识了解多少？”从“非常不了解”到“非常熟悉”五个选项，依次计分为0～4分；第二道题为“高中阶段，您是理科生吗？”，包括“否”“是”两个选项，依次计分为0分、1分；第三道题为“您的大学专业和生物科学相关吗？”，包括“否”“是”两个选项，依次计分为0分、1分；第四道题为“高中阶段，假设生物满分是100分，您的分数一般处于（　）”，包括“低于60分”“60～69分”“70～79分”“80～89分”“90～100分”五个选项，依次计分为0～4分。第二部分的问答题为：“请您写出你所知道关于神经系统的构成、特点、功能等相关知识”，共15个计分点，答对一个计1分。“神经系统的介绍”与“光合作用过程”的先前知识测验类似，第一部分和第二部分的满分均为25分。

2.保持测验和迁移测验

保持测验的目的在于考察被试对学习材料的识记、保持或再认能力。保持测验由10个填空题（10分）和4个判断题（4分）组成，共计14分，保持测验的答案能够直接从材料中获得。迁移测验是考察被试根据学习材料应用到新的情境中解决问题的能力。迁移测验由4个选择题（4分）、1个原理解释题（5分）、1个问题解决题（5分）组成，共计14分。所有测验试题由担任生物课程的专业教师根据材料编制，保证试题的有效性。

3.主观评定量表

同实验1。

4.多媒体学习材料

本实验中的陈述性、程序性知识都是关于生物学科的内容。陈述性知识是“神经系统介绍”，程序性知识是“光合作用过程”，两段文字材料均在470字左右。在参考相关教材的基础上制作出语义图示，并由生物学科的教师修改审定。由于实验采取2语义图示呈现方式（直接呈现、构建呈现）×2知识类型（陈述性知识、程序性知识），需要制作4组不同版本的材料，分别是“陈述性知识图示直接呈现”“程序性知识图示直接呈现组”“陈述性知识图示构建呈现”和“程序性知识图示构建呈现”。直接呈现的图示利用PhotoShop软件制作成图片格式，构建呈现的图示利用Flash软件制作成交互动画格式，分辨率均为1280×1024，背景统一设置白色。需要特别说明的是，构建呈现是利用交互动画，直接在动画中的图示区点击空白处，每一个空白处提供了2个选项，要求学习者通过点击正确的选项完成图示构建。图5-31是四组材料画面的缩略图。

图5-31左上角是“陈述性知识图示直接呈现”、右上角是“程序性知识图示直接呈现”、左下角是“陈述性知识图示构建呈现”、右下角是“程序性知识图示构建呈现”。

（四）实验仪器

同实验1。

图5-31　实验2-2四组多媒体学习材料画面

（五）实验程序

首先，对来参加实验的被试随机分组。根据分组，测量学生的先前知识，先前知识问卷总分为25分，先前知识15分及15分以上的被试记为先前知识经验过高。考虑到被试是通过短信或电话预约来参加实验，因此，对先前知识过高的同学照样参加眼动实验，获得同样的报酬，但结束后该数据不纳入最后的统计分析。

然后，被试坐在眼动仪的机器前，进行眼睛校准。校准完毕，图示直接呈现组的眼动实验的指导语：“亲爱的同学，欢迎您来参加眼动实验。实验中将呈现关于生物方面的知识，请您以自然的速度阅读。当您感觉理解了材料中的内容后，按空格键退出。在阅读过程中，请尽量保持头部不动”，图示构建呈现组的眼动实验的指导语：“亲爱的同学，欢迎您来参加眼动实验。实验中将呈现关于生物方面的知识，请您以自然的速度阅读。在阅读过程中，您需要把图示部分的空白处用鼠标单击构建完整。当您感觉理解了材料中的内容后，按空格键退出。”进入正式实验并学习材料。实验结束后，依次分别完成学习材料感知难度、保持测验、迁移测验和心理努力程度评定四份问卷，完成问卷时间控制在20分钟之内。

（六）数据管理

同实验1。

三、实验结果

（一）后测问卷分析

为检验语义图示的呈现方式与知识类型对多媒体学习的影响，对被试进行学习材料感知难度、保持测验、迁移测验、心理努力程度问卷调查，进行2语义图示呈现方式（直接呈现、构建呈现）×2知识类型（陈述性知识、程序性知识）的两因素完全随机方差分析，其中自变量为语义图示呈现方式和知识类型。保持测验都是客观题，由一位评分者评阅；迁移测验大多是主观题，由二位评分者评阅，最后取二者的平均分，迁移测验评分者的一致性系数为0.89。表5-8是实验2-2被试后测问卷的得分汇总。

表5-8　实验2-2被试后测问卷得分

学习材料感知难度：实验2-2四组不同学习材料感知难度如图5-32所示。

图5-32　实验2-2不同组别的学习材料感知难度

语义图示呈现方式的主效应不显著（F（1，66）=0.167，p=0.684＞0.05）；知识类型的主效应不显著（F（1，66）=0.232，p=0.632＞0.05）；语义图示呈现方式和知识类型的交互作用不显著（F（1，66）=0.000，p=0.989＞0.05）。从均值看，语义图示的构建呈现让被试对学习材料的感知难度反而增加。由于四组难度的均值都在4～5分，表明学习材料的难度中等。

保持测验：实验2-2四组不同学习材料保持测验成绩如图5-33所示。

图5-33　实验2-2不同组别的学习材料保持测验成绩

语义图示的呈现方式主效应不显著（F（1，66）=0.178，p=0.675＞0.05）；知识类型的主效应不显著（F（1，66）=0.142，p=0.707＞0.05）；语义图示呈现方式和知识类型的交互作用不显著（F（1，66）=0.048，p=0.827＞0.05）。

迁移测验：实验2-2四组不同学习材料迁移测验成绩如图5-34所示。

图5-34　实验2-2不同组别的学习材料迁移测验成绩

语义图示呈现方式的主效应非常显著（F（1，66）=10.791，p=0.002＜0.01，η2=0.141），构建呈现的迁移成绩（M=9.38，SD=1.33）显著大于直接呈现（M=8.33，SD=1.37）；知识类型的主效应不显著（F（1，66）=0.021，p=0.887＞0.05）；语义图示呈现方式和知识类型交互作用边缘显著（F（1，66）=3.545，p=0.064＜0.1，η2=0.051）。

简单效应分析：对于陈述性知识，语义图示的直接呈现和构建呈现之间的迁移成绩无显著差异（F（1，66）=0.983，I-J=-0.448，p=0.325＞0.05）；对于程序性知识，语义图示的直接呈现和构建呈现之间的迁移成绩有显著差异（F（1，66）=13.353，I-J=-1.650，p=0.001＜0.01）。

心理努力程度：实验2-2四组不同学习材料心理努力程度如图5-35所示。

语义图示呈现方式的主效应显著（F（1，66）=6.301，p=0.015＜0.05，η2=0.087），语义图示构建呈现学习材料的心理努力程度（M=6.09，SD=0.71）大于语义图示直接呈现（M=5.64，SD=0.76）；知识类型的主效应不显著（F（1，66）=0.102，p=0.750＞0.05）；语义图示呈现方式和知识类型的交互作用不显著（F（1，66）=0.000，p=0.993＞0.05）。由于四组的心理努力均值都大于5分，表明四组被试的心理努力程度都中等以上。

图5-35　实验2-2不同组别的学习材料心理努力程度(www.xing528.com)

（二）兴趣区眼动数据分析

本实验对四组材料的图示兴趣区和文本兴趣区进行了划分，并确保有图组和无图组的文本区面积和图示区面积大小差异不显著。兴趣区的眼动指标有：兴趣区停留时间百分比、兴趣区总注视时间、兴趣区注视点个数、兴趣区平均注视时间。

对各个指标进行2语义图示呈现方式（直接呈现、构建呈现）×2知识类型（陈述性知识、程序性知识）×2兴趣区（图示区、文本区）三因素混合重复测量方差分析，其中，语义图示呈现方式、知识类型是被试间变量，兴趣区是被试内变量。表5-9是实验2-2兴趣区被试眼动数据描述性统计。

表5-9　实验2-2被试在兴趣区的眼动数据描述性统计

兴趣区停留时间百分比：四个实验组不同学习材料兴趣区停留时间百分比如图5-36所示。

图5-36　实验2-2不同组别的学习材料兴趣区停留时间百分比

图示呈现方式的主效应不显著（F（1，66）=0.001，p=0.972＞0.05）；知识类型的主效应不显著（F（1，66）=1.311，p=0.256＞0.05）；图示呈现方式和知识类型的交互效应不显著（F（1，66）=0.709，p=0.403＞0.05）。

兴趣区的主效应极其显著（F（1，66）=46.001，p=0.000＜0.001，η2=0.411），在文本兴趣区停留时间百分比（M=56.13%，SD=13.99%）显著高于图示兴趣区停留时间百分比（M=38.76%，SD=14.24%）；兴趣区和图示呈现方式的交互效应极其显著（F（1，66）=41.634，p=0.000＜0.001，η2=0.387）；兴趣区和知识类型的交互效应极其显著（F（1，66）=15.650，p=0.000＜0.001，η2=0.192）；兴趣区、呈现方式和知识类型三者的交互效应不显著（F（1，66）=0.362，p=0.550＞0.05）。

简单效应分析：（1）对于图示直接呈现方式，文本兴趣区和图示兴趣区在停留时间百分比上存在极其显著差异（F（1，66）=90.156，I-J=0.330，p=0.000＜0.001，η2=0.577）；对于图示构建呈现方式，文本兴趣区和图示兴趣区在停留时间百分比上无显著差异（F（1，66）=0.053，I-J=0.008，p=0.819＞0.05）。（2）对于陈述性知识，文本兴趣区和图示兴趣区在停留时间百分比上存在边缘显著差异（F（1，66）=3.994，I-J=0.070，p=0.050＜0.1，η2=0.057）；对于程序性知识，文本兴趣区和图示兴趣区在停留时间百分比存在极其显著差异（F（1，66）=57.657，I-J=0.268，p=0.000＜0.001，η2=0.466）。

总注视时间（s）：四个实验组不同学习材料兴趣区总注视时间如图5-37所示。

图5-37　实验2-2不同组别的学习材料兴趣区总注视时间（s）

图示呈现方式的主效应不显著（F（1，66）=2.344，p=0.131＞0.05）；知识类型的主效应不显著（F（1，66）=0.098，p=0.755＞0.05）；图示呈现方式和知识类型的交互效应不显著（F（1，66）=0.778，p=0.381＞0.05）。

兴趣区的主效应极其显著（F（1，66）=28.216，p=0.000＜0.001，η2=0.299），在文本兴趣区的总注视时间（M=70.26，SD=19.02）显著高于图示兴趣区注视时间（M=47.51，SD=12.74）；兴趣区和图示呈现方式的交互效应极其显著（F（1，66）=21.023，p=0.000＜0.001，η2=0.242）；兴趣区和知识类型的交互效应非常显著（F（1，66）=8.171，p=0.006＜0.01，η2=0.110）；兴趣区、呈现方式和知识类型三者的交互效应不显著（F（1，66）=0.59，p=0.445＞0.05）。

简单效应分析：（1）对于图示直接呈现方式，文本兴趣区和图示兴趣区在总注视时间上存在极其显著差异（F（1，66）=50.415，I-J=41.363，p=0.000＜0.001，η2=0.433）；对于图示构建呈现方式，文本兴趣区和图示兴趣区在总注视时间上无显著差异（F（1，66）=0.257，I-J=3.038，p=0.614＞0.05）。（2）对于陈述性知识，文本兴趣区和图示兴趣区在总注视时间上存在边缘显著差异（F（1，66）=3.009，I-J=10.254，p=0.087＜0.1，η2=0.044）；对于程序性知识，文本兴趣区和图示兴趣区在总注视时间上存在极其显著差异（F（1，66）=33.378，I-J=34.147，p=0.000＜0.001，η2=0.336）。

注视点个数：四个实验组不同学习材料兴趣区注视点个数如图5-38所示。

图5-38　实验2-2不同组别的学习材料兴趣区注视点个数

图示呈现方式的主效应不显著（F（1，66）=2.533，p=0.116＞0.05）；知识类型的主效应不显著（F（1，66）=0.115，p=0.736＞0.05）；图示呈现方式和知识类型的交互效应不显著（F（1，66）=0.851，p=0.360＞0.05）。

兴趣区的主效应极其显著（F（1，66）=63.370，p=0.000＜0.001，η2=0.490），在文本兴趣区的总注视点个数（M=242.88，SD=61.9）显著高于图示兴趣区注视点个数（M=140.56，SD=37.21）；兴趣区和图示呈现方式的交互效应非常显著（F（1，66）=10.811，p=0.002＜0.01，η2=0.141）；兴趣区和知识类型的交互效应显著（F（1，66）=6.825，p=0.011＜0.05，η2=0.094）；兴趣区、呈现方式和知识类型三者的交互效应不显著（F（1，66）=0.362，p=0.550＞0.05）。

简单效应分析：（1）对于图示直接呈现方式，文本兴趣区和图示兴趣区在总注视点个数存在极其显著差异（F（1，66）=65.125，I-J=142.898，p=0.000＜0.001，η2=0.497）；对于图示构建呈现方式，文本兴趣区和图示兴趣区在总注视点个数显著差异（F（1，66）=10.613，I-J=59.358，p=0.002＜0.05，η2=0.139）。（2）对于陈述性知识，文本兴趣区和图示兴趣区在总注视点个数存在极其显著差异（F（1，66）=14.301，I-J=67.940，p=0.000＜0.001，η2=0.178）；对于程序性知识，文本兴趣区和图示兴趣区在总注视点个数存在极其显著差异（F（1，66）=55.894，I-J=134.316，p=0.000＜0.001，η2=0.459）。

平均注视时间（ms）：四个实验组不同学习材料兴趣区注视点平均注视时间如图5-39所示。

图5-39实验2-2不同组别的学习材料兴趣区注视点平均注视时间（ms）

图示呈现方式的主效应不显著（F（1，66）=0.540，p=0.465＞0.05）；知识类型的主效应不显著（F（1，66）=2.02，p=0.160＞0.05）；图示呈现方式和知识类型的交互效应不显著（F（1，66）=0.868，p=0.355＞0.05）。

兴趣区的主效应极其显著（F（1，66）=63.420，p=0.000＜0.001，η2=0.490），在文本兴趣区的平均注视时间（M=286.91，SD=21.94）显著低于图示兴趣区的平均注视时间（M=339.10，SD=31.92）；兴趣区和图示呈现方式的交互效应非常显著（F（1，66）=28.643，p=0.000＜0.001，η2=0.303）；兴趣区和知识类型的交互效应显著（F（1，66）=3.747，p=0.057＜0.1，η2=0.054）；兴趣区、呈现方式和知识类型三者的交互效应不显著（F（1，66）=1.799，p=0.184＞0.05）。

简单效应分析：（1）对于图示直接呈现方式，文本兴趣区和图示兴趣区在注视点平均注视时间存在边缘显著差异（F（1，66）=3.511，I-J=-17.451，p=0.065＜0.1，η2=0.051）；对于图示构建呈现方式，文本兴趣区和图示兴趣区在总注视点在注视点平均注视时间存在极其显著差异（F（1，66）=86.189，I-J=-88.971，p=0.000＜0.05，η2=0.566）。（2）对于陈述性知识，文本兴趣区和图示兴趣区在注视点平均注视时间存在极其显著差异（F（1，66）=48.998，I-J=-66.144，p=0.000＜0.001，η2=0.426）；对于程序性知识，文本兴趣区和图示兴趣区在注视点平均注视时间存在极其显著差异（F（1，66）=18.169，I-J=-40.278，p=0.000＜0.001，η2=0.216）。

四、讨论

（一）语义图示的呈现方式与知识类型对多媒体学习效果的影响

语义图示的呈现方式对多媒体学习效果的影响：构建呈现组的迁移测验显著高于直接呈现组，构建呈现组与直接呈现组的保持测验无显著差异；构建呈现组的学习材料感知难度、心理努力程度显著高于直接呈现组。

知识类型对多媒体学习效果的影响：陈述性知识组和程序性知识组的学习材料感知难度、保持测验、迁移测验、心理努力程度均无显著差异。

简单效应：语义图示的呈现方式和知识类型对迁移测验有交互影响作用。对于陈述性知识，直接呈现学习材料和构建呈现学习材料之间的迁移成绩无显著差异，对于程序性知识，直接呈现组显著低于构建呈现组。

本实验假设一，语义图示构建呈现的学习效果显著好于直接呈现。本实验的结果是：构建呈现组的迁移成绩好于直接呈现组，而保持测验无显著差异。部分验证假设一。由于构建呈现组需要学习者根据文字材料，通过操作鼠标自主构建正确的图示，因此，学习材料感知难度、心理努力程度反而高于直接呈现组。

本实验假设二，语义图示的呈现方式对不同知识类型的作用程度存在显著差异。本实验的结果是：在保持测验方面，语义图示的呈现方式与知识类型无交互影响作用；在迁移测验方面，对于程序性知识，构建呈现显著高于直接呈现，对于陈述性知识，构建呈现与直接呈现无显著差异。部分验证假设二。对学习者来说，构建语义图示活动是表征认知结构的一种好方法，能够帮助他们快速形成自己的认知结构，从而提高对知识的理解程度，本实验很好地支持了此观点。

（二）语义图示的呈现方式与知识类型对多媒体学习眼动行为的影响

文本兴趣区停留的时间百分比显著大于图示区。对于直接呈现方式，文本兴趣区停留的时间百分比显著大于图示区，而对于构建呈现方式，文本兴趣区停留的时间百分和图示区无显著差异。陈述性知识在文本区占的停留时间比显著低于程序性知识，陈述性知识在图片区占的停留时间比显著高于程序性知识。在同样要求完成图示构建任务下，程序性知识花费时间相对更少、效率相对更高。

文本兴趣区的总注视时间显著大于图示区。对于直接呈现方式，文本兴趣区注视时间显著大于图示区；而对于构建呈现方式，文本兴趣区的注视时间和图示区无显著差异。文本兴趣区的总注视点个数显著大于图示区。在文本兴趣区，直接呈现的总注视点个数和构建呈现无显著差异；在图示兴趣区，直接呈现的总注视点个数显著少于构建呈现。文本兴趣区的平均注视时间显著小于图示区，在文本兴趣区，直接呈现组显著高于构建呈现组，陈述性知识组和程序性知识组无显著差异；在图示兴趣区，直接呈现组显著低于构建呈现组，陈述性知识组边缘显著高于程序性知识组。

本实验发现，图示呈现方式会改变学习者在画面学习中的注意力分配，直接呈现方式主要以文本阅读为主，构建呈现方式在图、文投入注意力的差异不显著。学习者在图示区的平均注视时间大于文本区，表明学习者倾向于通过语义图示的深度加工来理解内容。构建呈现有利于促使学习者投入更多的精力，促进对图示的深度加工，在一定程度上可缓解对文本的过度依赖，但同时却增加了更多的认知负荷。

五、结论

（1）语义图示的构建呈现可显著提高迁移成绩，但在保持测验方面并未发现显著作用。

（2）语义图示对不同知识类型的作用程度存在差异，理解程序性知识比陈述性知识更依赖语义图示构建活动的支持。

（3）构建呈现会改变学习者的阅读模式，在图文阅读中以文为主转向于图、文并重。

（4）构建呈现并没有让学习任务变得更容易，反而会让学习者付出更多的心理努力，这有利于促使学习者对图示的深度加工。

（5）以上（1）～（4）的结论表明，语义图示的呈现方式直接影响到图文融合的效果。