多媒体学习的认知体系

第14卷第3期　2008年6月开放教育研究

OpenEducationResearchVol.14,No.3Jun12008　

多媒体学习的认知体系

斯蒂芬・K・里德

3

(圣地亚哥州立大学数学与科学教育研究中心,美国)

　　【摘要】　本文对主要的认知体系进行了概述,据此可以形成多媒体教学设计的理论基础。这些认知体系包括对记忆存储、记忆编码以及认知操作的描述。与多媒体学习相关的认知体系有Paivio的双重编码理论、

Baddeley的工作记忆模型、Engelkamp的多模块理论、Sweller的认知负荷理论、Mayer的多媒体学习理论以及Na2than的动画理论。本文重点讨论传统研究和教学应用之间的交互作用,、减

少干扰、降低认知负荷以及加强理解等方面。得出的初步结论是:虽然各自有所侧重共性;这些模型中缺乏对学习者多元编码整合作用的研究;;动作必须有意义才能有效果;【关键词】　多媒体学习;短时记忆;长时记忆【中图分类号】G442　　　【】A】100722179(2008)0320028209

　　者提出了挑战:。本文的目的就在于对可以构成多媒体学习理论基础的认知体系进行概述。此处,多媒体意为多种不同方式的文字和图片组合。文字可以是书面的也可以是口头的,可以是强调它们的语音也可以强调语义方面。图片可以由静止的物体或图表所组成,也可以由可操作的物体或动画所组成。

本文所介绍的六种认知体系包括对记忆存储、记忆编码以及认知操作等一系列的描述,但是不包括具体的计算模型。其中三个理论主要根据传统的实验室研究进行评价,包括Paivio的双重编码理论、Baddeley的工作记忆模型、En2

gelkamp的多模块理论。另外三个则是根据教学环境进行评

　　这六种理论并不相互冲突,只是各自侧重于多媒体学习的不同方面。表一对这些理论进行了比较,并根据个人的观点对其侧重点进行了罗列。表一中没有标识但需要补充的一个维度是,行为表现是否可以通过推理或回想任务进行测量。之所以没有将此维度纳入是因为它与认知体系强调短时记忆(STM)还是长时记忆(LTM)有重叠。推理主要在

STM任务中研究,而回想则主要在LTM任务中研究。

在对这些理论体系分别描述之后,我将通过它们来说明采用多元编码记忆的好处。最后,我以讨论五个需要继续探究的问题对全文进行总结。

多元模式理论

(一)Paivio的双重编码理论

Paivio的双重编码理论为其后的认知体系提供了重要的

价,包括Sweller的认知负荷理论、Mayer的多媒体学习理论,以及Nathan的动画理论。

表一　多媒体学习的认识理论体系

理论提出者

Paivio

理论基础,因为该理论对于信息的言语编码和视觉编码进行了区分。视觉表象的研究在华生(1924)的《行为主义》一书

贡献

双重编码理论工作记忆模型多模块理论认知负荷理论多媒体设计原则建构反馈

典型输入形式

词汇图片

词汇

空间知觉材料动作短语数学问题图表科技文章动画文字问题动画

编码方式

语义联想视觉编码语音

视觉/空间运动程序语义概念图式建构图式建构言语模型图片模型问题模型情境模型

记忆存储

长时记忆短时记忆长时记忆短时记忆短时/长时记忆短时记忆

发表后曾长期被忽视,直至Paivio(1969)恢复了对表象的研究,并将其作为一个重要的研究课题。PaivioF认为,在学习实验中对材料进行精细加工并重组的过程中,存在两种主要的加工方式。一种加工方式强调言语联想。一个词语,如自由,可以产生很多使其区别于其他单词的联想。另一种加工方式是产生一个视觉表象来代表一幅图片或一个单词。

Paivio认为,具体-抽象维度在是否易于形成表象的过程中

BaddeleyEngelkamp

Sweller

起决定性作用。在这一连续体中最具体的就是图片,因为图片本身可以直接作为表象进行记忆而无需人们另外生成。图片往往比具体的词语有更好的记忆效果,而具体词语又比抽象词语有更好的记忆效果。

Mayer

Nathan

3

(EducationalPsychologist)第41卷第2期872本文英文版发表在《教育心理学家》98页,经作者本人授权翻译成中文。

如果视觉表象和言语联想是精细加工的两种主要方式,那么,是否其中一种会比另一种更有效?Paivio及其同事发现,词语的表象比联想具有更可靠的预测性。高表象的词比低表象的词容易学,但是,高联想的词并不一定就比低联想的词容易学。(Paivio,1969)根据Paivio的理论,表象之所以有效,是因为它提供了一个独立于言语编码的二级记忆编码。(Paivio,1975)Paivio的理论被称之为双重编码理论,因为该理论提出了两个独立的记忆编码,而且每种编码模型都对回忆产生影响。采用两种记忆编码回忆一个项目比仅用一种编码方式进行回忆有更多的机会记住该项目。

需要注意的是,双重编码理论并没有对言语和视觉编码进行整合,因为,这两种编码模型只有在至少部分独立的情况下才会比一种编码方式更好。然而,在学习材料的过程中,整合还是会发生。双重编码理论最初是通过配对-联想

)学习进行阐述的。该实验要求被试通过刺激词(如“角落”)。能够将刺激词和反应词结合在一起回忆反应词(如“信”

理口语信息的语音回路;保持和处理视觉和空间信息的视觉空间模板;负责选择策略和整合信息的中央执行器。具体参见图1

。

的交互式的视觉表象(如形成“箱”的表象)对学习最有效。(Marschark例。在这个实验中,服外语词汇的抽象性。和Raugh(1975)的研究证实了该方法的有效性。关键词法将外语词汇的学习分成两个阶段。第一阶段是使用一个英语单词联想外语单词,关键词就是发音类似于外语单词一部分的英语单词。第二阶段是通过英语翻译形成关键词的心理表象。例如,俄文词语中,建筑物是zdanie,这个发音有点类似于zdawn2yeh,重音在第一个音节。将dawn作为关键词,我们可以想象黎明粉红色的光被建筑物的玻璃所反射。一个好的关键词应该是:发音尽可能像外语单词的一部分;和其他关键词不同;容易与其英文翻译之间形成交互式的表象。

Atkinson和Raugh(1975)研究中的学生在为期三天的时

该模型被应用于很多不同的任务来研究这三部分是如何执行任务的,比如恢复象棋棋盘上棋子位置的任务(Bad2

deley,1992)。当棋手们试图记住棋子在棋盘上的位置时,

要求他们同时完成一个二级任务,目的是为了限制他们使用该模型中的一些特定部分。为了限制语音回路的使用,主试要求被试不停地重复一个单词;为了限制视空间模板的使用,要求被试以预先设定的方式敲击一系列键;为了限制中央执行器的使用,要求被试按照每秒一个字母的频率随机生成字母。随机生成字母的任务要求被试决定哪个字母是接下去要说的,这就限制了他们采用策略将棋子位置通过编码存入记忆系统的能力的发挥。

该研究结果表明,限制语言对于棋手恢复棋盘的能力没有影响,但是限制视觉和空间加工和要求被试随机生成字母的任务对他们恢复棋盘的作业产生了显著负面影响。这些结果说明,言语编码在此任务中并没有起重要作用,但是,视空间模板和中央执行器对于棋子位置的记忆有重要作用。其他研究也证实,简单地数棋盘上棋子的数目,或者决定如何移动棋子的任务,会受干扰视觉和空间加工的二级任务的影响,但不会受禁止默读的二级任务的影响(Saariluoma,

1992)。

Baddeley和Hitch(1974)模型的局限性在于没有提供与

间内学习120个俄文单词。关键词组的学生最后有72%的正确翻译率,而控制组只有46%的正确率。这个区别具有特殊的意义,俄语之所以被选用为关键词法的特殊材料就是因为大部分俄语单词的发音和英语中的发音是不相同的。该发现从而证实了使用不同记忆编码(语音、语意、视觉)方式进行教学的有效性。

(二)Baddeley的工作记忆模型

由Baddeley和Hitch(1974)最早提出的工作记忆模型同样对言语和视觉编码进行了区分。但是,该理论中的言语编码强调的是语音信息而不是Paivio双重编码理论中所强调的语义信息。这并不奇怪,因为LTM理论,像Paivio的理论,往往注重语义编码,而STM理论,如Baddeley的理论,则更加重视语音编码。(Craik&Lockhart,1972)短时记忆的信息保持过程中,除了语音编码有重要作用外,语音学习还要求学习单词的发音。(Baddeley,Gathercole,&Papagno,1998)

Baddely和Hitch的模型由三个部分组成:负责保持和处

多媒体学习紧密相关的整合视觉和言语编码的方式。无论是Paivio(1969)的理论还是Baddeley和Hitch(1974)的模型,均更适合于两种编码方式独立作用的情况。如图1所示,在视空间模板和语音回路之间设置中央执行器并不是偶然的,因为一开始,Baddeley和Hitch就设想中央执行器是一个可

以将视觉和言语编码综合在一起的存储系统。然而,对于使用中央执行器控制注意的过多强调使得该模型无法解释人们是如何将不同形态的信息结合在一起的。

出于这个原因,Baddeley(2001)提出了一个修正模型,该模型包括了第四个组成部分:情境缓冲器(图2)。情境缓冲器是一个存储系统,可以将不同形态的记忆编码整合到一起,如根据言语描述,在意识中形成视觉地图。引入该新部件的目的是将其作为一个容量有限的存储器,可以将来自视空间模板的信息和来自语音回路的信息整合到一起,形成多元编码。另外一个改变就是纳入了STM来增加对LTM交互作用的理解。例如,Baddeley和Andrade(2000)在当要求被试形成一本小说的视觉表象时发现了视空间模板在工作记忆中使用的证据。而当被试被要求形成他们所熟悉的场景的表象时,如当地一个超市的表象,LTM变得更加重要。

人们可能质疑,修正后的模型是否给予情境信息过分的关注,像图2中显示的那样,有情境缓冲器,还有情境长时记忆。Tulving和Thomson(1973)清楚为什么Baddeley,一。不过,不管是对多元编码整合的强调还是对STM和LTM交互作用的强调,这都使得Baddeley修正后的工作记忆模型与多媒体学习关系更加密切。

(三)Engelkamp的多模块理论

图3　Engelkamp的多模块理论

才能执行该命令。(Steffens,Buchner,&Wender,2003)例如,。这,尽管在自由回忆过程中,,。(Koriat&Pearl2

man2Avnion,2003)表演短语“给汽车打蜡”激活了动作意群(如“),但同时也还有概念意群的证据在伤口上涂上药膏”()。动作的语义加工过程同样在一个范式“将油倒入引擎”

中得以证实。该实验中,被试只需要伸缩食指按一个反应键,结果显示了动作和句子之间的一致性,即当手指的运动

)所需方向与动作短语一致时(如,朝向身体与“打开抽屉”

的反应时短于两者不相容的情况。(Glenberg&Kaschak,

2002)

之前的两个体系主要关注词汇和图片的交互作用,但是并没有将动作考虑到设计中。动作在建构中所起的作用一直被研究所忽视,直到最近才在认知科学家中引起较大的兴趣。由Engelkamp(1998)在他《动作的记忆》一书中提出的模块理论为讨论近来的一些问题提供了理论框架。

Engelkamp通过多模块理论来解释自己及其同事过去十

教学理论

Paivio、Baddeley以及Engelkamp提出的理论对教学有很

大的启发。比如,Baddeley假设工作记忆的容量是有限的,这对于多媒体学习以及其他教学都是有重要意义的。Swel2

ler发展了工作记忆理论容量有限性的教学启示,并提出了

年来开展的实证研究。典型的实验是:向被试呈现12-48个动作短语,如“点头”或“弯曲电线”,随后让被试进行自由回忆。言语任务只需要简单地听这些短语,而自我表演任务则要求通过想象的或实际的对象来表演这些短语。表演的优点在很多不同的情况下都能观察到:短词组与长词组相比时;单一词组和复合词组相比时;真实对象和假想对象相比时。(Engelkamp,1998)

如图3所示的多模块理论被用来解释一些发现,这些发现均来自自由回忆范式中衍生出来的很多变式。该理论在两个特定形态的输入系统和两个特定形态的输出系统间做了区分。两个输入系统由视觉系统(图片、对象、事件)和其他理论体系中均含有的言语系统所组成。这个理论一个主要的新贡献在于阐明了针对表演系统的言语和视觉输入与针对概念系统的言语和视觉输入的关系。

表演的一个好处是,和仅仅听这些短语相比,表演保证了对短语的语义加工过程的进行,

因为必须先了解这个命令

认知负荷理论(1988,1994,2003)。

(一)Sweller的认知负荷理论

在调和多重表征的时候有一个潜在的问题,那就是认知资源需求有可能超出短时记忆的容量。通过学习,有两种方式可以解决这种资源有限的问题。(Sweller,1994)一种方法是通过自动处理程序。自动加工过程占用较少的记忆空间,更多的空间可用于其他用途。第二种方式是通过图式获取。图式是组织化的知识结构,它通过组块可以增加存放在工作记忆中的信息总量。与简单的配对联想学习相比,在更加复杂的知识中就需要图式,像使用一些方程解决物理或几何问题。(Sweller,1988)

Sweller(1994)使用图式间元素之间的相互作用,将认知

负荷分为外在认知负荷和内在认知负荷。当教材本身很复杂时,发生内在认知负荷,而教学设计无法降低这种复杂性。当教学设计无法以较低要求的方式呈现材料时,发生外在认

知负荷。

外在认知负荷对多媒体设计很重要,因为概念中整合不同信息来源所需的认知努力可能会受物理上整合这些信息的需要而降低。如在学习一道几何证明题时,学生们通常要将以图表和文字方式所呈现的信息结合在一起。因为这需要意识努力来结合两种不同呈现方式的信息,因此通过设计实例,将证明中的步骤和图表紧密地联系在一起能够降低认知负荷。如果学习者必须不停地将他们的注意力在两种呈现材料之间来回转移,那么对文本和图表的结合可以避免注意力分散。Sweller和他的同事设计了很多实验,以整合的方式呈现教学材料比以传统的、标准化的方式呈现材料更易于学习。(Sweller,1994)

注意分散效果发生在当多种来源的信息彼此相关并且无法独立理解时,如图表不需要解释就完全能够被理解,单个图表和文本是不会产生注意分散效果的。这时,提供解释反而会导致信息冗余,而不是提供积极的或者中性的效果,从而对学习造成干扰。(Sweller,2003)形式足够了,知负荷。

(二)Mayer回答问题来检查他们对事实的保持以及基于这些事实的推论(迁移)能力。

根据该研究有如下多媒体设计的七个原则:

1)多媒体认知原则:学生学习词语和画面组成的呈现比

学习只有词语的呈现学习效果好。

2)空间接近原则:书页或屏幕上对应的词语与画面临近

呈现比隔开呈现能使学生学得更好。

3)时间接近原则:对应的词语与画面同时呈现比继时呈

现能使学生学得更好。

4)一致性原则:当无关的材料(词语、画面和声音)被排

除而不是被包括时,学生学得更好。

5)形态原则:学生学习由动画和解说组成的多媒体呈现

。

6):):设计效果对知识水平低的学习者要强

于对知识水平高的学习者,对空间能力高的学习者要好于对空间能力低的学习者。

很多原则都和Mayer降低外部认知负荷的目标相一致,比如排除外部和多余的信息。在相邻位置及相近的时间呈现文字和图片同样降低外部负荷,因为它增加了同时在工作记忆中激活言语和图片模型的机会。陈述书面材料的好处在于陈述和图片占用不同的通道,如图4所示。书面的文本,如图片,最初占用视觉通道,随后有附加的要求,要求被转换为口语来产生言语模型。

Mayer的理论有很多优点。其模型很简洁并且容易理

和Paivio、Baddeley不同,Mayer提出的理论就是特别针对多媒体学习的。但是,前面讨论的理论也都是他个人贡献的基础,在《多媒体学习》一书(Mayer,2001)中,前人的这些理论多次被引用就是一个很好的证据。Mayer从

Paivio那里借鉴了信息可以分别通过言语或视觉编码的假

设;从Baddeley那里借鉴了可以被中央执行器处理的工作记忆容量有限的观点;采纳了Sweller将认知负荷区分为外部和内部认知负荷,并将设计目标定为降低外部认知负荷的观点(参见:Mayer&Moreno,2003,关于在多媒体学习中降低认知负荷的详细讨论)。

Mayer所提出的体系如图4所示。他所偏好的材料呈现

解。它涵盖了很多来自Paivio、Baddeley以及Sweller等的重要观点,并且加入了很多新的研究发现,特别是关于多媒体学习的。它同样也很实用,像上述的七个原则。

这个理论的主要缺陷是忽视了重要的整合过程中发生的内容。这个整合阶段是语义、视觉以及预先储存的知识被引入工作记忆的阶段。由Schnotz(2002)提出的观点是,模型中文本和图片的平行处理是有问题的,因为文本和图形是基于不同的符号系统并且是采用不同呈现方式的(详见

Tabachneck2Schijf,Leonardo,&Simon,1997)。我将在需要

是呈现听觉词汇,这样,就可以保证这些词汇不会和图片所需的视觉编码产生冲突。声音被组织进入言语模型,视觉表象则进入图片模型。工作记忆是用来整合言语模型、图片模型以及长时记忆中的先验知识。这种整合往往在接收到少量的信息之后而不是完成教学以后就开始了

。

探讨的问题中对不同形态的整合进行探讨。

(三)Nathan的动画理论

对于多媒体教学设计,将Mayer的方法与另一种方法

(Nathan,Kintsch,&Young,1992)就相似性和不同点进行比

较是很有意义的。这种方法也是将文本和动画结合在一起,

图4　Mayer的多媒体模型

但是和Mayer的方式又有所不同。这种设计的目的是使用多媒体来提高学生形成描述几何文字问题公式的能力,如图

5所示的问题,它需要建构一个方程来找出如果直升飞机和

这个体系以及他所提出的多媒体设计原则,是基于May2

er及其学生的无数次的实验结果的。这个设计最典型的应

用是在科学课上,如暴风雨是如何形成的,或者关于一些设备的描述,如水泵是如何工作的。对于这种建构提供伴随有动画的文本(口头的或书面的)。建构完成之后通过让学生

火车相向而行,多长时间两者会相遇。

学生通过从一系列元素中选择部分来建构方程,而这些元素同时又是方程的一部分。例如,他们选择的元素说明如

斯蒂芬・K・里德.多媒体学习的认知体系

何通过速度和时间计算距离;两个距离是应该相加、相减还是相等;或者时间是相等、大于还是小于另一个时间。建构一个正确的方程来表征文字问题有赖于从文本中整理出一个情境模型,用问题模型来表达情境模型中所描述的数学关系(见图5)

。

OER.2008,14(3)

读问题后所建构的图片情境模型相匹配来评价数学建模的成功与否。其成功有赖于学生从文本中建构出正确图片模型的能力(Kintsch,1998),而并没有Mayer在他的课程中提供的帮助学生对情境建模的动画模拟的支持。

多元编码的优点

文中讨论的六种认知体系的不同之处在于它们是用来解释实验室发现的还是为有效教学阐明规则的。Paivio

(1969)和Engelkamp(1998)的理论是用来解释联想学习和

自由回忆的实验结果的。Baddeley(2001)的工作记忆模型同样应用于很多传统的实验室任务,比如逻辑推理(Gilhooly,

Logie,Wetherick,&Wynn,1993)。而Sweller(1994),Mayer(2001)和Nathan等(1992)计。。第一个好处是提高回忆率。根据

图5　Paivio(1969)的双重编码理论,拥有一种以上的记忆编码的

好处在于当一种编码方式发生遗忘时另一种可以作为备份。同样的原则可以应用到所有的记忆编码中,不仅局限于

Paivio研究的言语和视觉编码。例如,自我表演动作可以提

。(Nathan等,1992)该模拟提供的视觉反馈关注方程间的数量关系以及问题中的变量是否被准确描述。例如,如果一个图标先于另一个开始移动,那就说明两个时间之间的关系可能未能准确描述。

有一项研究评价表明,使用动画模拟的学生和其他仅仅建构数学关系而没有动画反馈帮助的学生相比,学习效果更显著。(Nathan等,1992)然而,尽管很多学生学会了,但是有一些并没有(Nathan&Resnick,1994),在这些情况下,就需要附加的指导信息。Nathan和Resnick(1994)认为:这个附加的指导可以在必要的时候用于支持以学生为中心的交互作用。

设计者最初并没有选择提供专家指导反馈来促使学生产生和评定问题解决办法。在其他建构学习的例子中,难点在于提供发现和引导之间正确的平衡点。一个潜在的障碍是,那些试图表达正确数学关系的学生可能生成了难以模拟的关系。例如,图5中在不正确的解决办法中就有很多错误。如果直升机的速度是火车速度的三倍,那么直升机和火车不可能在相同的时间内行驶相同的距离。同样,必须通过将时间和速率相乘而不是如图所示相加的方式来计算距离。值得探讨的是,是否一个有着如此多冲突和不正确数学关系的时间能够被模拟。因此,附件的信息就很有可能需要被引入到言语反馈中,作为对视觉模拟的补充。

由动画理论提出的教学设计和Mayer使用的更为传统的方法不一样,Mayer的方式中,学生一开始只是结合文本和图片信息来生成情境模型。而在动画理论中,学生阅读问题的文字描述,然后将它翻译成情境的图片模型,该过程并没有图片的帮助。随后,学生通过判断动画模拟是否和他们阅

高回忆率的发现就可以通过另一种编码方式强调行为的动作程序加以解释。

多元编码的第二个好处是,不同的编码可以减少干扰。

Baddeley(2001)的工作记忆模型可以解释干扰的减少,如果

语音回路、视空间模板间的信息是独立的。先于Baddeley和

Hitch(1974)模型的一个实验证明了STM(工作记忆)可以储

存更多的信息,如果一些信息可以被作为言语编码存储,而另外一些则作为视觉编码存储。字母和空间位置信息比单一的字母或单一的空间位置信息有更好的记忆效果(Sanders

&Schroots,1969),Mayer(2001)的通道原则———学生学习由

动画和解说组成的多媒体呈现比学习由动画和屏幕文本组成的多媒体呈现的学习效果好———则是另一个降低干扰的例子。

实验室回忆研究范式和教学学习范式之间的不同之处在于对于教学信息整合的需要。如图5所示。这一需要促使了Sweller(2003)认知负荷理论的形成。Sweller发现了文本信息和图表物理上整合,该发现随后也被Mayer(2001)所证实,并形成了他空间接近原则的理论基础。空间接近原则认为书页或屏幕上对应的词语与画面临近呈现比隔开呈现能使学生学得更好。Mayer还进一步发展了他的理论,并提出了时间接近原则,认为对应的词语与画面同时呈现比继时呈现能使学生学得更好。教学信息的成功整合产生了多重表征的第三个好处,即它们相互之间起互补作用。通过将彼此补充的材料结合在一起,学习者将会从所有的长处之和中受益。(Ainsworth,1999)

另一项实验研究中的回忆范式和该研究的教学应用之

斯蒂芬・K・里德.多媒体学习的认知体系

间的区别是教学应该同时提高记忆与理解。成功的回忆或推理并不总是伴随有效理解的增强,正如Sweller(1998)指出的那样,解决问题的能力并不必然意味着理解。事实上,他的研究证明了一些问题解决策略会产生较大的认知负荷,从而使问题解决者没有多余的能力来形成图式结构并最终产生专家型问题解决策略。

多元编码的第四个好处是增强理解(Ainsworth,1999),

Mayer(2001)对记忆和理解进行了区分,通过使用记忆保留

OER.2008,14(3)

学设计的基础成分。口语叙述并不是动画模拟教学设计的一部分,因此,听觉信息也不是这个模型的一部分(Nathan等,1992)。多媒体教学设计被限定在被教的观点上。口语叙述对于科学解释很有效,但是当操作符号或标志在动画情景下模拟时就有可能是累赘了。

Mayer和Nathan的模型是教学设计如何影响理论的典

型,但是,理论同样可以影响设计。由Sweller以及他的同事发展的教学设计是基于认知负荷理论的。这个设计通过在问题解决过程中提供外延的引导要求学生学习大量处理过的例子来防止认知负荷的发生。这个和动画模拟中的指导性方法形成了对比。根据Sweller(2003)的理论,大部分结构主义者的方法都提供了太多的选择给学生,反而会导致认知负荷。

(二)?

测验来检验记忆和使用迁移测验来检验理解。迁移测验要求学习者将他们已获得的知识应用到新情境中,例如,在学习了刹车系统如何工作的多媒体材料之后,要求学生来解释刹车系统如何会失效。Mayer的认知体系和多媒体原则是在阐述成功保留和成功迁移研究的基础上发展起来的。然而,多元编码的有效使用还是有赖于对理论和教学问题的进一步回答。

。。一个可能的假设是代码间的整合比较需要。来看一下Clark和Chase(1972)在信息加工革命之前几年所做的一个实验。他们要求被试判断一个句子是否正确描述了一幅图片(比如,A在B的上面)。Clark和Chase争论说,这样一个比较过程需要一个共同的范式,就像产生一个言语来描述图片一样。

更近些时间,Schnotz(2002)根据上下文和视觉呈现来研究这一理论。整合图片和文本的关键在于它们是基于不同的标志系统和不同的表征规则的。一个文本是外部描述,由约定俗成的表示符号组成。视觉呈现则是由描述性的图标符号所组成。然而,视觉呈现和文本又可以通过产生非外显的内部表征来形成内部描述和表述表征。这就允许一个通用范式的存在,在整合和比较多元编码过程中需要这样的一个范式,但是并不限定必须使用哪一个范式。

传统上来说,一般的范式是一个前置的表述(A在B上面),每个都是抽象的,自由形态的或者是对基于言语表征有偏见的表征(Clark&Chase,1972;Kintsch,1998)。根据

Barsalou、Solomon和Wu(1999)的观点,大部分表征都是一个

讨论

文章中讨论的六种理论体系,在他们的初级阶段,,答的问题。总结。

(一)是否存在单一的认知体系?

文章中所陈述的六种认知体系在一般水平上和一个单一的认知体系是一致的,比如,Sweller(2003)提出一个基于传统模型的工作记忆容量有限模型,就结合了LTM容量无限的概念。LTM中所储存的图式信息,被特定形态理解所需要的信息是储存在工作记忆中的。工作记忆和LTM的区分对所有的模型都很重要,尽管特定的模型和应用可能会强调其中的一种记忆。又如Paivio(1969,1975)对于LTM的研究,以及Baddeley(1992,2001)对于工作记忆的研究。

在一个更加精细的水平上,认知体系则有一些不同。

Sweller(2003)近来就声称,工作记忆的容量有限仅仅在处理

新信息时才出现,工作记忆中没有中央执行器来协调新信息。相比而言,在处理之前已经学习过的,且LTM中有保存的信息,工作记忆就能有效处理,因为先前学习过的材料此时充当了中央执行器。这一解释明显与Baddeley(1992,

2001)理论中中央执行器的重要作用相抵触。如果中央执行

模型,在这个模型中,知觉信息进入一个大的符号结构,比如框架、图式、语义网络以及逻辑表征等。另一方面,他们为知觉符号系统的重要性争辩,在这个系统中,符号是模型,因为他们有着相同的结构作为知觉的状态。他们理论的核心假设是知觉符号。

・直接代表抽象的概念。

・图式和内容仅仅是从信息中抽象出来的吗?

・尽管模拟并不完全无偏和真实,但还是允许认知系统模拟实体和事件。

现在有了更广泛的行为和神经学证据表明意识模拟在理解和推理过程中起很重要的作用,像Barsalou(2003)以及

Zwan(2004)所说的那样。这些结果再次提出了多元编码的

器被定义为管理信息的成分,那么,为什么中央执行器需要用来执行保存在长时记忆中已经结构化了的图式。相反,中央执行器应该是像Baddeley所提出的那样在管理工作记忆中的新信息中才需要。Sweller(1998)认为像手段-目的分析法中出现的那种一般研究策略的困难之处,就是因为中央执行器无法对大量的信息进行追踪从而选择一个好的动作。

六个理论中的不同典型地反映了他们想建立的模型是什么,而不是认知体系间的主要差异。Mayer(2001)关注将声音组织进入语义模型中,因为,口语叙述是他的多媒体教

整合是如何发生的这个问题,因为他们强调基于形态表征的

重要性。

(三)动画何时促进学习?

达的是相同的意思时,可以记住的项目更多。但是,手势所传递的与口头所表达的信息不匹配时则可以提供有用的判断信息,比如,决定解决问题时,何时学生会考虑不同的解题方法。(Garber&Goldin2Meadow,2002)

Engelkamp(1998)的多模块理论所提出的一个教学问题

动画和动画助手(Reed,2005)之类教学软件的发展都是基于这样一个假设:在促进学习方面,动画是一个重要的因素。最近有研究发现,心理模拟在推理过程中有重要作用。这对于之前的假设既起促进作用同时又提出了质疑。促进之处在于,模拟推理是很多推理任务的自然组成部分,因此可以据此发展动画教学;而质疑则是如果学生能够自行模拟,那为什么还需要教学动画呢?

对此的回答是,无论是动画还是动画助手都是通过关注情境来促进数学推理和问题解决的,在这些情况下心理模拟可能需要外部支持才能实现。动画试图模拟学生所构建的方程,从而检验其正误;而动画助手是模拟学生的估计和计算结果,以便判定其准确性。两种模拟都是学生无法独立完成的。正如LarryBarsalou(个人交流,2004211209)所说,“模拟无法正常工作时会发生什么,虽然我没有想过,但是显然这是一个很重要且很具挑战性的问题”。

的必要不充分条件。,。

基本的假设是:和静态的图表相比,动画可能会无效,因为动画变化频繁,而任何短暂的呈现材料在WM中都只能保存几秒钟,因此在这个研究中,我们将关注WM的保持时间而不是更一般的容量限制(与J.Sweller的个人交流,20042

12208)。

Tversky、Morrison和Betrancourt(2002)也讨论了因为设

是,尽管将言语信息转换成特定的动作需要语义加工,但是将视觉输入转换为动作却没有语义加工过程。如图3所示,例如,一个学生可以在数学课上表达操作行为但却没有理解动作与数学的关系。好的操作,根据Clements(1999)的观点是那些对学习者来说有意义的、可控的、灵活的,并且能够帮助学习者将认知与数学结构联系起来的操作,他自己称之为

(Shapes)的程序就允许孩子们使用计算机工具来移“塑造”

动、结合、。

,Thompson(1994)提。可。为了使学,Thompson指出,教学者必须不断地问“我希望我的学生理解什么”,而不是“我希望我的学生做什么”。

关注教学环境的重要性在Moyer(2002)的研究中得到了说明。她追踪了10名参加过为期两周的暑期协会的老师如何使用操作性工具。中级数学工具包内有10块砖块、彩色瓦片、可折的立方体、模版组块、分数条以及七巧板。这些老师在使用规则、程序、纸笔测验的“真正数学”和使用操作性工具的“趣味数学”之间没有显著的差异。很遗憾,趣味数学在那两周之后也结束了,并未能融入真实的数学之中。

然而,在具身认知理论(Wilson,2002)的推动下,近来的研究发现了操作性工具促进学习的教学方法。Glenberg、Gu2

tierrez、Levin、Japuntich,以及Kaschak(2004)的研究便是一

计的局限的教学动画可能无效。他们提出了两条原则来指导有效的教学设计。一是理解原则:外部材料的内容应该被精确获得和理解。动画允许特写、迅速上升、转换视角以及控制速度。这些都方便了领悟与理解。这一观点在看待动画方面支持了一个更具交互作用的方法。二是一致原则:外部材料的结构和内容应该与所期望的内部材料的结构和内容一致。例如,在随时间转变和传递的必要概念信息之间,应该有一个自然的一致。

(四)动作何时促进学习?

个实例。这个教学方法要求年轻的阅读者通过和玩具对象,如马、拖拉机或者谷仓之间的相互作用来模仿课文中所描述的关于农场的行为,和读两遍课文的控制组相比,不管是真实的还是想象的操作都大大提高了对课文的记忆和理解。

(五)教学设计是否应该考虑言语和空间能力的个体

差异?

MayerandMassa(2003)近来对“有些人是言语学习者,

回忆动作短语的研究(Engelkamp,1998)之所以和教育相关正是因为动作包含的语义加工过程可能能促进理解。但是,教学、学习比执行或回忆不相关的动作短语更有组织性,因此也更需要Sweller、Mayer以及Nathan等所研究的语义学习做指导。有项令人振奋的结果表明,动作能在更加复杂的教学中起帮助作用,因为当要求学生解释他们写在黑板上的数学问题的解决方法时,做手势降低了工作记忆的认知负荷(Wagner,Nusbaum,&Goldin2Meadow,2004)。与不做手势相比,当一边做手势一边解释时,学生们可以从工作记忆中回忆起更多的补充信息(一串字母序列或视觉格子)。能够记住的项目数与手势的信息有关,当手势和口头解释表

还有一些是视觉学习者”的假设进行了检验。他们通过对

14项与视觉-言语维度有关的认知测验进行相关因素分析

来进行。因素分析的结果发现存在四个影响因素,其中两个便是空间能力和学习偏好。空间能力通过像旋转卡片、折叠纸张等标准测验来测量;学习偏好测验要求学生设想他们在理解科技文章中所需的帮助类型,这些文章Mayer(2001)在之前的研究中均使用过。学生们说明自己偏好的强度,同时选择言语帮助或视觉帮助,前者是对一些短语下定义,如水蒸气、冰晶和冰点等,而后者则是提供与文章相对应的图表。

MayerandMassa(2003)实验结果引人注目的方面是,空

间能力和学习偏好之间缺乏相关。旋转卡片测试结果与学习偏好三个不同变量间的相关系数分别是0.02,0.04和-0.08。折叠纸张测验和学习偏好间的相关系数分别是0.03,0.00和0.07。为什么这些相关系数如此之低,而这一结果

的理论之间有一些共性,虽然各自有所侧重;这些模型中缺乏对学习者对多元编码的整合作用的研究;在心理模拟足够的情况下并不需要动画教学;动作必须有意义才能有效果;多模块教学比单个不同的特定模块更有效果。

【参考文献】

[1]Ainsworth,S.

(1999).Thefunctionsofmultiplerepresenta2

tions[J].ComputersandEducation,33:1312152.

[2]Aleven,V.,Stahl,E.,Schworm,S.,Fischer,F.,&Wal2lace,R.(2003).Helpseekingandhelpdesignininteractivelearningenvironments[J].ReviewofEducationalResearch,73:2772320.

[3]Atkinson,R.C.,&Raugh,M.R.(1975).Anapplicationofthemnemonic2keywordmethodtoacquisitionofaRussianvocabula2ry[J].JournalofExperimentalogy:HumanLearningandMemo2ry,104:4[5]Baddeley,A.(2001).Isworkingmemorystillworking?[J].AmericanPsychologist,56:8512864.

[6]Baddeley,A.,&Andrade,J.(2000).Workingmemoryandthevividnessofimagery[J].JournalofExperimentalPsychology:Gener2al,129:1262145.

[7]Baddeley,A.,Gathercole,S.,&Papagno,C.(1998).Thephonologicalloopasalanguagelearningdevice[J].PsychologicalRe2view,105:1582173.

[8]Baddeley,A.,&Hitch,G.(1974).Workingmemory[A].G.H.Bower(Ed.),Psychologyoflearningandmotivation[C].Orlan2do,FL:Academic:17290.

[9]Barsalou,L.(2003).Situatedsimulationinthehumancogni2tivesystem[J].LanguageandCognitiveProcesses,18:5132562.

[10]Barsalou,L.W.,Solomon,K.O.,&Wu,L.L.(1999).Perceptualsimulationinconceptualtasks[A].M.K.Hiraga,C.Sinha,&S.Wilcox(1999).Cultural,psychological,andtypologicalissuesincognitivelinguistics[C].Amsterdam:JohnBenjamins:2092228.

[11]Clark,H.H.,&Chase,W.G.(1972).Ontheprocessofcomparingsentencesagainstpictures[J].4722517.

[12]Clements,D.H.

(1999)."Concrete"manipulatives,con2

creteideas[J].ContemporaryIssuesinEarlyChildhood,1:45260.

[13]Craik,F.I.M.,&Lockhart,R.S.(1972).Levelsofpro2cessing:Aframeworkformemoryresearch[J].JournalofVerbalLearn2ingandVerbalBehavior,11:6712684.

[14]Engelkamp,J.UK:PsychologyPress.

[15]Garber,P.,&Goldin2Meadow,S.ence,26:8172831.

[16]Gilhooly,K.J.,Logie,R.H.,Wetherick,N.E.,&Wynn,V.(1993).Workingmemoryandstrategiesinsyllogistic2reasoningtasks[J].Memory&Cognition,21:1152124.

(2002).Gestureoffers

insightintoproblem2solvinginadultsandchildren[J].CognitiveSci2

(1998).Memoryforactions[M].Hove,

CognitivePsychology,3:

(workingmemoryworking?Thefif2

JournalofExperimentalPsychology,

又有什么教学启示呢?

几种可能的理由:一是哪种帮助会被高空间能力的学生选择并不是那么直观。他们会选择视觉帮助来加强他们的长处,还是会选择言语帮助来弥补他们的不足?二是第二种可能的原因是在如旋转物体(测空间能力)的动态视觉测验中,表现好的学生并不必然能从文本中生成图片并在学习偏好测验中受益。正如Kosslyn(1994)所说的,想象并不是一项单一的任务,相反,每一个不同的子系统通过不同的想象任务相互决定行为。三是教学内容比想象任务更多变,这使得预测学生在特定情境下需要哪种帮助更为困难,知道水蒸气和冰晶定义的学生可能并不知道力和加速度的定义。

这些低相关的教学影响以及他们可能的原因,意味着试他们需要帮助时,”,也。这种方法的一个不足在于,(Aleven等,

2003)。对特定教学设计的统一评价将会对评价这种方法的

有效性至关重要。

在实际应用中,一个更好的办法可能是使用不同的形式来解释不同的概念。这种方法被应用于动画助手,即用平均速度模型来解释这样一个违反直觉的概念:圆周运动的最快速度不可能超过其最慢速度的两倍(Reed&Jazo,2002)。学生们学习看图的渐近线、使用速度是距离与时间之比的定义以及学习几何函数的极限等。当被问在解释速度限制方面哪种方法最有效时,10名学生选择了几何方法,8名选择了定义,还有6名选择了图示法。当然,最理想的还是学生应该看到不同表示形式之间的相互联系。

结论

如表一所示,对不同的认知体系进行比较的优点之一是这种方式说明了多媒体学习输入和编码方式的丰富性。尽管我只在言语和视觉输入层面讨论了多媒体学习,但我还是试图表达不同输入方式所产生的多种不同编码方式。除了像提高回忆率,减少干扰,降低认知负荷以及增加理解等一般的教学目标外,还有一些特殊的教学观点源自于对学习组成部分的讨论。这些组成部分包括词语的配对联想学习、回忆棋盘布局、整合文本和图表的信息、理解设备如何工作、为代数问题构建方程还是提供操作工具等。

对于多媒体学习的认知体系进行比较会有助于研究者、理论提出者和教学设计者充分利用不同理论方法间相似和不同之处,同样也可帮助他们找到前面所提出的这些需进一步探讨的问题的答案。对于这些问题,初步的结论是:不同

[17]Glenberg,A.M.,Gutierrez,T.,Levin,J.,Japuntich,S.,&Kaschak,M.P.(2004).Activityandimaginedactivitycanenhanceyoungchildren’sreadingcomprehension[J].JournalofEducationalPsy2chology,96:4242436.

[18]Glenberg,A.M.,&Kaschak,M.P.(2002).Groundinglanguageinaction[J].PsychonomicBulletin&Review,9:5582565.

[19]Kintsch,W.(1998).Comprehension:Aparadigmforcogni2tion[M].Cambridge,UK:CambridgeUniversityPress.

[20]Koriat,A.,&Pearlman2Avnion,S.(2003).Memoryorgan2izationofactioneventsanditsrelationshiptomemoryperformance[J].JournalofExperimentalPsychology:General,132:4352454.

[21]Kosslyn,S.M.(1994).Imageandbrain:Theresolutionoftheimagerydebate[M].Cambridge,MA:MITPress.

[22]Marschark,M.,&Hunt,R.R.(1989).Areexaminationoftheroleofimageryinlearningandmemory[J].JournalofExperimentalPsychology:HumanLearningandMemory,15:7102720.

[23]Mayer,R.E.

(2001).Multimedialearning[M].Cam2

bridge,UK:CambridgeUniversityPress.

[24]Mayer,R.E.,&Massa,L.J.(2003)facets2ualandverballearners:Cognitiveandpreference[J].Journalofonal95:2[25]Mayer,R.E.,R.2003).NinewaystoreducecognitiveloadinmultimediaJ].EducationalPsychologist,38:43252.

[26]Moyer,P.S.(2002).Arewehavingfunyet?Howteachersusemanipulativestoteachmathematics[J].EducationalStudiesinMathe2matics,47:1752197.

[27]Nathan,M.J.,Kintsch,W.,&Young,E.(1992).Athe2oryofalgebra2word2problemcomprehensionanditsimplicationsforthede2signoflearningenvironments[J].CognitionandInstruction,9:3292389.

[28]Nathan,M.J.,&Resnick,L.B.

(1994).Lesscanbe

more:Unintelligenttutoringbasedonpsychologicaltheoriesandexperi2mentation[A].InS.Vosniadou,E.DeCorte,&H.Mandl(Eds.),Technology2basedlearningenvironments(pp.1832192)[C].Berlin:Springer2Verlag.

[29]Paivio,A.(1969).Mentalimageryinassociativelearningandmemory[J].PsychologicalReview,76:2412263.

[30]Paivio,A.(1975).Codingdistinctionsandrepetitioneffectsinmemory[A].G.H.Bower(1975).Psychologyoflearningandmoti2vation[C].Orlando,FL:Academic:1792214.

[31]Reed,S.K.(2005).Fromresearchtopracticeandback:TheAnimationTutorproject[J].EducationalPsychologyReview,17:55283.

[32]Reed,S.K.,&Jazo,L.(2002).Usingmultiplerepresen2tationstoimproveconceptionsofaveragespeed[J].JournalofEducation2alComputingResearch,27:1472166.

[33]Saariluoma,P.chology,6:77289.

[34]Sanders,A.F.,&Schroots,J.J.F.

(1969).Cognitive

categoriesandmemoryspan:III.Effectsofsimilarityonrecall[J].Quar2

(1992).Visuospatialandarticulatoryinter2

ferenceinchessplayers’informationintake[J].AppliedCognitivePsy2

ton.

[46]Wilson,M.

terlyJournalofExperimentalPsychology,21:21228.

[35]Schnotz,W.1012120.

[36]Steffens,M.C.,Buchner,A.,&Wender,K.F.(2003).Quiteordinaryretrievalcuesmaydeterminefreerecallofactions[J].JournalofMemoryandLanguage,48:3992415.

[37]Sweller,J.(1988).Cognitiveloadduringproblemsolving:Effectsonlearning[J].CognitiveScience,12:2572285.

[38]Sweller,J.(1994).Cognitiveloadtheory,learningdifficul2ty,andinstructionaldesign[J].LearningandInstruction,4:2952312.

[39]Sweller,J.

(2003).Evolutionofhumancognitivearchitec2

ture[A].B.Ross(Ed.),Thepsychologyoflearningandmotivation[C].SanDiego,CA:Academic:[40]2,Leonardo,A.M.,&Simon,().Camodelofmultiplerepresenta23052350.

[son,P.W.

(1994).Concretematerialsandteaching

maticalunderstanding[J].ArithmeticTeacher,40:5562558.

[42]Tulving,E.,&Thomson,D.M.(1973).Encodingspeci2ficityandretrievalprocessesinepisodicmemory[J].PsychologicalRe2view,80:3522373.

[43]Tversky,B.,Morrison,J.B.,&Betrancourt,M.(2002).Animation:Canitfacilitate?[J].InternationalJournalofHuman2Com2puterStudies:57,1216.

[44]Wagner,S.M.,Nusbaum,H.,&Goldin2Meadow,S.(2004).Probingthementalrepresentationofgesture:Ishandwavingspa2tial?[J].JournalofMemoryandLanguage,50:3952407.

[45]Watson,J.B.(1924).Behaviorism[M].NewYork:Nor2

(2002).Sixviewsofembodiedcognition[J].(2002).Towardsanintegratedviewoflearning

fromtextandvisualdisplays[J].EducationalPsychologyReview,14:

PsychonomicBulletin&Review,9:6252636.

[47]Zwan,R.A.(2004).Theimmersedexperiencer:Towardanembodiedtheoryoflanguagecomprehension[A].B.H.Ross(Ed.).Thepsychologyoflearningandmotivation[C].SanDiego,CA:Aca2demic:35262.

(翻译:张静　译校:丁峻　编辑:魏志慧)

【收稿日期】　2008203204【修回日期】　2008204223

【作者简介】　斯蒂芬・K・里德(StephenK.Reed),博士,教授,美国圣地亚哥州立大学数学与科学教育研究中心主要成员,在研究问题解决过程中的认知加工过程以及根据研究结果指导更为有效的教学设计方面颇有建树。

【译校者简介】　张静,在读硕士,杭州师范大学心理学系([email protected])。丁峻,教授,杭州师范大学心理学系硕士生导师。

(下转第78页)

罗红卫,王佑镁,祝智庭.网络学习环境中的情感缺失研究———以开放英语教学中的情感体验为例

bers,M.(2002).Howdoyouliketolearn?Comparinguserpreferencesandvisitlengthofeducationalwebsites[EB/OL].http://www.eduweb.com/likelearn.html.

[13]Wegerif,R.(1998).Thesocialdimensionofasynchronouslearningnetworks[EB/OL].jaln/v2n1/v2n1_wegerif.asp.

[14]O’Regan,K.(2003)Emotionande2learning[J].7(3):25227.

http://www.sloan2c.org/publications/

OER.2008,14(3)

【收稿日期】　2007211227【修回日期】　2008204221

【作者简介】　罗红卫,华东师范大学教育信息技术系在读博士,广东广播电视大学外语系教师;王佑镁,在读博士,副教授,温州大学教育技术系;祝智庭,教授,博士生导师,华东师范大学网络教育学院院长,本刊专家委员会成员。

(编辑:魏志慧)

ResearchonEmotionalDeficiencyintheMultimedia

LearningSystemofOpenEnglish

LUOHongwei,WANGYoei,1

2

1

(1SchoolofEducationScience,EastUhanghai200062;2.DepartmentofUniversity,Wenzhou325035)

Abstract:Thestudyaieanditsmaincauses.TakingtheMultimediaLearningSystemofOpenastudy,thispaperadoptsqualitativeandquantitativeresearchmethodstoana2lyzethemajorreastoemotionaldeficiencyintheweb2basedEnglishinstructionaldesign.Thestudyshowedthatlessemphasisislaidontoemotionalpresenceintheweb2basedEnglishinstructionaldesign,whichisthemostimportantreason.Inaddition,emotionalinteractionisneglectedandoverdependenceisontechnology.Keywords:web2basedenvironment;OpenEnglish;instructionaldesign;emotionaldeficiency

(上接第36页)

CognitiveArchitecturesforMultimediaLearning

StephenK.Reed

(CenterforResearchinMathematicsandScienceEducation,SanDiegoStateUniversity,USA)

Abstract:Thisarticleprovidesatutorialoverviewofcognitivearchitecturesthatcanformatheoreticalfoundationfordesigningmultimediainstruction.Cognitivearchitecturesincludeadescriptionofmemorystores,memorycodes,andcognitiveoperations.ArchitecturesthatarerelevanttomultimedialearningincludePaivio’sdualcodingtheory,Baddeley’sworkingmemorymodel,Engelkamp’smultimodaltheory,Sweller’scognitiveloadtheory,Mayer’smultimedialearningtheory,andNathan’sANIMATEtheory.Thediscussionemphasizestheinterplaybetweentradi2tionalresearchstudiesandinstructionalapplicationsofthisresearchforincreasingrecall,reducinginterference,minimizingcognitiveload,andenhancingunderstanding.Tentativeconclusionsarethat(a)thereisgeneralagree2mentamongthedifferentarchitectures,whichdifferinfocus;(b)learners’integrationofmultiplecodesisunder2

specifiedinthemodels;(c)animatedinstructionisnotrequiredwhenmentalsimulationsaresufficient;(d)ac2tionsmustbemeaningfultobesuccessful;and(e)multimodalinstructionissuperiortotargetingmodality2specificindividualdifferences.

Keywords:multimedialearning;STM;LTM;multiplerepresentations