多模态话语分析综合理论框架探索_张德禄

多模态话语分析综合理论框架探索

张德禄 中国海洋大学

摘 要： 本文旨在探讨如何为多模态话语分析建立一个理论框架，首先对多模态话语研

究动态进行了简单述评，然后根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架。这个框架主要由五个层面的系统及其次级范畴组成，分别是：(1)文化层面；(2)语境层面；(3)意义层面；(4)形式层面和(5)媒体层面，同时还探讨了各个模态之间的关系，分为互补性的和非互补性的两大类，最后探讨了非语言模态的语法结构的建立、语法结构与语篇结构之间的关系以及语法结

构是如何体现概念意义、人际意义和谋篇意义的。

主题词： 多模态；话语；框架；语法；关系

中图分类号：H0-06 文献标识码：A 文章编号：1672-9382(2009) 01-0024-07

1

引言

作者简介：张德禄，中国海洋大学外国语学院教授、博士生导师。在话语分析理论如火如荼的发展中，人们发现单纯从语言的角度已经不能对话语进行深入全面的分析和研究，因为话语的意义中的一大部分是由非语言因素体现的，如伴语言特征：音响度、声调、语调、音速等，身体特征：手势、身势、面部表情、动作、移动等，非身体特征：PPT、音响设备、网络、实验室、周围的环境因素等。在这种情况下，交际不再是利用一种感官进行，如说话是听觉，书写是视觉，盲文是触觉等，而是用两种或者多种感官同时进行，如用PPT上课则是视觉与听觉同时进行的；模拟与讲解则是听觉、视觉和触觉同时进行的。以这种交际方式产生的话语就是多模态话语。

然而，如何在话语分析中把多种媒体和多种模态结合起来进行分析解读是现代语言学研究，特别是话语分析研究应该特别注意解决的到了现代语言学研究中，人们才开始从非语言特征和伴随语言特征的角度研究它，不过只作为一种语言的辅助表达系统，没有作为意义表达模态来研究。随着多媒体话语的产生，人们直到最近几年才逐步认识到其重要性，将其作为一个独立的学术领域进行研究。

在多模态话语分析方面最早的研究者之一是R. Barthes，他在1977年发表的论文《图像的修辞》( Rhetoric of the image)中探讨了图像在表达意义上与语言的相互作用；Kress, G. & van Leeuwen, T. (1996; 2001; 2003)研究了模态与媒体的关系，专门探讨了多模态现象规则地表达意义的现象，包括视觉图像、颜色语法以及报纸的版面设计和不同媒介的作用等；O’Halloran, K. L. (2004)不仅研究多模态的理论建构，还专门研究了数学语篇中的多模态现象；Royce, T. (2002)研究了不同符号在多模态话语中的互补性以及在第二语言课堂教学中多模态的协同性等。

国内多模态话语的研究还处在起始阶段，尚未见到专著出版，只有数量不多的论文，其中胡壮麟的“社会符号学研究中的多模态化”(2007)讨论了多模态符号学和多媒体符号学的区别，介绍了具有媒体和模态双重特性的计算符号学，并指出人类进入社会符号学多模态化的新世纪，对多模态识读能力的培养应引起重视。其他研究包括李战子(2003)用系统功能语言学理论对多模态话语理论的研究。

2

多模态话语分析的理论基础

多模态话语的最合适的理论模式是系统功能语言学理论，因为它不需要为适应新的目的而对理论框架本身进行改造。虽然多模态话语分析似乎扩大了它的研究范围，但系统功能语言学理论本身不需要做任何改动就可以直接作为其理论框架。这个框架主要由五个层面的系统组成(Martin, 1992)。这五个层面分别是：

(1) 文化层面，包括作为文化的主要存在形式的意识形态和作为话语模式的选择潜势的体裁或者称体裁结构潜势。

(2) 语境层面，包括由话语范围、话语基调和话语方式组成的语境构型。

(3) 意义层面，包括由几个部分组成的话语意义及概念意义、人际意义和谋篇意义。

(4) 形式层面，实现意义的不同形式系统，包括语言的词汇语法系统，视觉性的表意形体和视觉语法系统，听觉性的表意形体和听觉语法系统，触觉性的表意形体和触觉语法系统等以及各个模态的语法之间的关系，分为互补性的和非互补性的两大类。互补性包括强化和非强化两类；非互补包括内包、交叠、增减、情景交互。

(5) 媒体层面，是话语最终在物质世界表现的物质形式，包括语言的和非语言的两大类。语言的包括纯语言的和伴语言的两类；非语言的包括身体性的和非身体性的两类。身体性的包括面部表情、手势、身势和动作等因素；非身体性的包括工具性的，如PPT、实验室、网络平台、实物(投影)、音响、同声传译室等。

下面我们按照从下到上的顺序分别进行探讨，即首先探讨媒体层面可以实现意义的媒体形式，然后探讨在形式层面可以实现的意义的模态及其之间的关系，接着探讨多模态话语分析的综合框架，最后初步探讨多模态话语语法系统的特点。

体意义的改变。

3.2 非语言媒体

分为三个类别：

(1) 媒体符号等。

(2) 并立、踢跳、弯伸等。

(3) 拟等。

伴语言*①

语言多模态话语媒体系统

纯语言

身体

3

多模态话语的媒体系统

3.1 语言媒体

从传统的语言学研究的角度讲，实现意义传播的媒体形式主要有两种：声波传导的声音符号和由笔等生成的书写符号。这两种媒体是语言传播信息的主要媒介。但随着信息技术的不断发展，其他技术开始用于语言信息的传播，如计算机文字输入、计算机语音识别等，但最后的传播媒体仍然是声音或者字符。

伴随语言的媒体形式对语言意义的传递起到辅助、补充和强化的作用，包括音响、声音

非语言

非身体

图 1 多模态话语媒体系统

4

多模态话语的形式及其关系

4.1 多模态话语的形式

媒体本身只是意义传递的载体，本身并不带有一定的意义，只有通过形式层面的组织和模式化才具有直接表达意义的能力。形式对媒介进行组织有两种手段：一是直接赋予某个媒介符号某种意义，如在交通信号系统中，红色表示“停止”，绿色表示“走”，橘红色表示“准备走或停”。语言中的象声词有这种特性。由这种符号组成的符号系统通常没有能产性、任意性，由两个层次的代码组成(媒介与意义)，所以其用途有限。另一种方法是把一定的媒介符号进行组合，然后赋予这种组合一定的意义，这就是语法的作用。由这种符号和符号组成规则形成的符号系统具有任意性、能产性、双分性，由三个层次的代码组成(媒介、形式(词汇语法)和意义)。语言属于这一类。是否其他的媒体符号也都有这种特性，是需要进行探讨和分析的。鉴于语言符号和其他符号具有替代性和互补性，我们认为其他语言符号也具有形式层，只是我们还没有认识，或者没有认识清楚而已。所以在我们的分析框架中，语言和非语言的媒体具有相似的词汇语法系统。

在词汇语法系统中，我们仍然区分本身具有一个已经赋予意义的项目和把这些项目组合为更复杂的结构体的规则系统。在语言中，前者称为词汇，后者称为语法。由此，在其他媒体中，我们可以区分：(1)图像形体和图像语法，前者是本身可以实现一定意义的图像项目，后者是不同项目组合后形成的图像结构体，可体现一定的(更复杂的)意义。(2)声响形体和声响语法，前者是本身可以实现一定意义的声音项目，后者是不同项目组合后形成的声音结构体，可体现一定的(更复杂的)意义。(3)感触形体和感触语法，前者是本身可以实现一定意义的可触形体项目，后者是不同项目组合后形成的感触结构体，可体现一定的(更复杂的)意义，以此类推。

在探讨多模态话语形式之间的关系时，我们需要首先考虑一个问题：为什么人类在交际中会用多模态？是为了有趣，是随意的，是生理和心理的自然表现的结果，还是因为一种模态不能，或者不能充分表达交际者的意义？可能两种情况都有，但最主要的应该是后者，即一种模态不足以表达清楚交际者的意义，从而利用另一者来进行强化、补充、调节、协同，达到更加充分，或者尽量充分表达意义，让听话者理解话语的目的。

从这个角度讲，不同模态的话语实际上都是为了体现讲话者的整体意义的。典型的多模态话语模式是一种模态的话语不能充分表达其意义，或者无法表达其全部意义，需要借助另一种来补充，我们把这种模态之间的关系称为“互补关系”，而把其他的称为非互补关系。

在互补关系中，我们还需要区分强化关系与非强化关系。所谓强化关系是说一种模态是主要的交际形式，而另一种或者多种形式是对它的强化。例如，如果语言是主要的交际形式，那么手势、身势等交际形式就只是起强化作用。反之，在主要以其他方式，如图画、舞蹈为交际形式时，语言可能只是辅助的、起强化作用的。在强化关系中，一种模态的形式只提供背景信息。如在话剧中，图形幕景提供背景信息，而声音语言话语则是前景化的，从而使讲的话语突出出来。在讲话时打手势则是一种辅助手段，所以是次要模态。而在播放布什的讲话时同时播放他在某些重大事件中的一些录像片段是对声音表达的意义的扩充。所以强化关系可以包括突出、主次和扩充三种关系。

非强化关系表示两种交际模态缺一不可，互为补充的关系，特别是听觉和视觉的结合。在非强化关系中，我们可以区分协调、联合和交叉几种形式。在协调关系中，不同的模态共同表达交际者的整体意义，缺乏任何一者将不完整。例如，在播放录像画面时，同时播放声音。图像和声音都是必需的，不然交际将难以理解。这是一种典型的相互协调模式。在同一种模态中，不同类型的媒体可以形成联合关系，共同来体现意义。例如在录像这种多模态话语形式中，与动画相匹配的声音与解说的声音联合体现听觉所实现的意义。还有一种交叉体现意义的现象，例如交际者可以在边工作、边做事的同时，讲解他做的事情的经过和原理、原因等，从而形成两种模态交叉体现整体意义的现象。这样，非强化关系可以归结为协调、联合和交叉。

非互补关系表示第二种模态对第一种在

意义的体现上并没有大的贡献，但仍然作为一种模态出现。这种关系一般体现为以下几种形式：交叠、内包和语境交互。

交叠现象是两种或多种模态同时出现，但它们之间并没有相互强化关系。这种现象可以在PPT中出现。例如，PPT画面上出现的是所有讲话者要讲的内容，讲话者只需要像读课本一样来读PPT画面上的内容，或者是大家一起来读这些内容。没有附加，也没有缩减。这就是交叠现象。第二种没有对第一种做出大的补充或者强化现象。这显然是一种冗余现象，其作用只是为讲话者的阅读提供了方便，或者为听话者阅读提供了方便。

如果冗余现象还是一种正向的贡献的话，那么模态之间也可以形成相互排斥和相互抵消的关系。这种交叠常常不是有意的，积极的，而是被动的，或者是不可抗拒的。例如阅读时，周围出现的噪音、歌声。这样一种模态的话语对另一种起到抵消作用。还有一种情况是两种模态水火不相容。例如，当你思考问题时，其他人找你说话；当你写作时，有人给你打电话等。感觉与听觉，视觉和听觉形成矛盾模态，从而形成相互排斥的关系。

这样，交叠包含冗余、抵消和排斥三种关系。内包则是第二种，或者多种不同或者同种模态，对整体意义的表达没有新的贡献，而只是给予更加具体的信息。内包可以分为整体与部分和抽象与具体两种关系。在整体与部分关系中，第二种模态提供的是部分信息，而不是附加另外的信息。例如，在讲蜜蜂时，画面出现具体的蜜蜂飞翔和采蜜的画面；在谈论身体时，出现人的面部、四肢、躯干等画面。在抽象与具体关系中，在谈论动物时，出现狗、鸡鸭、鱼虾等动物的画面等。虽然第二种模态没有提供不同的信息，但可以使第一种模态提供的信息更加具体和形象。

模态与语境的关系可以看作是积极模态和消极模态之间的关系。情景可以直接参与交际过程，但它本身不能以积极的方式参与进去，而是根据交际者的交际目的和采用的交际方式而被“拉”进交际过程中去。例如，你在给你的朋友写一封有关你如何写博士论文的信时，雪花纷飞，天气寒冷。这些环境因素和你写信没有任何关系，它们不会参与到你的话语交际中，表现出情景独立性，语篇仍然是单模态的。但如果你在和朋友谈论天如何下雪以及雪的大小、下雪的方式等时，下雪的过程、方式和现状都会直接参与

赖性以由图多模态话语形式及关系

图 2 5

别。

发现它们之间的协调、联合、互补等关系。所以，目前多模态话语研究的重点还是不同模态的形式特征和它们之间的关系。

6

多模态话语语法的建构

在多模态话语选择中最关键的因素是如何使不同模态相互配合来获得最佳交际效果，而这种模态之间的配合主要是在形式层面，特别是语法层面表现出来的。根据系统功能语言学理论(Halliday, 1973; 1985)，语言要同时体现三种元功能——概念功能、人际功能、谋篇功能。那么，从多模态话语的角度讲，除了语言之外，其他符号系统也同样是实现三个元功能的系统，如Kress & van Leeuwen (1996)和O’Toole (1994)把多元功能的思想延伸到图像上，提出视觉语法的概念；O’Toole (1994)则提出了一个更具体的以多元功能分析为基础的用于分析绘画的模式。

从这个角度讲，我们有两个问题需要考虑：一是每个符号系统的语法如何确定？二是各个符号系统的语法如何相互协作来共同实现三个元功能？

从第一个问题的角度讲，系统功能语言学确定语言成分的基本标准是其实现元功能所表现出来的特性，这显然也适用于其他的符号系统。例如，“皮特在一次车祸中身亡。”可以用英语表示为：Peter was killed in a traffic accident，其语法结构是物质过程：目标—物质过程—情景：地点。用图像可以表示为一个车毁人亡的场面，其主要成分有已经死亡的皮特，已经毁坏的车和以公路为主的场景，表示发生了车祸，皮特在车祸中死了。这是一个以结果为主的场面，所以实际表达的是关系过程，表示：皮特已经在车祸中死亡；当然也可以表现为车祸的过程，表示皮特正在遭遇车祸，是物质过程；还可以是一段录像，形象地展现皮特遭遇车祸的过程，是物质过程。当然，还可以由语音体现：“Peter was killed in a traffic accident.” 或者是一段发生车祸的声音，如车的刹车声，配上皮特的喊叫声，都可表示皮特遭遇车祸的过程。

那么，我们如何像分析句子一样来分析这些图像或录像的语法结构呢？Lim(2004)在分析图像语法时曾提出如下语法单位：成员(member)、图式(figure)、情节(episode)和作品(work)。这显然是话语结构的单位而不是语法结构的单位。语言语篇的基本单位是小句，而每个小句都由小句结构成分组成。每个小句都在语篇结构中有一定功能。所以，在多模态

图 3 多模态话语分析综合框架

这个框架分为四个层面：文化层面、语境层面、内容层面和表达层面。文化层面是使多模态交际成为可能的关键层面。交际的传统、交际的形式和技术都是由这个层面来决定的。没有这个层面，情景语境就没有解释能力。这个层面包括由人的思维模式、处世哲学、生活习惯以及一切社会的潜规则所组成的意识形态，和可以具体实现这种意识形态的交际程序或结构潜势，称为体裁。

在具体的语境中，交际要受到语境因素的制约，包括话语范围、话语基调、话语方式所决定的语境因素。同时，这个过程还要实现所选择的体裁，以一定的交际模式进行。

在话语意义层面，有由话语范围、话语基调和话语方式所制约的概念意义、人际意义和

互配合：图像语法对语言语法起辅助作用，使其更加具体和形象化。在听觉语法中，读句子的发音和车祸发生时的声音相互配合：后者为前者提供辅助信息，特别是情景信息。最后是听觉语法与视觉语法的配合：视觉语法为听觉语法提供辅助信息。这两种模态所代表的几种媒体的语法结构都可以用相同的语法结构来表示：即Peter was killed in a traffic accident，当然在图像和录像中还具有附加信息，特别有关情景的附加信息，如on the highway in the evening at a high speed等。

London: Leicester University Press, 1994.[6] Royce, T. Multimodality in the TESOL

classroom: Exploring visual-verbal synergy [J]. TESOL QUARTERLY, 2002, 36(2). 191-205.[7] Halliday, M.A.K. Explorations in the Functions

of Language [M]. London: Edward Arnold, 1973.[8] Halliday, M.A.K. & Hasan, R. Language, Context

and Text: A Social Semiotic Perspective [M]. Geelong, Vic.: Deakin University Press, 1985.[9] Halliday, M.A.K. & Matthiessen, C.M.I.M.

Introduction to Functional Grammar [M]. London: Edward Arnold, 2004.

[10] Halliday, M.A.K. & Matthiessen, C.M.I.M. Construing

Experience Through Meaning: A Language-based Approach to Cognition [M]. London: Cassell, 1999.[11] Lim Fei, V. Developing an integrative multi-semiotic

model [A]. In O’Halloran, Kay L. Multimodal Discourse Analysis: Systemic-Functional Perspectives [C]. London: Continuum, 2004: 220-246.[12] Martin, J.R. English Text: System and Structure

[M]. Amsterdam: John Benjamins, 1992.[13] 胡壮麟. 社会符号学研究中的多模态化 [J]. 语

言教学与研究, 2007(1).

[14] 李战子. 多模式话语的社会符号学分析 [J]. 外

语研究, 2003(5).

[15] 朱永生. 多模态话语分析的理论基础与研究

方法 [J]. 外语学刊, 2007(5).

7

结语

综上所述，系统功能语言学为多模态话语

分析和研究提供了理论基础。多模态话语可以从文化、情景、话语意义、语法、形式和媒介多个层次进行研究。从媒体的角度讲，各种不同的非语言媒体，特别是现代技术媒体，为话语交际提供了大量新的可选择方式。它们可以通过不同的模态来实现话语的意义。在多模态话语中，不同模态的话语之间是相互联系的，这些关系我们把它们归结为互补与非互补。在互补中，又有强化与非强化之分在非互补关系中，可以区分内包、交叠与语境交互几个类别。在语法层面上，每一种模态都有自己的语法来体现话语意义。本文提出了图像语法的单位(图素、图式、图像)以及它们的语法结构及其与话语结构之间的关系。所谓模态之间的关系实际上是这些语法系统之间在体现话语意义上的关系。对于不同模态的语法和词汇，它们之间在共同体现话语意义上的关系以及一定的话语以什么模态和媒体表达最为有效，是需要进一步认真研究的课题。 注释

① *表示可选择性

参考文献

[1] O’Halloran, Kay L. Multimodal Discourse

Analysis: Systemic-Functional Perspectives [C]. London: Continuum, 2004.

Multimodal

On A Synthetic Theoretical Framework for

Multimodal Discourse Analysis

Abstract: The present article is intended to set up a theoretical framework for multimodal discourse analysis. It first gives a brief survey to studies on multimodal discourse analysis, and then sets up a synthetic theoretical framework for multimodal discourse analysis on the basis of systemic functional linguistics. The framework mainly consists of multimodal discourse systems at fi ve levels: (1) The level of context of culture, (2) the level of context of situation, (3) the semantic level, (4) the formal level and (5) the level of media (substance). At the same time, it also studies the relationship between the diff erent modalities, including both complementary relationship and non-complementary relationship, and at last it investigates the establishment of grammatical systems for non-linguistic modalities, and the ways the grammatical structures of diff erent modalities realize the ideational, interpersonal and textual meanings.Key Words: multimodality; discourse; framework; grammar; relationship