多模态语篇中的图文关系

刘成科

(安徽农业大学外国语学院，安徽合肥 230036)

一、引 言

人类社会的语篇世界已经出现了多模态化的趋势。语篇的意义生成不再单独依赖于语言符号的贡献，而是进一步凸显了视觉符号的重要性，更多地将语言符号、视觉符号等多种符号体系融合起来，共同构建语篇的意义。从某种意义上说，语篇的多模态性具有普遍性。多模态语篇指“任何通过一种以上符号编码实现意义的语篇”(Kress＆Van Leeuwen 2006:177)。在这个符号体系中，视觉符号(图片)与语言符号(文本)是其中最重要的两种意义承载方式。因此，图文关系将直接影响语篇意义的生成与理解。早在古希腊时代，柏拉图(1986:268－271)的“线段之喻”就开始初步探讨了图文之间的关系。图文关系的研究随着社会符号学的发展日益流行起来，特别是20世纪70年代以来，很多学者(Roland Barthes 1977;Kress＆ Van Leeuwen 1996/2006;Karen Schriver 1997;Lemke 1998;O’Halloran 1999;Carney＆Levin 2002;Marsh＆White 2003;Martinec＆Salway 2005;Matthiessen 2007)分别从各自的研究领域分析了多模态语篇中的图文关系，为图文关系的研究奠定了一定的理论基础，然而却没有能够更加系统全面地剖析多模态语篇中的图文关系模式，也未能把图文意义的生产与消费统一起来。

二、图文关系模式研究的多重视阈

(一)符号视角下的图文关系模式

Barthes(1977)主要从符号的角度来审视图文关系，重点研究了视觉符号(图片)与语言符号(文本)两种不同的符号体系如何相互联系来生成意义的。正是基于这两种不同符号体系之间的逻辑关系，他提出了三种基本的图文关系:说明(illustration)，锚定(anchorage)和接递(relay)。

“说明”主要是指图片支持文本，文本处于信息承载的支配地位，而图片则处于附属地位，起着说明或支持文本意义的功能。根据Barthes的观点，在这类图文关系中，图片对文本有一种“索求”的关系。文本是表意的基础和根本，是必选的概念，相比之下，图片则是依附于文本的存在而存在，属于可选的范畴。这类图文关系在报刊文章中十分常见。

“锚定”主要是指文本支持图片，文本只是说明图片的意义，而图片才起着决定性的意义功能。语言与图片都具有模糊性的特点。图片存在着多种可能的解读，需要用文本去“固定”住它们的意义。语言信息的功能就是去固定或锚定这些可能的意义，指导读者的解读，解决可能存在的视觉歧义和误读。其原理就是:“所有图片都是多义的……存在一条所指的‘漂浮链’，读者可以选择其中一些而忽略其他的……因此，每个社会都需要想出各种手段来固定所指的‘漂浮链’，从而对抗符号不确定性的问题;语言信息就是这些手段中的一种。”(Barthes 1977:38－39)

“接递”主要是指文本与图片地位平等，没有明显主次关系的界限，而是两者处于一种互补的关系。“文字和图片一样，都是更综合的结构体的组成部分，信息的统一性在较高层次上得以实现。”(Barthes 1977:38－39)此外，语篇的意义也不能简单地理解为图片和文本的信息之和，或者两种符号意义的简单相加。Barthes认为这种图文关系很少出现在固定的图片里，但是在漫画里的对话泡，电视或电影里移动的画面里却很常见。由此可见，Barthes从符号的角度对图文关系的划分相对来说比较简单，便于读者界定图文关系的类型，了解图文在多模态语篇中的不同角色。然而，该图文关系的模式没有涵盖图文相互独立和图文相互增补等情况，存在一定的片面性;又没有在每一种模式下作更细化的分类，从而造成该模式的实际操作性较弱，有待于进一步补充与完善。

(二)功能视角下的图文关系模式

1.Carney和Levin的图文关系说。Carney＆Levin(2002)提出了多模态语篇中图片的五种不同的功能:装饰功能(decorational)、再现功能(representational)、组织功能(organizational)、阐释功能(interpretational)和转换功能(transformational)。

装饰型图片用来装饰文本和点缀页面，与文本内容的关系不大或者根本没有关联，只包含极少或根本没有任何附加信息。例如，旅行手册里的一张大海的照片仅仅只有一种装饰功能。再现型的图片部分或完整地描述了文本的内容，反映了文本里的部分或全部信息，也是最常见的插图类型之一。例如，精确描述小说里某个场景的图片就属于此类。也有一些再现型的图片甚至超出了文本，描述了文本里没有的东西。例如，一幅绘画作品，旁边的文本描述该画的内容。

组织型图片展示了文本的结构信息，为文本内容提供了一个便于理解的结构性框架，如地图或者展示伤口包扎步骤的图片等。通常此类图片一步一步地描述文本中的信息，使文本内容更加具有结构性、逻辑性和形象性，方便读者的理解和操作。阐释型图片主要用于解释难以理解的文本材料，如描述抽象的过程等。这些文本的内容复杂抽象，仅仅依靠文本自身的阐释是不够的，而借助阐释性的图片可以让读者更清楚地理解文本中所呈现的信息，比如用水泵系统的图片来解释血压的原理。转换型图片含有系统的记忆提升成分，这些成分直接解读文本的信息，从而提高读者对文本信息的记忆。

2.Marsh和White的图文关系说。Marsh＆White(2003)通过分类法具体描述了图片在文本中的功能。按照他们的分类，图片在文本中的功能主要分为三个层面。第一层包含了3个总的图片功能，第二层共有11个功能，第三层含有30个功能。第一层代表了三种图文关系强度的类型。A组是图片与文本关系松散型;B组是图片与文本关系密切型;C组是图片超越文本型。接下来将简要解释一下第二层功能。在A组里，第二层功能主要是装饰、激发情感和控制。“装饰”指图片本身对文本信息的理解并没有实质性的影响，但是可以使文本更具吸引力;“激发情感”指图片含有可以激发读者某种情感的内容;“控制”指图片对读者的影响是控制性或指导性的，图片的内容吸引读者的关注，鼓励读者作出某种回应。在B组里，第二层功能主要是重述、组织、关联、浓缩和解释。“重述”指图片以细微的变化或解释来重述文本中的信息;“组织”指图片用结构的形式呈现信息，通常使用比文本形式更易理解的图形来展示信息，如图表、地图或其他任何可以更清楚地以结构化组织化的方式展示信息的形式;“关联”指图片表示文本内部所包含的过程或概念;“浓缩”指图片使信息更加紧凑和精炼，或者把信息压缩成一些基本的要素或元素;“解释”则是指图片使信息清晰而便于理解。只有当图片的内容与文本密切相关时，才可使用此种功能，否则必须使用C组与此类似的功能。在C组里，第二层的功能主要是阐释、扩展和转换。“阐释”指图片把复杂抽象的文本概念变成更加形象具体的形式;“扩展”指图片提供了更多的细节、例证或对信息的具体分析来拓展文本;“转换”指图片把文本中的信息转换成另一种形式。

总之，以上两组学者对图文关系的解读，主要是在功能思想的指导下，基于图片支持文本的视角全面探讨了多模态语篇中的图文关系，分类详细，逻辑清楚，有利于读者更好地理解图片在多模态语篇中的功能。但是，他们都没有考虑文本支持图片或者文本与图片地位平等的情形。图片本身就是有组织的，也是有结构的，并不是完全依附于文字。图文之间各有所长，各有所短，不可随意偏废其中一方。所以，从某种程度上说，他们并没能够摆脱传统思维模式下对图片这种符号系统的固有偏见，仍然把图片放在表意过程中的从属地位，因而需要根据语篇世界的发展趋势作出相应的补充和完善。

(三)逻辑语义视角下的图文关系模式

Martinec＆Salway(2005)借鉴Barthes(1977)和Halliday(1994)早期作品中的思想提出了图文之间的相互关系模式，他们对图文关系类型的描述更加侧重于在多模态语篇中的图文互动，并没有片面强调图片或文本的支配地位。他们认为该模式可以作为“图文关系的总系统”。既可以描述图片支持文本的情况，又可以解释文本支持图片的情况，还可以说明图片与文本相互依存或相互独立的情况。该模式认为图片与文本之间存在两种关系，即地位关系和逻辑语义关系。

1.地位关系。地位关系指图片与文本之间的相对地位。在平等关系中，两种模态之间是相互独立或者相互补充的关系。在不平等关系中，一种模态处于支配地位，另一种处于从属地位。当图片与文本存在整体上的关联时，两种模态就是平等关系。当图片与文本这两种模态相互依赖或相互修饰时，它们之间就存在互补关系。当两种模态各自可以单独呈现，彼此之间没有相互依存，那么，在这种情况下，两种模态之间的关系就是独立的。当一种模态依赖于另一种模态而存在时，模态之间就存在着从属关系。

2.逻辑语义关系。逻辑语义关系有两种主要类型:扩展和投射。“扩展”就是指一种模态在内容上拓展了另一种模态。“投射”是指一种模态重复了另一种模态所展现的内容。“投射”可以分为话语和思想。“扩展”则可以分三种类型:详述、延伸和增强。“详述”主要指一种模态为另一种模态提供了更加详细的描述，并不一定提供了新信息。“详述”又分为阐述和例证。阐述指当两种模态(如图片与文本)展示同一信息，但以不同的形式或方法进行呈现，两种模态同样概括并且相互复述。例证则是通过提供更加具体的例子进一步扩展信息。“延伸”指一种模态延伸了另一种模态的信息。延伸模式增加了全新的元素，给出了例外的情况，或提供了其他的选择。这种延伸的信息是新增加的信息，然而，两种模态中的信息必须是相关的。“增强”指一种模态通过一些情景信息(地点、时间、目的或原因)来增强另一种模态。例如艺术作品类的图片可以通过说明作品创作的时间和地点方面的文本增强作品本身的内容。增强与延伸有点类似，两者都增加了新的信息，但前者是通过提供环境背景等来增强另一种模态的信息或内容。第二种主要类型是投射，还可以细分为话语和思想。Martinec＆Salway(2003:352)认为:“话语是言语的投射，通常通过言语过程来实现。思想是意义的投射，主要通过心理过程来实现。”他们认为投射主要出现在两种不同的语境中，即漫画和图文结合体。话语和思想在漫画中的区别非常明显，话语指“对话泡”里的文本，而思想指“思考泡”里的文本。

由此可见，该模式比较系统地阐述了多模态语篇中的图文关系。一方面，考虑了图文之间的地位关系，把两者置于一个独立平等的平台上进行客观考量，没有片面强调一方，而忽略另一方;另一方面，根据两者之间的逻辑语义关系，对图片和文本在多模态语篇中的表意特点作出了较为全面的描述。不过，该模式主要借鉴了功能语言学视角下的小句关系理论，而图片与文本之间的逻辑语义判断比单纯的小句之间更加复杂，因此，在解读过程中，也容易出现混淆或者主观随意性强的缺点。

(四)信息视角下的图文关系模式

Schriver(1997)提出了五种图文关系模式:冗余(redundant)、互补(complementary)、增补(supplementary)、并置(juxtapositional)和布景(stage－setting)。

“冗余”是指视觉信息与言语信息表达的内容之间基本相同，难以区分。它是通过图片与文本两种不同的再现方式来表达信息的主要内容。正如Schriver指出的那样:“话题越难以理解，读者可能会越欢迎冗余的出现。”(1997:413)原理图和用于解释说明该图的文本信息之间的关系就属于冗余的范畴。“互补”是指图片和文本表达不同的内容，但是两者通过相互之间的紧密合作共同帮助读者理解信息的基本概念。Schriver认为“互补的关系也可以帮助读者综合图片和文本表达的信息。”(1997:415)例如，手机使用说明书中，通过文本和图片相互补充来共同描述如何更换电池。“增补”指图片和文本表达不同的信息，但是一种模态处于支配地位，表达主要的信息，而另一种模态详细叙述处于支配地位的模态所要表达的内容，或者更进一步说明和阐释该内容。第四种图文之间的关系就是“并置”，在Schriver看来，当出现并置的情景时，“主要的信息是通过某种碰撞，意想不到的综合或者每种模态呈现的内容之间的张力而表达出来的”(1997:422)。根据Schriver的观点，并置组合最常见的情景就是广告，也经常会出现在海报、图片封面和CD的封面上。最后一种图文结合方式就是布景。一种模态通过预测内容或可能要呈现的观点为另一种模态的出现提供背景。如Schriver所言的那样:“提供背景的文本或图片通过提供语境框架提高读者对后面信息的理解。”(1997:413)布景类型的文本特征的例子有大纲、教学目标列表和内容导览流程图等。

因此，Schriver从图片和文字对多模态语篇信息的贡献出发，淡化了图片和文字在多模态语篇中的地位关系，提出了上述五种图文关系类型。此外，该图文关系模式在某种程度上也考虑了语篇消费者的解读需求(如“冗余”的存在就通过信息的重叠满足读者的理解需求)，让读者在解读语篇时能够尽可能方便地接受语篇所传达的信息。不过，该模式同Barthes的划分一样，较为简单，对于多模态语篇中一些比较复杂的图文关系的解释仍然显得单薄，缺乏更为系统性的解读。

三、图文关系模式的建构:问题与思考

1.图文关系模式的精密度。不同视角下的图文关系模式在精密度上存在很大差异。总体来说，Barthes，Carney＆Levin，以及Schriver的图文关系划分相对比较简单，精密度也比较低。可以说是一种粗线条式的分类方法，更多地从宏观角度解读图文之间的关系，而淡化了微观上细小的差别。这种低精密度的划分有利于更加清楚准确地界定图文关系的类型，不易产生混淆或者误判，但是，有时因为过于简单，对于某类语篇的解读不够全面具体，显得有些力不从心，解释力偏弱。相比之下，Marsh＆White(2003)和Martinec＆Salway(2005)的图文关系分类则比较复杂，精密度也比较高，可以按照不同的要求对图文关系进行不同层次或精密度的划分。因此，图文关系解读的空间更大，或者解读的弹性更强。不过，高精密度的划分也容易造成重点不够突出，结构过于复杂的问题，可能产生混淆或归类错误。所以，可以根据必要性原则，把精密度控制在一定的范围，适度增减，从而更有利于读者对图文关系的理解。

2.图文意义生成的经济性。不同于以往单一模态语篇的意义生成方式，多模态语篇的意义是由语篇中不同的模态之间通过相互作用，相互协作，共同生成。作为多模态语篇中的最常见的符号编码体系，即图片与文本，它们在多模态语篇的意义生成过程中各自扮演着不同的角色。作为视觉符号的图片，拥有形象性、直观性以及结构性等特点，尤其在解释抽象的概念和复杂的过程时，具有文本不可比拟的优越性。在读图时代和多模态语篇日益流行的今天，图片在语篇中的地位已经得到普遍的认可，语篇的意义生成方式发生的根本性的变革，不再过度依赖文本符号对语篇的贡献，而是更多地灵活运用图片与文本各自的特点。也就是说，从多模态语篇意义生成的角度出发，基于意义生成的经济性，经过综合考量去选择图片与文本之间的关系类型。无论采用何种图文关系模式构成多模态的语篇，都不要简单地把两者割裂开来，也不该过于强调两者之间的地位关系，而要根据语篇生成的经济性，以最有效最经济的图文关系模式，充分发挥图文表意时各自的特长，优势互补，取长补短，表达最清楚最丰富的语篇意义。

3.图文意义消费的便利性。图文意义消费是指读者对多模态语篇中图文意义的理解或解读，或者指对图文意义的接收和消化。多模态语篇改变了以前过分强调语篇生产的环节，更多地从语篇消费的视角出发，充分考虑了语篇消费者的认知特点等因素，把语篇的消费与语篇的生产统一起来。因此，多模态语篇中的图文关系模式的选择，一方面需要从图文意义生成的经济性考虑，优化配置图文资源，合理选择图文关系模式，更加有效清楚地生成语篇意义;另一方面，又必须从图文意义消费的角度出发，根据语篇潜在的读者群体的特点，灵活运用图文关系模式，尽量减少读者解读图文意义时的认知努力，从而把从语篇生产到语篇消费有机地结合起来。例如，信息视角下的图文关系中的“冗余”就是考虑到读者解读语篇时可能会存在困难，而使用不同方式再现相同的内容方便读者的理解;又如逻辑语义视角下的“扩展”同样基于对读者消费语篇的考虑，从而采用“详述”、“延伸”或“增强”的方式帮助读者更好地接受语篇的意义;再如，符号学视角下的“锚定”便是通过去除图片多义性带来的理解障碍的方式帮助读者对语篇的消费;在功能视角下，Carney＆Levin提出的“阐释功能”，或者Marsh＆White提出的“重述”等功能也都是为了满足读者语篇消费的需求。总之，在图文关系模式的建构中，应该从图文意义消费的角度出发，根据不同的读者群体的特征和要求，选择不同的图文关系模式，从而更加有效地生成语篇的意义。

4.图文意义之间的互动性。多模态语篇的意义主要通过语篇中的图片和文本之间的意义互动而生成。语篇中的图片和文字都具有相对的独立性和自足性。按照Halliday＆Hasan的衔接和连贯理论［24］，图文意义关系之间具有语言本身的语义特征，如重复、同义和反义等。换言之，图文意义之间既可以是并列的，又可以是互补的，甚至是冲突的。以冲突为例，假如图文之间的意义是冲突的，它同样表现出了图文之间意义互动形成的一种特殊的语义张力。如马格里特的著名的画作《形象的背叛》。图片显示的是一只烟斗，而图片下方的文字说明却是“这不是一只烟斗”。该语篇的意义就是通过图文意义之间的冲突而形成特殊的互动方式产生的。因此，在图文关系模式的建构中，应该摒弃僵化的“语言中心论”或“图像霸权”的片面思想，把图文意义看成动态的有机整体，充分考虑图文意义的互动性特点，合理选择图文关系模式，从而丰富多模态语篇意义建构的手段。

［1］柏拉图.理想国［M］.北京:商务印书馆，1986.

［2］Barthes，R.Image－Music－Text［M］.London:Fontana.1977.

［3］Carney，R N，and Levin，J R.Pictorial illustrations still improve students learning from text［J］.Educational Psychology Review，2002，14(1).

［4］Halliday，M A K.An Introduction to Functional Grammar(2nd edition)［M］.Edward Arnold，London.1994.

［5］Halliday，H A K ＆ Hasan，R.Cohesion in English［M］.London:Longman，1976.

［6］Kress，G ＆ T van Leeuwen.Reading Images:The Grammar of Visual Design［M］.London:Routledge，2006.

［7］O’Halloran，K L.Towards a Systemic Functional Analysis of Multisemiotic Mathematics Texts［J］.Semiotica，1999，124(1/2).

［8］Lemke，J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［A］.In J.R.Martin and R.Veel(eds)Reading Science:Critical and Functional Perspectives on Discourses of Science［C］，London:Routeldge，1998..

［9］Marsh，E E and White，M D.A Taxonomy of Relationships between Images and Texts［J］.J.of Documentation，2003，59(6).

［10］Matthiessen，C M I M.The Multimodal Page:A Systemic Functional Exploration［A］.In T.D.Royce＆ W.L.Bowcher.New Directions in the Analysis of Multimodal Discourse［C］.Mahwah，New Jersey:Lawrence Erlbaum Associates，2007.

［11］Martinec，R，Salway，A.A system for image－ text relations in new media［J］.Visual Communication，2005，4(3).

［12］Schriver，K A.Dynamics in document design:creating text for readers［M］.Willey Computer Publishing，1997.