网络表情符号的多模态协同研究
——以方言表情包为例

李涵雯 赵 燕

随着互联网技术和智能终端设备的不断发展，人们发现单纯研究语言已经不足以了解交际过程中双方的话语意义，因为人们的交际往往是由语言因素和非语言因素相互配合完成的。这种运用听觉、视觉、触觉等多种感觉，通过文字、图像、声音、动作等多种手段和符号系统进行交际产生的话语就是多模态话语［1］。

现阶段我国的多模态话语分析研究已经由静态语篇逐渐向动态语篇转变，且网络媒介承载的各类多模态语篇也引起了学者的关注。表情包作为一种能够表达特定情感内容的由文字、图像、动画等共同组构而成的网络视觉符号，正在重新建构着人们沟通和表达的方式。而方言表情包是其中一种独特的存在，彰显了交际双方的文化身份认同感。本文基于张德禄的多模态话语分析理论，探究方言表情包传播中不同模态间的协同性关系及其是如何有效建构群体文化认同的。

一、理论分析框架

张德禄在Halliday的系统功能语言学理论和Lim的多模态话语框架的基础上提出了由文化、语境、内容、表达四个层面构成的多模态话语分析综合框架［2］，之后又根据这个框架设计出了动态多模态话语分析框架［3］，我们参照这个动态分析框架提出方言表情包的多模态话语分析框架，如图1所示。

图1 方言表情包多模态分析框架

在特定的文化语境中，受不同情景语境的影响，方言表情包的使用者选择具有合适模态的表情包，用以输出信息或表达自己的情感。方言表情包要求所有模态须同时呈现，因此在模态选择过程中，最关键的因素就是使不同的模态相互协调配合，充分发挥各模态的共用特征，进而建构多模态语篇的整体意义。

二、方言表情包的多模态话语分析

（一）方言表情包的包容性

通过对微信中的方言表情包进行分析，方言表情包在网络表情符号中的发展较为成熟，且不同地区拥有方言表情包的数量有多有少，彰显出不同地区不同地域认同、文化认同以及自我认同感。

在模态使用方面，各地方言表情包以文字模态与图像模态相结合的表情包占比最大，体现出方言表情包的趣味性、娱乐性特征。方言表情包还具有极强的包容性，它概括地提取出文化元素中最简洁精华的部分，各地独特的语言、历史、民族、饮食、服饰等文化元素都被融合在内。广大网络用户不断制作、收藏和传播表情包的过程，既是为了满足其自身自由化表达的需求，同时也是主动寻找自我群体归属的选择。

（二）方言表情包的文化语境

语境是模态协同的根本动因［4］，多模态语篇的文化语境是任何一个符号系统或多个符号系统共同赖以存在和发展的环境［5］。方言表情包的文化语境体现为交际参与者在使用方言表情包进行交际时对其产生深刻影响的具体文化环境，其中体现得较为明显的就是历史文化与饮食文化。

1.历史文化

语言是文化的载体，一个民族的语言就是这个民族生存发展的历史文化背景的反映，方言则更为细致地记录了不同地域文化的发展沿革。对于方言表情包而言，文字符号是其主要的意义载体。群体的文化认同首先就体现在对典型方言词句的选择上，使用不同方言表情包的群体分别组成不同的言语社团，同一社团内的成员通过方言表情包中不同模态进行交际活动。以东北方言表情包为例，其中出现了大量的满语词汇，如磨叽、埋汰、嘚瑟、忽悠等。东北地区是满族的发祥地，随着社会的发展，满汉两族的接触日益频繁密切，其中一方面就表现为满语中的部分词汇演变成了今天东北地区的方言留存下来。网民以制作、使用和传播东北方言表情包的形式表达对所归属的地域方言文化的态度，在历史文化语境的作用下自觉建构着对东北文化的认同。

2.饮食文化

中国疆域辽阔，由于自然气候、地理条件的差异形成了不同地域独具特色的饮食文化，这种文化特征也体现在许多地区的方言表情包中。如“火锅”作为重庆品牌式的饮食文化符号代表，相关元素也被运用到了重庆方言表情包中。神态各异的拟人化火锅图像配合地道的重庆方言词句，以图像和文字的共现与配合，共同建构方言表情包语篇的整体意义。而山西省最受欢迎的是以“陈醋”为文化元素设计的表情包，其中“陈小醋”系列方言表情包以山西的醋文化为底色，以山西各地方言为支撑，构建具有主动参与意识的自我群体认同。

（三）方言表情包的情景语境

情景语境是文化语境在社会交际中的具体表现，由话语范围、话语基调和话语方式3个变量组成［6］。张德禄在Halliday情景语境理论的基础上，拓展了多模态语篇中的情景语境，认为在多模态语篇中其他模态作为和语言一样的符号系统体现语篇的交际意义。

1.话语范围

多模态语篇的话语范围指的是交际过程中各模态使用时所有交际参与者进行的整个活动。方言表情包的话语范围就是人们通过互联网上的各类即时通信软件进行交流的活动，这些都发生在网络这个虚拟的语境中，给了交际参与者们更多的自由表达空间。因为每一个表情包所蕴含的意义都有所不同，所以话语范围决定了在交际过程中使用表达何种意义的方言表情包。图2选自《桃子一家东北话》表情专辑，左侧表情包中方言文字的意思是“我喜欢你”，可能出现于一方对另一方进行告白这一交际活动中；右侧表情包中的“嘚瑟”作动词有得意忘形地炫耀、显摆之意，则通常在讥讽嘲弄的语境中使用。

图2 《桃子一家东北话》表情专辑（部分）

2.话语基调

多模态语篇的话语基调指通过文字、图像等模态的意义表达态度、情感和交际意图，进而体现出交际者之间的角色关系。在互联网社会进行交际的主体，其性别、年龄、职业、阶层等身份特质均被模糊，因此每个使用方言表情包的群体在网络社会这个大背景下都在身份地位上相对具有平等性。

但网络中的人际关系也有亲疏远近之分，不同的社交距离因素会对网络交际使用多模态表情的比率产生显著性影响。方言表情包是典型的图文并茂的多模态语篇，色彩跳跃、图像生动，相对而言严肃性较弱、娱乐性偏强，所以交际双方通常为社交距离较近、关系熟悉的亲人、同事、朋友等。

此外，方言表情包是以各地方言为支撑的，地域性是其最显著的特性。因而在使用方言表情包进行交际的过程中，参与者往往是处于同一地域言语社团内的个体，包括以该地方言为母语者、该地方言爱好者（母语非该地方言）以及其他由于工作、学习、生活等因素使用该地方言者。最后，微信群聊天的形式使方言表情包的接受者由一人变为多人，传播范围更加广泛。

3.话语方式

多模态语篇在语境层面的变化主要表现在话语方式由口语或书面语扩展为口语或书面语和其他模态，多种媒介及多种模态的共现和相互配合在意义和语境层逐渐整合［7］。方言表情包中的图像和动画为了配合方言词句的语义往往使用不同的面部表情、身势姿态，能够传递更加形象、具体的信息。因此，研究方言表情包的话语方式不仅要分析文字与图像、动画模态的组合情况，还必须对表情、身势等模态进行分析。

图2左边表情包通过羞涩的面部表情与害羞的手势，配合东北方言文字“俺稀罕你”共同建构整个多模态语篇的意义，即“害羞地表达自己对对方的喜欢之情”；右边表情包同样通过文字模态与人物面部表情和动作的配合，共同传递“不值一提的成就就不要炫耀，让人无语或生气”等类似的意义。

（四）方言表情包的模态协同性

在多模态语篇中，每种模态实现整体语篇的一部分意义，语篇的整体意义是由多种模态共同体现的。图3选自山西方言“陈小醋”系列的《山西晋中话》表情专辑。从整体形象上看，左侧表情包传达出愤怒的情感，右侧表情包则表达了惬意、愉快的情感；图像在整个表情包中占比较大。在语言文字方面，方言文字是方言表情包传递信息的主要载体，是必不可少的符号系统。尽管在该表情专辑中文字所占空间较小，却是建构语篇整体意义的关键。例如晋中方言“厉色点点”是“快点”的意思，“切塔”形容女孩漂亮、可爱，这些都是山西方言中特有的词汇。文字符号在四个表情包中的位置并不固定，也充分体现出网络文化的随意性。若仅使用文字符号只能提供模糊、笼统的信息，文字符号只有当与其他符号配合时，才能够传递更为形象、精确、具体的信息。设计者通过“醋”这一代表山西的卡通形象塑造多模态语篇的文化语境，从而构建地域文化认同；表情包的颜色以粉、黄、绿三色为主，整体的色彩饱和度鲜明、对比强烈，能够给交际双方带来视觉冲击；表情包通过生气或微笑的面部表情传达整体情感。除文字符号和图像符号外，该表情专辑中形象的动作和姿势都以动态的形式呈现，使表情包充满趣味性和娱乐性。

图3 《山西晋中话》表情专辑（部分）

张德禄将多模态话语各模态符号之间的关系归纳为互补和非互补两种基本关系［8］。互补关系是指在语篇中一种模态为基本模态，其他模态是对它的补充；非互补关系是指其他模态对于体现基本模态的意义而言作用不大，但依旧在语篇中出现的模态要素。

整体看来，在整个方言表情包构建的多模态语篇中，设计者运用了文字、图像和动画三种符号系统，其中又涉及颜色、表情、动作等不同模态，这些模态彼此间处于互补关系中。方言文字是基本模态，是主要的交际形式，其余模态对它起补充强化作用，每种模态都表现出自己独有的特征。此外，有些方言表情专辑会在背景图里设置当地的主要景点等地域文化元素，使用户在下载表情包的同时加深对当地文化和旅游资源的了解。而背景图并不参与交际过程，对表情包语篇整体意义的建构贡献不大，主要起到为表情包提供语境信息的作用，根据交际者的交际目的而被拉进交际过程中，与其他模态之间又表现出语境交互类的非互补关系。

三、结语

方言表情包是典型的集各种不同模态于一体的多模态语篇，其中的每种模态各有不同的供用特征，模态之间的关系会影响语篇整体意义的建构。通过对方言表情包的多模态协同性进行研究发现，方言表情包的整体语篇意义会受到历史文化、饮食文化等文化语境和情景语境三要素的制约。方言表情包以方言文字为主模态，图像、颜色、表情、动作和动画等模态与文字模态之间构成相互补充、相互强化的关系，有些方言表情专辑的背景图与表情包中其他模态又可以构成语境交互类的非互补关系。通过发挥方言表情包中不同模态的供用特征，语篇的整体意义才得以建构，从而使得交际参与者在网络互动中传播地域文化，构建地方文化认同。