标识设计中语义认知事件相关电位

侯冠华， 卢国英

(1. 同济大学 建筑与城市规划学院， 上海 200092； 2. 上海电机学院 设计与艺术学院， 上海 200240)

标识数量巨大，普通受众群体很难记忆，虽然设计师想尽办法提高标识的传播效率，但是仍出现了很多标识功能不明确、难于识别和记忆的现象.导向标识难以识别会严重影响公共场所人流的移动速度，降低社会活动效率，甚至在紧急时刻危害公共安全.在标识设计过程中，如何客观评价设计方案的功能性及易识别性是长期困扰设计师和决策者的难题.事件相关电位(ERP)技术为研究者了解用户认知标识过程中动态神经认知活动提供了新的工具，为客观测量标识设计方案与目标语义的距离提供了新的方法.本文将采用标识方案与目标语义配对的刺激呈现实验范式，使用事件相关电位技术，探索标识认知的神经过程.

1 相关研究回顾

1.1 标识系统设计研究

标识作为一种特定的视觉符号，是城市形象、特征、文化的综合和浓缩[1].长期以来，标识系统设计研究多集中于标识设计的规范、标准、视觉传达等方面.向帆[2]总结了城市标识设计中存在的问题，如信息密度偏失、信息相互抵触等，并提出了解决方案.卢国英[3]提出了建筑内部空间标识导向系统交互体验的测试方法和流程，采用客观测量的方法对标识系统的构建逻辑进行了验证.陈立民[4]将城市标识系统定义为公共艺术，强调通过标识与环境的融合增强视觉传达的效果.研究者还发现了很多标识信息传达不一致的问题.郭风岚等[5]考察了1 827个街巷道路类标识和公共交通标识，发现北京城区标识不统一、不规范、不实用等问题突出，标识信息传达不清晰，指向不明确，容易给人造成困惑.在长期的设计研究与实践中，研究者发现科学性和审美性同样重要，视觉传达效果和艺术性不能解决信息传递不一致甚至矛盾的问题，因此借助科学的工具和方法，探索标识系统设计的科学评价方法非常重要.

1.2 语义的脑认知研究

人的感知和行为发生是由大脑控制的，基于神经活动的认知研究能够更真实地反映用户认知过程[6].随着脑电技术的进步，研究者使用该技术逐渐发现了大脑认知过程的神经机制.将刺激呈现后100～200 ms的脑电反应称为直觉反应或无意识反应，这一阶段属于认知加工的早期阶段；从300 ms开始，进入到认知加工阶段，大脑会对刺激物进行认知、理解、判断、评价等，这一阶段常见的脑电成分是P300、N400等；已有研究发现，大脑对语义的判断发生在刺激呈现后300～500 ms范围内，在这一时间范围内出现的负波被称为N400；500 ms开始进入到认知加工的晚期阶段，大脑在这一阶段的认知加工较为复杂，听觉的神经认知研究多集中在该阶段[7-8].

语义研究最早是针对语言文字的，经典实验方法是采用启动刺激与目标刺激匹配模式，检查启动刺激对目标刺激辨认的影响.已有研究表明，当目标刺激与启动刺激语义不一致时，N400就会被诱发出来.Meyer等[9]采用词语配对的方式，将配对词组分为语义相关和不相关2组，如“牛奶”、“面包”是语义相关组，“面包”、“医生”是语义不相关组，结果显示语义不相关组诱发的N400波幅更大.此后，关于语义脑认知的实验范式从文字与文字匹配，逐步发展为文字与图片、图片与图片的匹配模式，结果都诱发出了N400，并且该成分波幅的大小与语义背离的程度成正比[10].研究对象也从文本语言发展到口语、手语[11]等，研究者发现尽管语言形式不同，但语义不一致都能够诱发N400.

近年来，产品设计、建筑设计和安全标识设计等领域将语义脑认知研究方法引入了生产实践中.Wang等[12]对椅子造型设计所蕴含的语义做了研究，挑选了一系列形容词，如“现代的”、“传统的”用于和设计作品作匹配.结果表明，当语义不一致时，诱发出了较强的N400波幅，潜伏期约320 ms.Ma等[13]对汽车造型传递出的语义做了分析，同样采用图片与文字匹配的方式，将汽车造型与动物联系，如某SUV轿车图片与“虎”配对，诱发出了N300和N400.结果表明，N300对分类时的语义判断具有重要意义，N400反映了前后语义的一致程度.在建筑设计领域，Mecklinger等[14]对欧洲人和中国人在建筑风格识别中的认知差异进行了研究.以类型学为理论依据，实验材料选用不同类型风格的欧式建筑.结果表明，由于非常熟悉西方建筑，德国被试者所诱发的N400波幅比中国被试者更大，文化差异使中国被试者缺乏不同类型建筑的背景知识，几乎没有被诱发出N400.Oppenheim等[15]将建筑分为高品质、低品质2档，同时要求被试者观看建筑，但在图片呈现前，会先呈现高等级或低等级的文字短语.结果发现，当等级与图片内容不一致时，诱发出了N400.卞军[16]对安全标识设计的3个要素做了脑电分析，发现颜色、形态复杂度和边框形状都会对安全标识的认知产生影响,如黄色背景色比蓝色背景色传递出更强的警戒语义.

1.3 研究假设

已有研究表明，图形、标识也是自然语言的一种重要表达方式[17]，公共导向系统的主要作用就是向受众传递信息，因此本研究拟采用“语义-图片”的刺激匹配方式，探索用户对标识语义的认知过程，根据所诱发的脑电成分，判断标识图形是否能够有效传递信息.根据已有研究成果及理论分析，本文基本假设如下所示：

(1) 当标识图形所传达的语义与启动语义不一致时，能够诱发出N400成分.

(2) 标识图形语义与启动语义不一致时所诱发的N400波幅大于标识图形语义与启动语义一致时的N400波幅.

启动语义是指通过对一个词或图片的加工，使人的认知系统为加工随后的语义进入准备和启动状态.目标语义则是在启动语义刺激材料呈现后与实验目的相关的语义侦测[7].如“面包-医生”、“护士-医生”两组词，前者是启动语义，后者是目标语义[9].

2 方法

2.1 实验参与者招募

本次实验共招募了31位被试者，全部是在校大学生.被试者年龄在20～23岁，平均年龄在22.5岁，标准差为1.1.所有被试者均为右手利，视力或矫正视力正常，身体健康，无神经或精神疾病史.所有被试者在实验前都签署了实验知情同意书，实验后获得50元现金奖励.

2.2 实验参与者、材料与实验设计

GB/T 10001《标志用公共信息图形符号》共有124个公共信息符号，分为以下两个部分：第一部分是通用符号，共74个；第二部分是旅游设施与服务符号.实验材料全部选自通用符号部分，材料全部采用方形边框，白色背景，黑色图形，如图1所示.专家小组选取语义区分明显的公共空间标识30个.把图形统一制作成700像素×460像素，刺激呈现视角相同.

图1 GB/T 10001《标志用公共信息图形符号》示例图片Fig.1 Examples of GB/T 10001 “Public Information Graphical Symbols for Sign”

实验采用GO/NOGO经典实验范式，该实验范式要求目标刺激和背景刺激按照1∶1比例呈现.当启动语义与目标语义一致时，要求被试者按“Y”键反应；不一致时，要求被试者按“N”键反应.实验过程采用Eprime 2.0软件呈现，启动语义呈现500 ms，间隔200 ms，目标语义(标识图片)呈现500 ms.实验材料的配对方式共2种组合,即启动语义与目标语义一致，启动语义与目标语义不一致.每种组合随机出现2次，实验流程如图2所示.

图2 实验过程Fig.2 Experimental procedure

实验指导语要求被试者对启动语义和目标语义的一致性进行判断，并做出相应反应.实验在脑电实验室完成，每位被试者测试时间约40 min，佩戴好电极帽后，要求每位被试者放松心情，在实验期间尽量保持不动.

2.3 数据采集和预处理

实验的数据采集系统采用Neuroscan64导联脑电记录仪，该系统电极位置属于10-20国际标准系统.电极阻抗保持在5 kΩ以下，采样频率1 000 Hz.

实验共采集31位被试者的脑电数据.通过肉眼识别发现：由于测试时情绪始终不好，1位被试者脑电信号漂移现象严重，信噪比很低，数据无法采用.另有2位被试者在测试时腿部频繁抖动，严重干扰脑电信号，无法采用.因此,共分析了28位被试者脑电数据.

脑电数据预处理采用EEGlab工具箱，在Matlab13b软件平台操作.在载入电极位置后，以双侧乳突为参考电极做重参考，0.1～30 Hz带通滤波，去除眼电、肌电、皮电等伪迹，最后对脑电数据按语义一致与不一致分段，分别做叠加平均，绘制波形图和地形图.分别提取不同条件、不同脑区的波幅值，使用Stata14统计分析2组条件下时域信号的波幅差异.数据处理流程如图3所示.

图3 数据处理流程Fig.3 Flow chart of data analysis

3 结果

3.1 行为数据

行为数据包括：被试者对图文配对的反应时间和按键正确率.分别统计图文语义一致与不一致2种条件下反应时间以及按键正确率，如表1所示.

表1 行为数据均值统计汇总Tab.1 Statistical summary of behavioral data mean

在图文语义一致条件下，28位被试者的平均反应时间约876 ms(标准差=125 ms)，反应速度远快于图文语义不一致的条件(1 032 ms,标准差=96 ms).对2组数据做配对样本t检验，2种条件下反应时间差异显著(t=3.31,P<0.001).比较2种条件下按键反应的正确率，图文语义一致条件下正确反应率高于不一致条件.

3.2 事件相关电位

已有研究发现，多数与语义相关的脑电分析多集中在前额区、中央区和顶区，因此本研究在数据分析时，电极位置选取前额区(F1、FZ、F2、FC1、FCZ、FC2)、中央区(CP3、CPZ、CP4)、顶区(P3、PZ、P4).图4a展示了2种条件下平均叠加后的波形图.从图4a中可以看出，早期成分潜伏期在150～170 ms范围内，差异主要在中央区(CPZ)和顶区(PZ)，图文语义不一致诱发的N170波幅更大.2种条件下在潜伏期180～230 ms内均诱发了明显的P200成分，波形图无明显差异.潜伏期在280～320 ms范围内，2种条件下均诱发了N300成分.从波形图可以看出，图文语义不一致时，前额诱发的N300波幅更大.潜伏期在380～400 ms范围，图文语义不一致条件下，顶区(PZ)电极附近诱发的N400波幅更大.

在不同图文语义条件下，分别对每个脑区的多个电极位置波幅求均值.由于波幅随时间波动，须限定提取波幅值的时间窗，本文中以波形图的峰值时间点为中心，设置±10 ms范围的时间窗，提取4种成分的波幅(见表2)，并对波幅值分别进行统计分析，比较2种条件下波幅差异.

a 不同电极位置波形图b 2种条件下地形图

图4 不同条件下图文语义叠加平均波形图和地形图Fig.4 Grand averaged waveforms and topographies in different conditions表2 2种条件下各脑区波幅值的t检验Tab.2 Amplitude value t-test of different brain regions under two conditions

注：额区波幅是F1、FZ、F2、FC1、FCZ、FC2的均值，中央区波幅是CP3、CPZ、CP4的均值，顶区波幅是P3、PZ、P4的均值.p<0.05差异具有统计意义.

将图文语义匹配条件作为自变量，各脑区位置的波幅作为因变量，进行配对样本t检验.结果显示，N170成分在图文语义匹配的不同条件下，前额区(t=-0.02，p=0.80)、中央区(t=-0.94，p=0.18)和顶区(t=-0.98，p=0.17)波幅差异都不显著，即图文语义匹配对N170成分没有影响.P200成分在图文语义匹配的不同条件下，前额区(t=-0.34，p=0.74)、中央区(t=-1.02，p=0.16)和顶区(t=-1.25，p=0.11)波幅差异都不显著.N300成分在图文语义匹配的不同条件下，前额区波幅具有显著差异(t=2.32，p=0.02)，该结果与图4a灰色标记处显示的情况一致，说明图文语义匹配条件对前额区的N300成分具有主效应.在中央区(t=1.32，p=0.10)和顶区(t=0.98，p=0.17)波幅差异都不显著.N400成分在图文语义匹配的不同条件下，前额区(t=5.52，p<0.001)、中央区(t=4.72，p<0.001)和顶区(t=4.16，p<0.001)波幅差异都显著，图文语义匹配条件对该成分主效应显著.

图4b是2种条件下各成分所对应的地形图，颜色深度代表脑区的激活程度.N170所对应的地形图显示，该成分的激活脑区主要在前额区和顶区，图文语义匹配条件对顶区激活程度影响不大，图文语义不一致时，前额区的激活脑区面积比图文一致时略大.P200所对应的地形图显示，图文语义不一致时顶区激活程度高于图文语义一致时，且该成分非常明显.N300、N400所对应的地形图，脑区激活成分都在顶区，图文语义不一致时激活程度高于图文语义一致时.

4 讨论

城市标识能够准确地被受众所理解是衡量标识设计的重要指标.如果标识不能清晰、明确地为受众提供导向信息，受众将不仅不能获取行为活动的有效指导，还可能会被标识误导，降低社会活动效率.本文旨在对用户认知标识过程中的内在神经活动进行研究，探索文字语义与图片语义匹配时用户的认知加工过程，为检验标识设计语义与目标信息语义的一致性提供神经测量的理论基础.

4.1 行为数据分析

图文语义一致时，被试者按键反应速度更快，说明被试者对语义不一致的标识所花费的时间更长.行为数据结果分析还发现，被试者对语义不一致的判断正确率要低于语义一致的情况.本文的行为数据结果与大多数研究[9-10,12-13,16]一致，说明语义不一致耗费了被试者更多的心理资源.用户不但要花费更长的时间进行决策和判断，而且判断错误的概率显著升高，这意味着坏的标识设计，不仅不容易判断其含义，还增加了用户接受错误语义信息的概率.这一证据对标识设计提出了语义清晰表达的要求，受众在面对语义不清晰的标识导向时，会消耗更长的时间去理解和决策.在公共场所中，将会影响人流速度，从而形成人流阻塞，降低社会活动效率.在紧急疏散等场景中，会造成疏散速度下降，需要通过人工介入疏导，降低了标识引导系统本该发挥的作用.

4.2 神经评价指标分析

本文采用文字短语搭配国家公共信息标准图形的实验方法，探索图文语义一致和不一致时脑电成分的变化情况.结果发现，实验诱发的脑电成分分别是N170(潜伏期160 ms)、P200(潜伏期250 ms)、N300(潜伏期300 ms)和N400(潜伏期410 ms).其中，N300在前额区(FZ)对图文语义一致性评价有效(p=0.02)，N400在前额区(FZ)、中央区(CPZ)和顶区(PZ)被激活，且波幅差异显著(p<0.001)，能够作为图文语义是否一致的重要评价指标.

图4a显示，N170成分明显，并且图文语义不一致时，中央区(CPZ)与顶区(PZ)波幅比图文语义一致时略大.图4b显示，前额区激活区域范围更大，但统计结果显示，2种语义搭配条件间的差异不显著.N170是反映识别加工过程中刺激类别加工差异的重要指标[18-19]，和特征分析过程有关.该指标最初在人脸识别研究中被发现，曾被认为是针对人脸识别的特异性指标，但随后的研究发现，该指标在分类中具有重要作用，如呈现人脸与汽车、工具与绘画等不同类别刺激时，会诱发不同波幅的N170[20-21].本文中诱发出N170，说明被试者在标识认知过程中，存在对刺激物视觉分类识别过程.统计分析发现，该成分在2种条件下差异不显著，说明标识之间的视觉差异无显著不同，这可能是因为实验材料全部选自同一标识库，标识的背景色、形态等都一致，并且全部为城市公共信息标识.

很多研究表明，P200与任务处理情绪和早期视觉信息处理有关[22-23].Niu等[24]研究发现，不同时间压力下图标认知诱发的P200在前额区(FCZ)附近最大，并且任务越难，P200的波幅越大.然而，本文中所诱发的P200在中央区(CPZ)最大，图文语义是否一致对P200的波幅没有显著影响.由于P200与情绪诱发有关，显然当任务难度增加时，会对P200波幅有显著影响，但本文并未给被试者反馈行为反应是否正确，即按键反应是否正确，即使被试者反应错误，也认为是正确的，因此他们的情绪并未受到很大影响，这可能是P200没有显著差异的重要原因.

N400是最常用于研究语义与预期是否一致的负波，但是不少研究发现，N300也有相似功能.Ma等[13]研究发现，图片与文字语义不恰当时，不仅诱发出了N400，也诱发出了N300成分.N300更多的是在与数学规则预期(逻辑预期)不一致的研究中被诱发的，如在呈现“3+3=”后再呈现“7”时，诱发出较大的N300波幅[25]，该成分与逻辑预期有关.本文中图文语义一致所诱发的N300在前额区(FZ、FCZ)波幅差异较大(p=0.02)，这一结果与Ma等[13]的研究结论一致，说明在标识语义研究中，可以将N300作为一个测量指标，但观察区域仅限顶区前部.

早期N400的研究对象都是语言文字，在语义不一致时诱发出较大的N400波幅，语义一致时波幅较为平缓[9，26].本文采用图文语义匹配的实验方法，也成功在前额区(FZ、FCZ)、中央区(CPZ)和顶区(PZ)诱发出了N400成分，并且图文语义不一致时的波幅较大，这一结果与前人研究结果一致，说明N400可以作为标识语义一致性判断的重要神经测量指标，也验证了本文的2个基本假设.虽然N400被成功诱发，但是2种条件下的波幅都很大，这是因为大脑对图片和语言处理的机制不同，图片处理所需要的选择性注意力资源相对较多，被试者需启动视知觉系统对图片进行识别，而处理文字时，直接启动语义加工机制，透过符号结构分析，找出语义表征.由于图片和文字采用了2种不同的信息处理系统，因此波幅上也有不同.本文结果显示的波幅，与图文语义匹配的其他研究结果相似[12,27].

综上，在标识设计中，神经测量能够准确客观地反映设计方案是否传递出了目标设计语义，神经设计可以作为未来标识设计的重要工具和方法.

4.3 研究局限

虽然本文发现事件相关电位方法可以用于测量标识语义，并发现N300和N400有助于判别图文语义是否一致，但是还存在很多不足.在实验设计时，本文仅将语义分为了一致和不一致2种条件，但在实际应用中，还存在语义相关、歧义、模糊不清等情况，这些情况下N300和N400 2个指标的变化情况还需进一步探索.此外，本文中并未将用户对语义判断时的情绪纳入考察范围，但结果表明，在语义判断时诱发了与情绪相关的P200，在未来的研究中将行为数据结果即时反馈给被试者，可能会对P200造成差异，这将有助于了解标识语义不一致时人的情绪波动情况.

此外，本文中招募的被试者均为大学生，平均年龄仅22.5岁，该群体的认知能力较强，因此本文结论是否适用于老年人、儿童、青少年等群体还有待进一步研究.

5 结论

(1) 视觉分类加工阶段，被试者判别标识语义前，首先会对标识材料做视觉分类加工，在此过程中诱发N170.

(2) 情绪唤醒阶段，在视觉分类加工后，会产生任务处理的情绪反应，诱发出P200，其波幅大小说明正性或负性情绪.

(3) 逻辑预期判断阶段，逻辑不一致时，诱发的N300波幅更大，在前额区、顶区的N300差异较大，可以作为判断图文语义是否一致的一个测量指标.

(4) 语义判断阶段，图文语义一致时诱发的N400波幅较小，图文语义不一致时波幅较大.在前额区(FZ、FCZ)、中央区(CPZ)和顶区(PZ)均诱发出差异显著的N400成分，该成分是判断标识语义的重要神经测量指标.