视觉加工负荷对工作记忆中时间序列线索效应的影响

郭 婷,金蓉蓉,沈晨杰,徐之涵

(宁波工程学院外国语学院,浙江 宁波 315211)

引言

工作记忆是指在进行认知任务时,用于临时储存和加工信息的一种资源有限的认知处理系统。在日常生活中,诸如语言理解、决策以及学习等高级认知过程普遍需要工作记忆的参与[1]。然而,尽管工作记忆在高级认知过程中发挥着核心作用,工作记忆能够存储的信息容量却非常有限[2-3]。为了突破工作记忆的容量限制,一些研究尝试通过回溯线索引导选择性注意,主动维护已存储在工作记忆中的视觉表征,以提升工作记忆的效能[4]。

多数研究将回溯线索范式与工作记忆中的变化检测任务相结合。在记忆阵列呈现之后,为被试提供一个视觉线索,将被试的注意力引导至与线索相关的记忆项目[5]。一些不同类型的视觉线索,如方向,颜色,形状等与记忆项目关联的视觉特征均可以被用于检索并提取视觉记忆表征,证实了回溯线索在操纵记忆表征过程中的有效性。另一方面,近期研究开始关注时间序列信息在工作记忆中的作用机制[6-7]。Heuer(2021)对比了时间和空间线索在视觉工作记忆表征提取中的作用,并指出工作记忆中的时间信息与空间信息具有相似的作用,可以灵活地存储或提取视觉记忆表征[8]。时间与空间信息被认为是工作记忆的语境信息,它们作为一个类似于上下文的情境存在,而其他非时空信息,比如颜色,形状,或者纹理等视觉信息则是以离散特征的形式绑定在空间与时间所构成的参考框架上[9]。在连续呈现的视觉记忆任务中,时间信息的处理流程是不可缺少的。但时间序列线索在调动视觉工作记忆表征过程中所发挥的作用依然有待澄清。

记忆负荷对记忆效能的限制,一直是工作记忆相关研究中广受关注的话题之一。前人研究指出,视觉工作记忆最多只能存储4个项目,无论这些项目的构成要素是否复杂[10]。另一方面,在线索提取范式中,回溯线索效应也可能会受到记忆容量的影响。Astle 等人(2012)使用空间位置信息作为回溯线索,考察了工作记忆负荷与回溯线索效应之间的交互作用。研究结果表明,在记忆阵列中的项目数量位于容量范围内(即小于或等于4个项目)时,被试能够根据线索提示有选择地记忆项目,从而在任务执行过程中降低记忆负荷。然而,当项目数量超过记忆容量限制时,被试却难以从线索中获得同样的益处[11]。这可能表明在记忆表征提取过程中,超负荷的记忆项目数量会减弱空间线索引导选择性注意对记忆项目优化的效果。

在时间序列线索提取记忆表征的实验任务中,记忆负荷的形式与传统的空间线索范式不同。在空间线索中,定向注意通常从同时呈现的多个记忆项目中提取一部分项目。然而,在时间序列线索相关任务中,涉及多个记忆阵列,而每个阵列中的项目数量并不代表整个试次中需要维持的项目总量。例如,考虑一个包含两个记忆阵列的试次,阵列1和阵列2各自有4个记忆项目。在这种情况下,试次中的记忆负荷为8个项目。实验任务要求被试从连续画面中提取一个记忆阵列,这些记忆项目分别存储在不同的时间序列位置,并通过它们所绑定的时间序列信息进行提取。与以空间线索为主的记忆表征提取不同,这种处理机制呈现出明显的差异。然而,目前为止,记忆负荷与时间序列线索之间的交互作用依然有待澄清。

本研究提出了两个假设。首先,本研究所采用的实验任务涉及连续呈现的多个记忆阵列,这些阵列的呈现次序可能会影响工作记忆效能。其次,记忆项目被分隔在不同的时间点呈现,而记忆负荷也被分布在不同的记忆阵列之中。与前人研究中使用单一记忆阵列获得的实验结果相比,记忆项目负荷对工作记忆效能的影响可能呈现不同的模式。为了验证研究假设,本研究将工作记忆中的变化检测任务与回溯线索范式相结合。实验中,我们连续呈现两个记忆阵列,并限制每个阵列中的记忆项目负荷在1～5个之间。通过利用时间序列信息作为回溯线索,要求被试检测特定的记忆阵列并评估线索效应,以考察工作记忆负荷对时间序列线索效应的影响。在此基础之上,进一步探讨了时间序列线索在工作记忆任务中的作用机制。

一、研究方法

本研究将从实验被试、实验仪器与材料、实验设计与流程以及数据分析四个方面介绍本研究中涉及的研究方法。

(一)被试

本研究依据实验设计(2×2×5被试内实验设计),使用G*Power 3.1(f= 0.25,α= 0.05, 1-β= 0.80)估算需要至少21名被试[12]。在此基础之上,招募22名本科生参与了实验。其中男性6人,女性16人,年龄为18岁至21岁,平均年龄19.7岁(标准差0.92)。所有被试均未参加过类似的实验,且都是右利手,无精神病史,无脑部损伤历史,视力或矫正视力正常,听力正常。所有被试均在实验前签署了说明实验内容的知情同意书,宁波工程学院伦理委员会批准了本研究涉及的全部实验。

(二)实验仪器与材料

实验在隔音环境下的暗室中进行。使用24英寸液晶显示器(ProLite GB2488HSU;120Hz刷新率;1920×1080分辨率)呈现实验刺激。被试坐在距离显示器75厘米的位置,使用下巴支架、额头支架和太阳穴稳定器固定头部。视觉刺激及实验程序使用MATLAB Psychophysics Toolbox编写[13]。

所有实验刺激都是在灰色背景(RGB: 180 180 180)下呈现的。记忆阵列由一个到五个不同色块组成,每个色块面积为0.8°视野角。记忆项目的颜色是从十种高度可辨别的颜色中随机选择而来:红色(255 0 0)、绿色(0 255 0)、黄色(255 255 0)、橙色(255 165 0)、深蓝色(0 0 139)、浅蓝色(0 255 255)、青色(0 139 139)、酒红色(139 34 82)、粉红色(255 20 147)和紫色(155 48 255),同一个试次中不会出现重复色块。从一个半径为3.0°的虚拟圆周上,等距离分配十个固定位置从中随机选取记忆项目呈现位置。回溯线索以视觉方式呈现单词(视野角为0.65°,颜色为13.8 cd/m2),线索要求被试从两个记忆阵列中关注指定的记忆阵列(“First”或“Second”)或同时关注两个阵列(“Both”)。探针刺激是从记忆阵列中选取的色块,视野角与记忆阵列相同 (0.8°),出现在同一试次记忆阵列中色块已经出现过的位置。

(三)实验设计与流程

本实验采取被试内设计,操纵了三个实验自变量:线索类型2(有效线索,无效线索)、记忆阵列2(记忆阵列1,记忆阵列2)和记忆负荷5(1,2,3,4,5)。实验流程如图1所示。每个试次开始前会出现一个十字注视点,呈现时间为200毫秒;500毫秒间隔之后,会连续呈现两个记忆阵列,记忆阵列呈现时间为300毫秒,间隔时间为1500毫秒;记忆阵列消失1500毫秒之后,出现回溯线索,呈现时间为300毫秒;回溯线索消失之后,间隔1500毫秒出现探测刺激,直到被试做出判断之后,探测刺激消失。回溯线索可以是有效线索 (“First”,“Second”)或无效线索 (“Both”)。如果回溯线索为“First”,则探测刺激将从第一个记忆阵列中选择;如果回溯线索为“Second”,则探测刺激将从第二个记忆阵列中选择。因此,“First”和“Second”都与记忆阵列对应,并且100%以有效线索的形式出现。在无效线索(“Both”)的条件下,探测刺激有50%可能从记忆阵列1中选择,50%可能从记忆阵列2中选择。

图1 实验流程示意图

实验被试被要求记住记忆阵列中颜色-位置的组合作为记忆项目,并通过按键盘上的F或J键来回答探测刺激是否与呈现在记忆阵列中的记忆项目一致。探测刺激有50%的概率与记忆阵列中呈现过的记忆项目完全一致。所有条件在实验中随机呈现。被试做出判断按键反应之后,按任意键开始新的试次。

回溯线索和记忆负荷条件在实验中随机混合进行测试。实验包括600个试次:“First”“Second”“both”各自200个试次。五种不同的记忆负荷条件各自在总试次数中占据20%比例。实验分两次执行,每次实验时长大约一小时左右。实验被试在每次实验开始之前都进行24个试次的练习,并且,在练习过程中,如果回答错误会有反馈,确保被试理解实验任务内容。正式实验执行期间,错误试次将不再反馈。

(四)数据分析

本研究采用信号检测论中的感受性指标d' = z (击中率)- z (误报率)来评估并对比有效线索与无效线索之间的差异,d' 数值越高,代表被试对刺激的反应灵敏度越高。主要统计分析均使用使用R-studio (2023.06.0+421)执行重复测量方差分析,并参照前人研究,以p<0.05作为显著性差异标准进行简单效应分析。

二、实验结果

本研究统计了不同条件下的反应时,d' 数值,以及与反应准确性相关的正确率及击中率,虚报率数据。描述统计结果如表1所示。

表1 不同条件下的反应时和准确率数据

(一)感知敏感度(Perceptual sensitivity:d')

线索类型2(有效线索,无效线索)× 记忆阵列2(记忆阵列1,记忆阵列2)× 记忆负荷5(1,2,3,4,5)重复测量方差分析结果表明:线索类型主效应显著:[F(1, 21)= 16.06,p<0.001,ηp2= 0.18];记忆阵列主效应显著:[F(1, 21)= 38.14,p<0.001,ηp2= 0.03];记忆负荷主效应显著:[F(1, 21)= 143.4,p<0.001,ηp2= 0.12];另外,记忆阵列与记忆负荷之间的交互作用显著:[F(1, 21)= 6.03,p<0.001,ηp2= 0.01],简单效应分析结果表明,在记忆负荷为1的条件下,记忆阵列1和记忆阵列2的d' 没有差异(p= 0.9),在记忆负荷为2～4个项目的条件下,记忆阵列1与记忆阵列2的d' 有显著性差异(p<0.001)。这些结果表明,时间序列线索在不同记忆阵列和记忆负荷条件下均有效提高了工作记忆效能,为时间序列线索在工作记忆提取过程中的作用提供了有力的证据;另外,记忆阵列呈现次序对记忆效能的影响,在不同负荷条件下呈现出了不同的模式(见图2,误差线表示±SEM)。

图2 不同条件下d' 的均值结果

(二)线索收益(d' benefit)

为了进一步考察记忆阵列以及记忆负荷对线索收益的影响,本研究采用d'benefit执行了记忆阵列2(记忆阵列1,记忆阵列2)× 记忆负荷5(1,2,3,4,5)重复测量方差分析。结果表明,记忆阵列主效应不显著(p= 0.41),记忆负荷主效应显著[F(1, 21)= 6.03,p= 0.04,ηp2= 0.05],另外,在本研究中没有观察到记忆阵列与记忆负荷之间的交互作用(p= 0.84)。这些结果表明,尽管记忆阵列1和记忆阵列2因为呈现次序先后导致记忆效能不同,记忆阵列2比记忆阵列1的记忆成绩要更好一些。但是时间序列线索对这些呈现于不同时间点的记忆阵列的提取效应是没有差异的,即便是出现较早的记忆阵列1,也可以从线索效应中得到同样的增强。另一方面,记忆负荷,也就是记忆项目总量会对线索收益造成影响。事实上,随着记忆项目的增加,线索收益也会随之降低。

三、讨论

本研究结合变化检测任务与回溯线索范式,操纵三个自变量:线索类型(有效线索,无效线索),记忆阵列(记忆阵列1,记忆阵列2)和记忆负荷(1,2,3,4,5),分别考察了记忆阵列呈现次序以及视觉工作记忆项目负荷对时间序列线索效应的影响。结果表明,工作记忆效能会受到记忆呈现序列位置的影响,记忆阵列2的记忆成绩高于记忆阵列1;然而,当时间序列线索介入到工作记忆提取过程之后,线索收益却不会受到记忆序列呈现位置的影响,记忆阵列1与记忆阵列2都可以从时间序列线索效应中获益。此外,记忆项目负荷对工作记忆效能和线索收益造成了类似的影响,项目负荷越高,记忆成绩越低;从时间序列线索中获取的收益也会随着记忆项目负荷的上升而降低。

本研究提供了明确的证据支持时间序列线索可以从多个连续的记忆阵列中提取指定阵列,并且,这种选择性注意有助于提高工作记忆效能。回溯线索引导的定向注意对工作记忆的增强在前人研究中已经得到验证[4, 14-15]。但是,以往研究中采用的回溯线索范式,多数是从一个特定的画面提取制定的记忆项目,未曾涉及到记忆阵列的更新对线索效应的影响。本研究结果证实了被记忆阵列2覆盖的记忆阵列1也能够从线索提取过程中获取收益。另一方面,线索并不仅仅能够提取单个记忆项目,而且可以将注意指向不同时间位置所绑定的记忆表征,以整体的形式提取记忆阵列。这些不同时间位置呈现的记忆项目,是以时间标记分组存储在工作记忆中的。这些结果进一步证实了时间序列信息与视觉工作记忆表征之间的关联[9],也就是说,记忆项目的时间信息也与颜色以及位置信息一起存储在工作记忆中,并可以被与之绑定的时间序列信息检索提取。

在记忆负荷对线索效应的影响方面,本研究发现时间序列线索效应与空间线索效应中的一些不同之处。具体而言,多数研究认为工作记忆容量上限为4个项目左右[16-17]。在同时呈现记忆项目的条件下,当项目数量超过工作记忆容量(8个项目)时,空间线索对工作记忆效能的增强作用会消失[11],表明记忆项目负荷的上升会对线索效应造成负面影响。Souza and Oberauer[18]提出,回溯线索的作用机制可能是通过将部分记忆项目置于优先状态,而放弃另一些未受到线索提示的记忆项目,进而减少记忆负荷对记忆效能所造成的负面影响。空间选择性注意进行重分配的过程与视觉工作记忆负荷共享有限的认知资源[19],因此记忆项目负荷的超载会导致回溯线索失效。而在本研究中观察到了不同的结果,即便是记忆负荷超过负载的情况下(10个项目),时间序列线索依然发挥了对记忆表征的增强作用。首先这种特殊的效应可能与记忆项目的呈现方式有关,虽然一个试次中需要保持的记忆项目总量较多,但单一记忆阵列中呈现的记忆项目却不超过五个。我们推测,时间序列线索采用了不同的方式在工作记忆中提取视觉表征,即选择性的记住某一个记忆阵列,而记忆阵列是以整体的形式被提取的。基于时间序列信息的注意分配指向于记忆阵列1或者记忆阵列2,而不是特定的某个记忆项目。因此受记忆负荷的影响较少,并保留了一些认知资源用于完成注意的再分配。另外,我们发现线索效应会随着记忆负荷的上升而下降。这些结果进一步证明了序列线索提取过程可能与视觉工作记忆处理共用认知资源,在记忆负荷较高的情况下,对认知资源的占用导致线索收益降低。

四、结论

本研究采用变化检测任务与回溯线索范式相结合的方式,探讨了记忆阵列呈现的时间序列位置以及记忆负荷对时间线索效应的影响。研究结果表明,尽管记忆阵列的序列位置会影响记忆成绩,但时间序列线索的效应在不同记忆阵列间保持一致,表明序列线索能够有效地从处于优势的“阵列2”以及已被更新且处于劣势状态的“阵列1”中提取信息,并产生同等的线索收益。此外,记忆负荷对时间序列线索的影响相对较小,即使在认知超负荷的情况下线索效应仍然存在,表明认知资源的分配受到了序列中记忆项目呈现模式的影响。这些发现有助于更深入地理解视觉工作记忆中时间序列信息的机制,并为如何通过重新分配注意资源来克服工作记忆容量限制提供了新的思路。