认知神经科学视角下的数字阅读认知机制研究进展

2023-12-21 10:58刘叶萍袁小群
图书情报知识 2023年6期
关键词:语义数字用户

刘叶萍 袁小群

1 引言

数字阅读本质是一个对承载于数字设备(台式电脑、平板电脑、手机、电子阅读器等)的数字材料(文字、图片、音频、视频等)进行感知和理解的认知加工过程[1]。透过用户认知和神经层面,对数字阅读进行研究,不仅能充分认识阅读行为背后的心理逻辑和思维方式,更能通过分析影响行为和认知发生及变化的神经基础,从根源上寻求引导和塑造大脑参与的有效途径,从而满足用户需求,推动阅读发展。

囿于访谈、问卷、行为实验等研究手段的局限性,以往对数字阅读的研究停留于描述外部现象或数据间的相关性,难以突破用户“黑箱”。认知神经科学(Cognitive Neuroscience)于19世纪70年代在认知心理学和神经科学发展的基础上演化而来,旨在采用功能性磁共振成像(functional Magnetic Resonance Imaging,fMRI)、功能性近红外光谱成像(functional Near-Infrared Spectroscopy,fNIRS)、脑电图(Electroencephalography,EEG)、脑磁图(Magnetoencephalography,MEG)、正电子发射断层扫描(Positron Emission Tomography,PET)、事件相关电位(Event-Related Potential,ERP)、事件相关震荡(Event-Related Oscillation,ERO)、眼动追踪(Eye Tracking,ET)等技术,从神经层面研究注意、决策、意义、语言等的形成及规律相关问题[2]。近年来,随着认知神经技术的成熟应用,数字阅读研究手段得到扩展,学者们对阅读过程中大脑激活区域、脑电反应、眼动模式进行研究,形成一批触及内部本质和因果关系的成果。但相关研究总体较为零散,有待进行系统梳理和总结,以便形成对数字阅读认知过程中各项要素、结构及功能的完整揭示,这对于数字阅读未来研究的理论创新和科学实践具有重要意义。

国内已有对认知神经领域数字阅读研究的概述。诸廉从体验、效果、过程、机制四个方面回顾已有研究,并构建基于认知神经工具的数字阅读研究框架[3]。但该文着眼于方法和思路层面,无意梳理研究中涉及的神经指标,更未透过神经基础提炼认知机制。基于此,本文着重对已有研究进行归纳梳理,构建并详细阐释数字阅读认知机制,具体回答以下两个问题:其一,从用户大脑活动出发,应当如何构建数字阅读认知机制框架模型,以清晰合理地反映数字阅读心理活动和认知功能?其二,已有认知神经领域前沿成果如何为科学回答“用户如何阅读”的问题提供支持证据,进而打开用户“黑箱”,推动数字阅读研究及实践的突破性发展?

2 研究方法

2.1 文献来源

本文透过认知神经领域研究来构建并解析数字阅读认知机制。为全面准确搜集相关文献,在初步调研后,形成以下检索策略:第一,选取Web of Science(WoS)和中国知网(CNKI)数据库分别检索国内外文献;第二,起始时间不限,检索时间截至2022年11月16日;第三,以主题为检索路径,构建中文检索式“SU=('数字阅读'+'屏幕阅读'+'在线阅读'+'网络阅读'+'移动阅读'+'手机阅读'+'电子阅读'+'新媒体阅读')*('认知神经科学'+'fMRI'+'fNIRS'+'EEG'+'MEG'+'ERP'+'ERO'+'PET'+'眼 动')”,英 文 检 索 式“TS=(((digital reading)or(screen reading)or(online reading)or(internet reading)or(mobile reading)or(e-book reading)or(hypertext reading))and((cognitive neuroscience)or(fMRI)or(fNIRS)or(EEG)or(MEG)or(ERP)or(ERO)or(PET)or(Eye-Tracking)or(Eye-Movement)))”;第四,筛选并剔除与主题无关的文献,最终获得46篇中文文献和201篇英文文献,作为本文调研范围。

2.2 框架模型

数字阅读认知机制涉及哪些心理活动和运行规律?认知心理学对阅读过程的描述可提供参考。Reichle集成注意机制和视觉处理方面的理论因素,提出E-Z读者模型,将阅读描述为字词注意、字词识别、眼跳控制三个阶段[4]。Mayer等则借鉴双重编码、认知负荷和建构主义等语义学理论,提出多媒体学习认知理论,将认知加工过程归纳为感知获取、组织理解、关联集成、整合提取四个阶段[5]。Nola的建构主义学习理论进一步强调人们通过反思来探索并建构新的知识和理解,以提升学习的意义和价值[6],这尤其符合数字时代阅读主体的能动性和参与性特征。综上,本文考察用户在数字环境下逐一触发并逐步强化的阅读行为和认知特征,提炼注意吸引、识别聚焦、关联推理、学习建构四个阶段,并以各阶段心理活动及其相互关系为逻辑主线,对认知神经领域研究所涉技术和指标进行拆解和归类,构建数字阅读认知机制框架模型(图1)。

图1 认知神经科学视角下的数字阅读认知机制框架模型Fig.1 The Framework Model of Digital Reading Cognitive Mechanism from the Perspective of Cognitive Neuroscience

从调研的247篇文献来看,已有研究主要采用fMRI、ERP、ET技术分析数字阅读认知过程。其中,fMRI从空间维度反映不同阶段大脑活跃区域和功能连接,提示阅读材料、心理和行为间的作用关系;ERP从时间维度反映各阶段神经活动诱发的脑电信号变化,辅助测量大脑对信息的处理过程和反应结果;ET通过跟踪眼球运动,研究与浏览、导航、聚焦等相关的视觉认知情况。

3 注意吸引:捕捉多模态感知特征,形成快速定向

数字阅读的第一环节是注意吸引,用户捕捉来自图文音像的多模态信息,提取感知特征并做出积极反应。面对动态分布、多元无序的数字信息,大脑会依据可用性和优先级来分配注意力资源,快速筛选和过滤并形成定向[7],体现出数字阅读的明确性特征。因此,如何有效传递感知特征以吸引注意力指向,便于触发后续心理活动,成为认知神经领域数字阅读研究的重要议题。

fMRI研究验证了多媒体学习认知理论提出的双通道假设,数字阅读中的视频和音频实现了视觉和听觉的激活与整合,并分别通过相应的神经通路对刺激信息进行摄入处理。其中,听觉分辨依赖耳蜗对频率信息的提取,在内侧膝状体(MGN)和听觉皮层进行加工[8],并等待进一步语音组装。听觉信号的摄入与视觉信号处理存在交互作用。视觉信息处理起源于初级视觉皮层(V1),通过两条并行路径完成:一是经V2、V4及下额叶皮层延至腹外侧前额叶皮层(vlPFC)的腹侧通路,又称“内容通路”,处理形状和颜色信息,并将单词的声音结构映射到相应的语义表示上[8];二是经V2、V5及后顶叶皮层到达背外侧前额叶皮层(dlPFC)的背侧通路,又称“空间通路”,负责运动识别和空间位置信息传递,并进行语音代码的检索组装及语义关联,将声音的知觉表示映射到相应的行为动作上,实现与特定区域视觉引导和方位导航相关的注意功能,并形成工作记忆流程[9]。用户的首次感知体验能够引发更强的心理反应,并通过作用于奖赏系统,可靠地预测后续选择倾向和说服效果。

ERP测度的beta波和失匹配负波(Mismatch Negativity,MMN)能够表征阅读材料诱发的注意过程。beta波的变化与注意力密切相关,其中,频率范围在12-15Hz的感觉运动节律(Sensorimotor Rhythms,SMR)成分增强,代表感知灵敏度和一般注意效果提升,15-18Hz的beta1成分则与记忆唤醒和反应速度呈正相关[10]。研究通过beta波差异比较了人们在纸质、台式电脑、平板电脑三种载体上阅读相同内容时的注意水平,纸张和平板引发的beta波更高,意味着更多认知资源的投入和唤醒状态的保持,尤其平板在情感吸引和后期记忆表现方面更具优势;电脑网站的beta波最低,引发的刺激和情绪反应也较少,代表更为轻松和专注的状态[11]。MMN是出现在刺激后100-250ms左右的负电位,代表刺激序列中重复模式发生改变(偏差刺激)而导致的预期违背,能够反映大脑在非注意条件下的信息自动加工和早期处理,并反推用户阅读中的注意程度及认知方式是否均衡[12]。

通过对眼球运动的精确描述,可表明大脑正在感知和参与的对象,并反映材料如何吸引注意和影响阅读行为[13]。ET研究显示,用户通过注视、眼跳等多种方式来将阅读目标置于中央凹区域,以形成便于感知的像。首次注视时间是阅读时落在某个兴趣区内首个注视点的持续时间,代表目标的注意吸引强度或搜索难度,可提示阅读场景或视觉信息的某些方面如何被优先提取[14]。两个注视点间隔的时间和跳动的距离分别是眼跳时间和眼跳距离,是反映用户知觉广度和注意效率的重要指标。眼跳时间越短、眼跳距离越大,代表一次注视所获取的信息量越大、阅读速度越快,是较高水平语义通达和阅读能力的早期特征[15]。面对海量信息,大脑会通过一种代偿机制来调控并形成新的视觉浏览模式和注意资源分配方式,以降低认知成本,如纸质阅读在翻页过渡时的眼动缺乏规律,而网页阅读中用户的首次注视点稳定落在新页面的起始位置,Nielsen进一步总结提出F型网页浏览模式[16]。随着视觉识别技巧的增强,用户往往能够在某种任务导向或需求驱动下,明确将注意力引导至繁杂材料中的重要信息上,呈现规约扫读和跳读的节奏,并提高信息整合加工水平[17]。同时,注意模式受到视觉线索的影响,如分析用户阅读网页时的首次注视时间及注视区域指标发现,相较文字而言,图片尤其是带有图像嵌入元素的超文本信息受到了更多关注,并导致更高识别度、认可度及回忆效果,有助于信息的沟通和传播[18]。考虑到数字环境中存在复杂干扰的情况,可通过凝视时间指标监测阅读时注意力是否分散,进而在新的文本设计中嵌入声音提醒和文字标记等多媒体功能作为缓解信号,通过视觉和听觉同步的双通道输入和注意力引导,帮助用户提高阅读专注[19]。此外,高亮显示、加粗字体、加大字号、下划线、箭头等低级视觉因素能够影响平均眼跳幅度、平均注视时间、注视次数,符合阅读规律的排版属性可提供背景信息和导航线索,提高目标关注和理解水平[20],但需重点把握目标信息质量,以使用户进一步产生信任并强化奖赏。

简而言之,fMRI测度的内侧膝状体、腹外侧前额叶皮层、背外侧前额叶皮层激活情况,ERP显示的beta波和MMN成分以及ET记录的首次注视时间、眼跳时间、眼跳距离指标,皆可表征数字阅读材料的感知特征和刺激反应,反应强度越高代表注意资源的分配和指向更多,后期阅读理解和记忆效果更佳。从神经基础层面剖析用户对于多模态阅读材料的注意水平和视觉模式,应用到数字阅读内容创作和生产实践中,可提高自身优质内容的显示度和吸引力,并辅以材料设计的顺畅体验和元素指引,形成生产主体所期待的用户阅读节奏和心理取向,实现在视觉行为层面的阅读引导和认知增强。

4 识别聚焦:进行问题导向型判断,做出信息决策

数字阅读的第二阶段是识别聚焦,从注意吸引阶段产生的信息趋近和集中,转向较为复杂的视觉识别、语义处理和信息决策。数字阅读更多被视为阅读和解决问题相交的领域[21],即用户着眼于指定阅读材料、信息价值与自身阅读需求、目标任务间的匹配,做出偏好性、相关性的判断和选择,呈现出数字阅读的实用性特征。从认知神经领域探索用户信息决策过程,明确不同预设目标下的任务需求和获取预期,能够留存注意资源并提升信息效能。

fMRI研究显示,随着阅读任务需求的增加,左下顶叶皮层(lIPC)参与来自视觉、听觉和体感的信息处理,以辅助语义加工和阅读理解,梭状回(fusiform gyrus)基于语音意识将视觉符号(词形表征)解析成声音单位(语音代码),以形成复杂话语的综合意义,内侧顶叶皮层(vmPC)则结合现实情境和先验知识,从语言线索中提取与自我相关的要义[22]。此外,用户浏览在线内容时的脑区活动能够预测态度偏好和决策选择,如伏隔核(NAcc)与选择偏好、点击行为和积极情绪反应相关,前脑岛(AIns)与信息过滤、注意规避和消极情绪反应有关[23],两者在用户观看视频时的激活情况可解释用户的注意参与过程并预测该视频在YouTube的实际播放量(群体决策结果),且预测效果比传统行为实验和主观报告测度结果更为准确[24]。

相关性判断是信息决策的一个重要方面。ERP研究发现,随着数字阅读过程的推进,用户阅读相关性和不相关性材料时的脑电数据差异逐渐增大,显示了大脑对于不同相关性材料的分类处理功能[25]。在刺激事件发生后约300ms检测到的正电位P300,能够区分显示相关和不相关的词语,代表刺激新颖性诱发的知觉联合皮层激活,反映记忆更新方面的分类处理和相关性判断过程,标志着朝向反应(orienting response)的出现和决策信心的增强[26]。另有关于响应控制方面的研究显示,产生于刺激后约400ms的晚期正电位(Late Positive Potential,LPP),敏感于与既定认知相关的情感唤醒操作,如令人愉悦的视觉刺激、积极词语诱发更大振幅LPP,代表大脑通过自上而下的调节策略来对阅读材料进行情绪标记、情境编码或重新评估等精细处理[27],反映了由情绪线索的动机关系产生的选择性认知资源分配[28]。对超链接做出点击决策是数字阅读中重要的相关性判断过程,alpha波是频率范围在8-13Hz的脑电振荡活动,通过比较纯文本阅读和超链接阅读发现,在类似超链接的选择过程中,alpha波频降低,代表执行工作记忆功能的负荷增加[29]。

ET研究发现,眼跳过程中副中央凹和边缘视觉的使用,能帮助用户从注视范围之外获取更多信息,以此指导眼动方向并增长阅读技能[30]。平均瞳孔直径被用于反映在线环境中的情绪唤醒,是预测阅读意图和点击倾向的重要因素,如超链接选择过程中检测到瞳孔扩张的增加[29],并对后续回忆效果产生影响[25]。数字阅读材料的超文本结构使大脑发展了非线性协同思维和多任务并行处理能力,形成信号识别、问题映射、手眼协调等新的策略以适应快速搜索、问题整合、频繁切换的需求。用户在检索、定位和导航时普遍采取灵活的相关性判断策略,即首先浏览搜索结果显示的多个条目,再专注并做出符合期待的选择,这一过程中的眼动模式与任务处理的准确性相关,可作为阅读习得结果的早期预测指标。如在文本检索和连续性文本定位活动中,用户倾向于零散地搜寻答案,因而注视次数少、平均注视时间短,代表更高的信息加工数量和字词解码能力;在准确的网站标签和超链接导航活动中,用户平均注视时间长、平均瞳孔直径大且差异小[14]。同时,阅读行为及目标选择受任务需求控制,与任务相关的文本片段会引起认知参与度的积极变化,表现为注视时间延长、头部运动减少,记忆测试结果也更好[31]。

显然,信息决策的关键在于用户基于材料解码、先验知识、任务响应形成的相关性判断。大脑左下顶叶皮层、梭状回、伏隔核、前脑岛区域的激活情况能够预测信息传递和语义处理能力,ERP测量的P300、LPP成分、alpha波及ET的平均瞳孔直径和平均注视时长指标能够表征用户相关性判断的心理过程,为确认信息决策中存在的分类处理机制提供了神经证据。面对超文本的非线性结构,理解用户信息识别、判断、决策中的偏好选择和影响因素,进而联系阅读任务、知识背景、生活经验来提高信息交互的匹配度和精简度,能够有效支持用户以积极的任务响应和决策信心推进后续阅读理解过程。

5 关联推理:实施关联性推导理解,完成意义通达

关联推理是整个阅读认知过程中最为重要的一环,不仅强化或削弱了用户对语义的前期识别,而且直接关系语篇的加工理解。在以解决问题和完成任务为导向的数字阅读中,用户往往实施与目标相关的关联、想象、推理等认知策略,实现语义通达,并形成有意义、有价值的信息关系,凸显数字阅读的关联性特征。认知神经领域研究在提出数字技术重组用户阅读目标和理解方式的同时,探析其作用机制和影响因素,为达到理想的理解和记忆效果提供依据。

用户在动态语境中进行关联推理时,需要迅速调动相关数字素养并采取多种认知策略,这将激活大脑不同功能区。fMRI研究显示,位于颞-枕叶交界处的韦尼克区(Wernicke's area)是感觉性语言中枢,主要参与高度情境化环境下听觉语言的分辨和理解;顶叶区具有辅助阅读理解的功能,位于顶下小叶的角回(angular gyrus)是视觉性语言中枢,参与建立视觉意象和听觉意象间的跨通道联系,与语义理解和记忆密切相关[32]。与信息加工相关的功能区集中出现在额叶区,大脑处理有意义的目标任务时,会更多激活左侧额下回眶部(lIFG),反映了特定阅读情境下的记忆提取、语义选择和演绎推理等加工过程[33],背内侧前额叶皮层(dmPFC)则负责将连续句子进行相互关联,并确定语篇是否连贯,进而产生推论和决策。

ERP研究显示,潜伏期约400ms的负电位N400,由有意义的刺激材料及相关语言操作任务诱发,常见于违反语义期待的契合性判断等高级认知冲突处理过程。通过分析N400时间段的差异波发现,相较抽象图标(无意义阅读材料),形象图标(有意义阅读材料)的N400差异波平均波幅更大,表现出记忆加工的新/旧效应及对测量任务的易化作用[34],并提示有意义/无意义维度可能比语言/非语言维度更重要[35]。

ET研究发现,注视时间的长短与语义通达情况和任务处理难度存在因果关系[36]。当注视次数较少、注视频率更高、注视时间缩短时,会形成趋向于连续和集中的视觉轨迹,能够预测更高的字词解码和语义提取能力以及对内容较好的阅读效率和理解效果[37]。回视指标可用于衡量语义通达情况和任务难易程度,反映用户阅读能力和重新加工过程,尤其是选择性、远距离的回视,有助于提升理解效果,代表了较强的阅读能力[38]。人们往往认为数字阅读会降低阅读理解能力和吸收效果,综合眼动模式和测试结果对不同阅读载体进行比较发现,数字阅读和纸质阅读的眼动模式和理解效果整体相等,仅在时间分配和记忆能力方面存在差异。如纸质阅读时人们先略读而后仔细重读,跨页面的重读行为更多,总体持续注视时间更长,表现为更高的阅读成绩和记忆程度[39]。数字阅读时人们的首次阅读时间更长,尤其阅读超文本时往往投入更多时间,但很少回视和重读,平均持续注视时间明显缩短,因而数字阅读在表层理解、工作记忆和处理速度方面表现更佳[40]。同时,比较利用台式电脑、电子阅读器、平板电脑阅读时用户的注视时间和回视指标发现,台式电脑的平均注视时间较长、阅读理解能力最差,平板的阅读速度、学习成绩和主观偏好态度最佳[41]。面对用户主观报告中对数字阅读时更低的感知理解和信心,有学者对阅读载体和认知努力程度、阅读惯性对阅读行为的影响进行比较研究,发现对于难度较低的材料,用户数字阅读时的眼动频率比纸质阅读时更高,代表更低的认知努力和思考水平,但阅读难度较高的材料时不存在这种差异[42]。从阅读惯性来看,惯性浅阅读用户通常眼跳距离大、注视次数少、单个注视点持续时间更长,且对不同类型阅读材料的眼动模式具有同一性[43]。这意味着阅读过程中理解效果的差异并非源于载体形式,而在于更高级的任务导向、认知努力及阅读惯性。事实上,数字设备还能提供更有利的阅读条件。如在特殊的人造光条件下,平板电脑的LCD显示屏比电子墨水屏甚至纸张具有更好的易读性,能够避免疲劳感,维持长时的舒适阅读,尤其有助于老年用户改善阅读理解和记忆效果[44]。

可以看出,用户在关联推理阶段对数字材料进行语义理解并形成意义关联,大脑韦尼克区、角回、左侧额下回眶部、背内侧前额叶皮层的激活是落实认知策略以实现成功阅读的先决条件,N400敏感于意义维度的记忆加工和任务处理,注视、回视相关指标可反映阅读材料理解难度和认知努力程度。泛在知识环境下,认知神经领域研究呈现了数字阅读认知策略的实施过程,发现用户在表层理解和关联学习方面呈现出的更优效果,应用到数字阅读在呈现方式、交互元素方面的功能设置和技术增强中,可提升阅读学习的灵活性和挑战性,鼓舞用户形成对阅读材料的深层理解,并提升下一阶段的思维重塑效果。

6 学习建构:重塑立体化思维方式,实现知识输出

数字阅读的最后一环是学习建构,以适应新的阅读方式和学习目标,用户在之前认知功能实现的基础上,通过反思、联想和创造等多维立体的思维方式,将了解到的信息转换为结构化的知识和实质性解决问题的能力[45],蕴含数字阅读的能动性特征。如何理清用户思维背后的心理活动和控制机制,引导正确且有效的输出结果,以在社会范围内激发阅读效能,成为认知神经科学领域数字阅读研究的前瞻领域。

大脑结构具有高度自适应和可塑性,将随环境、体验、任务而发生复杂且精密的变化。fMRI研究发现,纸质阅读促进神经元的联系和再生,从而更好地巩固记忆;数字阅读则激活神经元的连接与新生,以提高学习和输出能力[46]。具体而言,数字阅读将系统性地激活与视觉和听觉工作记忆、语言记忆和表达相关的功能区。如左侧颞中回(lMTG)参与整合不同感知特征及语义关系,实现语义信息的识别、记忆及创造性表达[33];左侧颞下回(lITG)参与更高级的视觉信息处理,其与枕-顶区的功能连接可正向预测用户阅读能力和学习成绩[47]。位于左侧额下回的布罗卡区(Broca's area)是运动性语言中枢,负责接收语音和语义解码信号,生成语言信息并编制发音程序,执行口语表达和深层次语法功能[32]。有关阅读材料的叙述性记忆生成、存储及转换依赖于海马区(hippocampus),与情感有关的信息收集和回忆能够增强海马区的记忆性能,印证阅读记忆的执行控制具有可塑性[48]。

用户认知的晚期阶段会对工作记忆进行加工和反馈,以巩固学习效果,实现知识迁移。ERP研究显示,刺激事件晚期350-600ms的晚期正成分(Late Positive Component,LPC)与回忆先前呈现信息和形成情景记忆的过程有关,LPC振幅随阅读材料的重复出现而增加,反映出词汇效应(对不同熟悉度和语义价值的文本进行分类处理)的降低以及记忆痕迹的构建和强化[49],意味着复现和积累能够调节大脑处理中对相应信息的记忆性能。LPC同时被视为识别评价过程的有效指标,反映了与P300类似的朝向反应,其较大振幅代表刺激材料占用大量心理资源并得到精细加工和充分评价。同时,在线评论、社会认同引发的认知重评、情绪压抑等交互属性显示出对LPC振幅的调节作用[50],意味着数字阅读可从口碑、共情方面触发一种自上而下的控制机制,使大脑产生积极的加工和评价。

ET研究发现,眼动模式可表征学习过程,并预测学习(理解和记忆)成绩。如早期左右扫视、非文本注视时间可视为直线式(Linear)学习策略的衡量指标,代表对阅读材料的浅层次表示;上下扫视、左右扫视等综合性眼球运动则表明更好的学习过程,可指示生成式(Generative)学习策略,反映对材料的深层次表征,有助于建立一个组织连贯的心智模型[51]。数字阅读支持用户在阅读过程中绘制结构图式(如矩阵、韦恩图、流程图),或划词标注并键入笔记,有助于形成符合生成式学习策略的眼动模式,提高大脑参与和学习效果,并创造更多的互动和阅读价值[52]。对比惯性浅阅读者和非惯性浅阅读者的眼动模式来看,眼跳距离大、注视时间短、注视次数少意味着阅读时投入的认知资源少,代表更高层的语义结构分析、学习加工水平较低,通过控制阅读目标、焦点条件等方法,校正阅读行为,可引导并加深阅读学习过程[43]。已有学者提出一种结合图像处理和眼动检测技术的实时监控系统,对用户学习加工过程中的眼球运动进行合理解释并提取有效规律,用于监督和改进学习机制和交互方法,以此增强数字阅读视觉体验和学习功效[53]。

总之,学习建构阶段用户会将之前三个阶段所获信息在左侧颞中回、左侧颞下回、布罗卡区、海马区进行综合整理并实现语义表达和输出。ERP中关于记忆性能和分析评价的LPC成分对于记忆加工和反馈机制的研究具有重要价值,ET研究提出的学习策略能够指导用户改善眼动模式和学习策略。从信息科学和知识管理角度来看,学习建构作为一种阅读后产生的输出效果,对于阅读价值的实现具有重要意义。认知神经领域研究提出了促进大脑参与和知识输出的方案,有助于瞄准用户思维方式来丰富数字阅读新形态、新产品、新场景,促进阅读文化的整体发展。

7 讨论

7.1 研究总结

数字阅读带来认知技能的此消彼长,弱化了纸质阅读对于沉思冥想、文学理解和记忆容量的追求,增强了信息识别、意义判断和问题解决的能力,从阅读动力、信息时效、思考程度、知识回报方面重新建立一套具有明确性、实用性、关联性、能动性的认知体系,以此提高阅读效率并改善阅读体验。

数字阅读始于注意吸引阶段,用户依据多模态感知特征和主观偏好形成定向关注。从引发注意到理解记忆涉及相关性判断,用户会以问题为导向进行信息分类处理,并形成朝向反应。聚焦特定信息后,用户会激活主题相关先验知识,采取多种认知策略来进行关联性推理,形成意义关系。学习建构是在前述阅读体验基础上实现的问题解决与综合发展,是实现阅读价值的重要表征。

作为传统研究方法和行为数据的有益补充,认知神经研究通过脑区活跃、脑电反应、眼动模式的猜测、实验、解释和应用,从刺激注意、先验知识、意义关系、学习输出等多维度揭示了数字阅读中的大脑处理过程,为理解阅读本质并引导行为和认知带来新的可能。敏感于脑区空间位置和功能连接的fMRI研究发现,内侧膝状体、腹外侧前额叶皮层、背外侧前额叶皮层的激活可反映大脑对视听刺激的处理;信息决策依赖于左下顶叶皮层和梭状回进行语义组装、解析和加工,奖赏相关脑区如伏隔核和前脑岛的激活情况可预测情绪反应和选择倾向,对后续活动水平具有先导效应;韦尼克区和角回是语言中枢,负责从视听信息中分辨和提取语义,左侧额下回眶部和背内侧前额叶皮层的激活可在一定程度上反映大脑在语义层面对阅读材料进行分析和推理的过程;视听工作记忆在左侧颞中回、左侧颞下回和布罗卡区中整合,并实现语言表达和输出,海马区的激活可触发记忆效应。可以看出,数字阅读时集中激活大脑左半球,尤其左额叶、左颞叶区域等与逻辑思考、推论理解、分析应用相关的功能区,形成新的思维链路以适应阅读需求和目标任务。敏感于脑电特征和时间进程的ERP研究发现,beta波对注意力分配和超链接选择十分敏感,MMN成分反映了对视听刺激的无意识处理;接受刺激后,用户会依据相关性进行信息分类和差异化处理,示意相关性判断结果和唤醒操作的P300和LPP对数字阅读信息决策动机关系的研究具有重要作用,alpha波敏感于超链接选择;N400成分能够在有意义的任务处理中反映记忆加工机制及对后续学习水平的影响;LPC成分提示重复的视觉体验能够强化记忆性能,以及情绪属性的交互作用对加工评价具有调控作用。ET研究有助于更加细致准确地考察用户阅读中的感知对象、兴趣区域和思考过程。首次注视时间、眼跳时间、眼跳距离可反映用户接触阅读材料初期的注意力资源分配和阅读节奏;敏感于心理反应的瞳孔直径变化指标可衡量情绪体验和阅读倾向,平均注视时长可间接提示用户整合信息并形成决策的心理过程;注视时长和回视轨迹与阅读材料的通达程度和理解难度相关,更短的注视时间和选择性回视对应流畅的视觉轨迹和任务处理,代表更佳阅读理解效果;注视时长和扫视指标可作为学习策略的外部表征,相关眼动规律可为校正阅读行为和改善学习功效提供指导。

7.2 研究意义

数字阅读是当代社会主流阅读形式,也是全民阅读的重要议题。认知机制则是数字阅读理论和实践研究的重要维度。本文提出了数字阅读认知机制的四个阶段,并以此建立框架模型,对国内外认知神经领域的数字阅读研究进行整体调研,分析各项心理活动和认知功能,从理论和应用层面阐述了认知神经科学技术与数字阅读认知研究的相互适应和多维求解方式。

在理论层面,本文引入一种客观途径,从大脑活动和神经基础角度考察用户内潜性、隐蔽性需求以及原本无形可考的思维链路,揭示了受限于言语能力、回忆偏差、表达意愿而无法显露的心理机制和行为逻辑。所涉神经数据与已有理论研究及行为数据互补,可更好地保证数字阅读理论研究与实践活动的严谨性、关联性和确定性。同时,本文将相关研究内容进行系统梳理和消化吸收,形成较为完善的框架模型,并以此为逻辑主线,呈现已有成果、拟解决问题及未来研究启示,为今后数字阅读的认知研究提供基本脉络和应用范式。此外,本文对数字阅读认知机制的研究在某种程度上也揭示了一般认知过程,能够启发教育、医学、人工智能等领域对于用户消费决策、社会交往、思维活动等的深入探索,或将为破解人类智能这一终极奥秘提供良好开端。

在应用层面,本文将大脑活动与特定个体联系起来,借助直观显示的思维共性,帮助数字阅读企业从复杂认知活动中细致识别用户行为和认知背后的逻辑和规律,为产品开发和营销实践提供科学指导。首先,注意吸引是数字阅读的前提,阅读材料可从视、听、味、触、嗅和第六感方面营造吸引用户注意的感知风格和阅读情境,并把握不同维度信息的搭配方式和刺激强度,以达到有效展露和深度感知的效果。其次,用户朝向反应、理解效果和学习能力实际受到阅读内容形式、主体经验、任务目标的调节,因此,利用视觉线索、口碑传播、冲突营销等手段潜移默化地引导用户产生被期望的视觉轨迹、决策结果和思维方式,能够确保积极的行为和认知效果。最后,数字阅读是一个动态发展的认知过程,用户工作记忆和阅读体验会影响下一阶段及未来阅读,并逐步强化注意偏好和学习模式,因此,加深市场细分并明确品牌定位,聚焦目标群体提供针对服务,通过重复积累形成一对一的品牌联想和心智占领,是强化阅读效能和品牌忠诚的可行途径。

7.3 研究展望

通过对国内外数字阅读相关认知神经研究进行总结和分析,本文发现已有研究在拓宽技术方法和数据来源的同时,也存在以下有待解决的问题。

第一,注意吸引阶段,已有研究深入分析了视觉和听觉刺激的感知机制和注意效果,但较少关注其他感知方式。如纸质阅读所特有的触觉、嗅觉等引发了何种与注意资源分配相关的神经反应,以及能否为在数字阅读中触发类似反应或进行模拟实现提供可量化的依据,多模态信息中不同感知维度的加工路径与交互作用如何,以及发生何种对阅读行为和理解效果可能的影响,均有待在未来研究中探索。

第二,识别聚焦阶段,学者发现了不同相关性信息的差异化处理机制,但未考察先验知识水平、任务目标难度及多重因素干扰下的阅读中断对阅读行为的影响,对于自下而上和自上而下等不同驱动方式下的判断方式与决策态度,应当提供何种外部线索来引导目标加工路径等问题仍待研究。

第三,关联推理阶段,研究论述了不同认知策略和语义处理在大脑层面的活动过程,确认了理解效果受到唤醒操作和先验知识的影响。进一步寻找动态语境中影响语义处理和阅读深浅的因素,加深对“用户为何产生这样的效果”问题的理解,并从正当性和合理性方面对“理解效果”进行重新评估,避免误识和误判,是未来研究中的重要课题。

第四,学习建构阶段,学者提出了影响记忆和表达的脑区及改进学习的策略,然而与记忆碎片、记忆痕迹相关的连贯行为如何影响未来阅读中刺激感知和信息决策的研究尚未发现。因此,今后研究可围绕碎片化、多元化信息回忆对于感知注意和加工理解的影响效应方面展开。

第五,在认知神经科学领域,越来越多的共识是行为和认知的出现也源于脑区的交流和连接,如关联推理时既需回忆理解上下文语义,也需综合考虑阅读情境、联系自身经验,是一个非模块化的脑处理过程。因此,进一步探究脑区功能连接和交互影响,能够为全面立体地理解数字阅读本质和特征提供更多支持证据。

最后,受实验器材和测试条件等限制,已有研究主要探究单一个体的神经活动,限制了实验对现实的模拟和洞察。因为从社会文化的角度来看,数字阅读不仅是个体的心理过程,也是由交流分享形成的互动关系和文化认同[54]。基于fNIRS的超扫描技术支持同时对多个用户的大脑进行扫描和成像,未来研究可以此分析验证互动媒体中的参与行为、社交情境下的人际关系等多项社会化阅读问题,加深对不同场景中媒介和神经同步间关系的理解。

总体而言,技术旨在增强阅读体验和激发阅读效能,未来数字阅读研究可从认知神经科学视角出发,结合元宇宙背景下综合发展的脑机接口、数字孪生技术在捕捉脑电信号和模拟数字时空方面的运用,考虑ChatGPT在生成文本和辅助决策方面的渗透,建立多渠道、多维度数据驱动的用户行为和认知模型,增强对于用户阅读习惯、内在心境、价值诉求的理解和判断,为数字阅读产品服务设计、资源组织推送、数实融合体验、知识理解迁移等提供更多新的方法和依据。

作者贡献说明

刘叶萍:设计研究方案,文献收集和论文撰写;

袁小群:提出研究方向,论文修订。

支撑数据

支撑数据由作者自存储,Email:liuyeping@whu.edu.cn。

1.刘叶萍.catalog.xlsx.文献梳理目录信息.

猜你喜欢
语义数字用户
语言与语义
答数字
关注用户
数字看G20
关注用户
“上”与“下”语义的不对称性及其认知阐释
关注用户
认知范畴模糊与语义模糊
如何获取一亿海外用户
成双成对