学前教育评估人员专业素养指标体系的构建

2024-03-27 15:47潘月娟黄晶
学前教育研究 2024年2期
关键词:德尔菲法专业素养

潘月娟 黄晶

[摘 要] 明确学前教育评估人员专业素养是保障和提升学前教育评估人员专业水平、推动学前教育评估队伍专业化建设的起点。本研究采用三轮德尔菲法,建构了学前教育评估人员专业素养指标体系,具体包括评估理念与道德、评估知识与技术、组织与实施3个一级指标,评估理念、职业道德、评估知识、评估技术、组织协调和沟通交流6个二级指标和23个三级指标。该指标体系为遴选、培训、指导、考核学前教育评估人员提供了参考框架,并为学前教育评估人员的自我反思与专业提升提供了依据。

[关键词] 学前教育评估;评估人员;专业素养;德尔菲法

一、问题提出

为了满足我国人口变动趋势和教育事业发展的要求,高质量发展成为新时期学前教育事业发展的重要战略目标。学前教育高质量发展要求深化学前教育评估改革,切实发挥学前教育评估的支持促进作用。评估能否发挥促进作用取决于评估活动质量的高低,而评估活动的质量又受到从业者能力、评估环境和支持资源等多方面因素的交互影响。[1]其中,评估人员作为评估活动的直接实施者,是影响评估活动质量的关键因素。[2][3]由于受教育对象的年龄和能力的制约,学前教育阶段的评估相比其他学段更强调基于教育现场、融入教育过程的直接信息的采集和解释,评估活动的质量更多地依赖评估人员自身的专业素养。但是,长期以來,我国学前教育评估制度和实践未能重视评估队伍的专业化建设,多数地区的学前教育督导评估人员以兼职人员为主体,遴选方式以推荐为主,培训内容缺乏科学系统的设计。[4][5]整体而言,评估人员队伍流动性大、专业性不足的问题突出,在一定程度上阻碍了学前教育评估的功能发挥。因此,当前学前教育评估改革亟须加强评估队伍的专业化建设。

近年来,我国学前教育相关政策日益重视评估人员队伍的专业化建设,但相关主题的科学研究较为滞后,未能积极、及时地回应学前教育政策要求和实践需求。2018年,《中共中央 国务院关于学前教育深化改革规范发展的若干意见》首次明确要求“建立一支立足实践、熟悉业务的专业化质量评估队伍”。2022年,《幼儿园保育教育质量评估指南》再次强调要切实加强评估队伍建设,强化评估人员专业能力建设。这些政策的贯彻落实要求科学认识评估人员专业素养指标体系。但是,国内教育评估领域仅有少数文献关注到评估人员的资质问题,[6][7][8][9]已有学前教育评估研究主要集中在评估工具和体系、质量标准和现状等主题上,虽有学者关注到当前学前教育评估人员专业素质问题,[10][11]但主要是提出理论构想或介绍国外经验,[12][13][14]鲜有实证研究严谨地考察分析包括学前教育在内的评估人员专业素养的内涵与结构。因此,研究学前教育评估人员专业素养具有重要的政策价值和实践意义。

近20年来,美国、加拿大、日本、新西兰、英国、南非等国家的评估协会致力于推动评估专业化,对评估人员专业素养做了较多的探索和研究,陆续出台了评估人员专业能力框架或资格标准,促使评估实践不断成熟,逐渐走向制度化和专业化。[15]其中,美国、加拿大、日本的评估协会还开展了评估人员认证项目。日本评估协会提供的三种证书认证之一就是学校评估人员。[16]但是,这些评估人员能力框架都是指向一般的项目评估,涵盖面向政府、企业、社会公益组织等不同内容领域开展评估的人员,并没有细致区分评估所涉内容领域的特殊要求。目前,仅有少数研究专门考察了教育项目评估人员的专业能力。例如,迪亚兹(Diaz)等人采用德尔菲法调查了美国合作共育项目来自31个州的46名评估专家,分析了评估专家对合作共育教育者(为兼职工作者,评估教育项目是其职责之一)这种非正式教育评估人员的能力期望,结果发现能力期望侧重在评估方法技术方面。[17]虽然国外评估协会和学者在建构评估人员专业素养指标体系时的思路和侧重点上存在差异,但就职业道德、评估技能、评估实践、人际交往等方面提出了一些共同要求,这为研究我国学前教育评估人员的专业素养提供了有意义的参考框架。

然而,评估是一种根植于价值和意义体系的价值判断活动,必然受到文化、制度等情境因素的影响。不同国家和文化对什么是评估、为什么评估、如何评估等基本问题的认识与态度,以及对评估制度、模式和评估人员角色职责的安排都存在较大差异。由此,对评估人员的角色标准期待也会有所不同。多个国家的评估协会和学者以美国评估协会(American Evaluation Association, AEA)和加拿大评估协会(Canadian Evaluation Society, CES)的评估人员专业能力框架为基础进行了本土化研究,都发现了一些具有文化特殊性的期望要求。例如,韦希佩哈娜(Wehipeihana)等人分析认为,新西兰评价协会研制的评估人员能力框架的独特之处就在于对文化与价值的重视。该框架不是将文化能力作为独立并行的维度,而是将其作为核心融入到情境分析与参与、系统的评价实践、评价项目管理、反思性实践和专业发展四个维度之中。[18]李(Lee)等人以斯蒂文(Stevahn)等人的“项目评估人员核心能力”(Essential Competencies for Program Evaluators)为基础框架,先采用德尔菲法对台湾高等教育评估与认证委员会的12教学评估专家进行了两轮征询,[19]然后采用李克特评定和模糊评定对236位教学评估专家进行了再次调查。[20]先后两次研究的样本量和研究方法不同,但教学评估专家的判断结果都是评估专业实践的重要性最高,而项目管理和情境分析最低。就具体条目而言,“回避可能的内部利益”“确保信息的保密性”等职业道德要求的重要性很高。这些研究结果意味着在考察教育项目评估人员专业能力框架时必须重视文化特殊性。

为了解我国背景下学前教育这一特殊领域的评估人员应具备怎样的专业素养,本研究尝试在分析我国相关政策要求、国外项目经验与实证研究文献的基础上,参考AEA和CES的评估人员专业能力框架,采用德尔菲法征询来自学前教育评估各领域专家的意见,构建学前教育评估人员的专业素养指标体系,以为评估人员遴选、考核、培训、指导的标准研制和体系设计提供科学依据,推动我国学前教育评估队伍的专业化建设和学前教育评估质量的提升。

二、研究方法和步骤

(一)研究方法

本研究采用德尔菲法建构学前教育评估人员的专业素养指标体系。德尔菲法是在项目规划、 政策制定、需求评测等领域广泛应用的一种研究方法,许多学者也采用了这种方法来构建评估人员专业能力框架。[21][22]

一般来说,专家咨询小组的人数一般在8到20人。[23]在大多数情况下,三轮咨询通常足以收集所需信息并达成共识。[24]本研究采用目的性抽样邀请了21位从事学前教育评估研究或实践的专家参与问卷咨询,包括高校教师、教育行政人员、教育督导、幼儿园园长、教研员等,涵盖了评估研究者、评估实施人员、被评对象负责人等角色。专家组成员构成及基本信息如表1所示。

本研究通过专家自评的方式调查了参与专家的权威程度。专家权威程度与其对指标作出判断的依据(Ca)和对指标的熟悉程度(Cs)有关,其中Ca根据内容的可信程度分为实践经验、理论依据、同行了解和直觉四类,Cs采用李克特6点计分法(0=不熟悉;1=非常熟悉)。专家权威程度系数(Cr)为判断依据系数和熟悉程度系数的算术平均值,即Cr=(Ca+Cs)/2,专家权威系数越高,专家权威程度越高。[25]本研究统计数据显示,几轮咨询的Cr总体均值为0.75(Cr≥0.7即可接受),参与专家在学前教育评估领域具有一定权威性,研究结果可靠。

专家积极系数反映了专家对本研究的重视和关心程度。本研究共进行了三轮专家咨询,发放问卷数量依次为21、21、17份,回收问卷数量依次为21、19、15份,专家积极系数依次为100%、90.48%、88.24%。总体上,专家积极系数较高,大多数专家重视并积极参与本研究。

(二)研究工具

本研究自编三份《学前教育评估人员专业素养指标调查问卷》(以下简称《问卷(一)》《问卷(二)》《问卷(三)》)。《问卷(一)》用于咨询专家对初步拟定的学前教育评估人员专业素养维度和指标的意见和看法,分为四个部分:第一部分为基本人口学信息;第二、三部分征询专家对初拟维度划分和指标的态度和看法(1=删除;2=修改;3=保留),通过开放性问题收集修改建议;第四部分要求专家对自身权威程度进行自评。《问卷(二)》及《问卷(三)》用于咨询专家对经过前一轮征询后修改的指标体系的认可程度,采用5级量表(1=非常不认同;5=非常认同)。

(三)研究步骤

本研究分两个阶段进行,第一阶段为文献分析。在该阶段主要分析国内21个省市的学前教育评估和督导人员遴选规定、国外重点国家和地区的学前教育评估项目的人员规定、AEA颁布的《AEA Evaluator Competencies(2018)》和CES颁布的《Competencies for Canadian Evaluation Practice(2018)》,以及国内外有关项目评估或教育评估人员专业素养的研究文献,初步拟定学前教育评估人员专业素养的维度和指标,编制专家咨询问卷。

第二阶段采用德尔菲法进行三轮专家征询,每轮征询预留大约两周的作答时间。第一轮征询向21位专家发放《问卷(一)》,计算均值、标准差、差异系数、满分率、专家积极系数、权威程度等统计量,并依据专家建议修改专业素养指标。第二轮征询向专家发放修订后的《问卷(二)》,获取第二轮反馈意见,进一步优化专业素养指标。第三轮征询向专家发放《问卷(三)》,呈现再次修改后的指标体系,获取专家的认可程度,最终形成学前教育评估人员专业素养指标体系。

(四)數据统计与处理

本研究使用Excel软件计算各指标的均值(M)、变异系数(CV)、满分率(F)和标准差(SD)。其中,均值表示专家认可程度,均值越大,得分率越高,专家认可程度就越高;变异系数是标准差与平均数的比值,表明专家协调程度,值越小,专家意见协调程度越高;满分率表明指标满分的比率。此外,还计算了每个统计量的均值、范围和标准差。

本研究主要采用界值法筛选指标,根据统计数据调整专业素养指标,即删除低于均值界值和满分率界值并高于变异系数界值的指标。为避免重要指标被剔除,对于有一个或两个尺度不合要求的指标(例如只有变异系数高于界值),在充分考虑专家提出的修改意见的基础上,经由研究团队讨论后修改。[26]

三、研究结果

(一)初始学前教育评估人员专业素养指标体系

通过分析国内政策要求、国外项目经验以及相关实证研究结果可以发现,评估人员专业素养框架普遍涉及以下三个方面。

其一,良好的专业态度和职业道德。[27]评估人员既要积极学习、不断反思提升,又要具有职业承诺。[28]教育评估活动对评估人员的职业道德提出了较高要求。我国香港地区在选拔教育督导评估人员时会引入外部独立人士,即目前不在教育界服务的幼儿教育专家担任观察员,以保证督导评估的公平性与公正性。[29]深圳市教育督导评估专家遴选也明确要求督导评估人员“未在第三方评估机构任职或兼职”。[30]

其二,丰富的专业知识与技术。一般项目评估人员专业能力框架都包含评估专业知识与技术这一维度。例如,美国学者斯蒂文(Stevahn)和金(King)等人将61种不同能力划分为专业实践、系统调查、情境分析、项目管理、反思性实践、人际交往能力6个领域。[31]这一评估人员专业能力框架得到广泛认可和使用,许多评估协会和学者都是以此框架为基础展开研究的。加尔珀特(Galport)和阿扎姆(Azzam)对403名AEA成员进行个人调查和焦点小组访谈后发现,专业实践和系统调查能力是最为重要的两项能力。[32]但大多数学前教育评估项目仅仅要求具备学前教育相关的学历和工作经验,并未就评估知识与技术提出具体要求。例如,湖南省衡阳市要求教育督导评估专家“具有大学本科以上学历或者同等学力,从事本行业、领域或者机关行政管理、教育管理、教学、教育研究工作 10 年以上,工作实绩突出,在本地域、本行业(学科)有一定影响力”。[33]美国Keystone Stars项目[34]和北卡罗来纳州幼儿教育评估项目[35]都要求评估人员有幼儿教育经验。

其三,良好的组织协调和沟通能力。这包括具有韧性、决策能力、沟通技巧、团队合作和组织协调能力。[36][37]例如,北京市教育督导专家遴选要求就提出“具有较强的组织协调、沟通表达、综合研究分析能力”。[38]

除了以上三个方面,AEA和CES的评估人员专业能力框架还包含情境分析和组织管理两个维度。其中,情境分析是指评估人员关注、理解和回应评估环境、利益相关者、文化传统等特征的能力。如AEA(2018)的“情境领域”(Context Domain)涉及评估场地、利益相关者、组织结构、文化多样性、历史传统、价值观、政治、经济、权力和其他特征。组织管理包括评估人员在评估工作计划、时间安排、资源分配等方面的能力。又如CES(2018)的“管理实践能力”(Management Practice competencies)中包括“确定并有效使用评估所需的人力、财务和技术资源”“协调其他团队成员的工作”“与所有利益相关者传达评估实施进度”等。为了解我国背景下人们对学前教育评估人员的角色期待,充分揭示评估人员专业素养的领域特殊性和文化特殊性,本研究在初始专业素养指标体系中加入了组织管理和情境分析两个维度。

综合以上分析,本研究拟定初步的学前教育评估人员素养指标体系包含5个一级指标,43个二级指标。具体包括五个方面。A评估理念与道德,主要关注评估人员的评估理念与道德素质,包含9个二级指标,例如学前教育理念,对评估标准、指导方针和道德规范的遵守与应用,专业自我发展意识等。B评估知识与技术,主要关注评估人员的评估知识与实施评估的专业技术,包含11个二级指标,例如评估领域相关的学科背景知识、评估所需的方法等。C评估实施与管理,主要关注评估人员的项目管理与实施能力,包含9个二级指标,例如确定、监督和协调评估项目所需的工作计划、资源等。D评估情境理解,主要关注评估人员对评估情境的理解、分析能力,包含8个二级指标,例如关注评估所处的自然及社会文化环境、评估涉及的利益相关者等。E人际交往与沟通,主要关注评估人员的社会交往和沟通能力,包含6个二级指标,例如与利益相关者建立积极关系的能力、是否具备良好书面沟通技能等。见表2。

(二)三轮专家意见征询情况及指标调整

1. 第一轮专家征询。

第一轮征询中各级指标的均值、满分率以及变异系数如表3所示。统计结果显示,一、二级指标总体变异系数CV的均值为0.173(一般认为CV在0.00~0.25之间即符合要求)。总体上,专家意见协调度较好。

第一轮征询后,结合专家意见,经过研究团队讨论,对初始学前教育评估人员专业素养指标体系做出了大幅度的调整,主要包括修改框架层次、删除或增加指标、变更指标所属领域、修改指标名称及表述。具体情况如下。

第一,将整体框架由原来的二级指标体系改为三级指标体系,一级指标由原来的5个改为3个,并根据三级指标提炼出二级指标。其中,A评估理念与道德包括评估人员的评估理念(A1)、职业道德规范(A2)和自我发展(A3)3个二级指标以及10个三级指标;B评估知识与技术包括评估人员实施评估活动所需的评估知识(B1)以及评估实施所需的专业技术(B2)2个二级指标及8个三级指标;C组织与实施包括评估人员在实施评估过程中的组织协调能力(C1)和沟通交流能力(C2)2个二级指标以及8个三级指标。

第二,原有的43个二级指标经删减或合并,形成了26个三级指标。根据统计结果,首先删去了低于均值和满分率的界值并高于变异系数界值的指标。例如原指标“参与专业评估活动,为评估行业及其实践社区做出贡献”的均值为2.476(M<2.760)、变异系数为0.303(CV>0.189)、满分率為0.619(F<0.779),故删除该指标。对于有一个或两个尺度达到删除标准的指标,若专家的详细意见为表意不清或表述不够具体,则不予删除,仅调整指标表述;若专家的详细意见为质疑指标本身的适宜性并说明删除缘由,则删除。例如,原指标“在评价的所有程序和各个方面保持公开、透明”(M=2.810>2.760,CV=0.214>0.189,F=0.905>0.779),专家指出“任何评估都有讨论和商榷的地方,过于公开反倒不利于开展工作”,因此将该指标删除。此外,合并了范畴重合的指标并调整所属领域,如将原本在D评估情境理解维度下的“D1尊重、识别并回应评估项目所处的多种人文和自然环境”“D2确定利益相关者的需求及其参与能力,同时承认、尊重并回应”和“D5在评估过程中,关注并响应组织的变化和评价项目环境的变化”合并为一个指标——“理解、分析并回应社会文化、组织、利益相关者等因素与评估的相互影响”,并纳入C组织与实施中。

第三,增加三级指标。例如,评估理念方面增加“坚持以发展为目的、以事实为依据,开展科学评估,扭转不科学的教育评估导向”,以及评估技术方面增加“准确解读和应用学前教育评估标准”。

第四,修改含义或表述模糊的指标,使得指标的内涵更加清晰明确、切合主题,表述通俗易懂。例如,将原指标“在评估中利用自我发展意识和反思性思维来不断改进实践”修改为“针对评估工作中的现实需要与问题,进行探索和研究”。

因此,经过第一轮专家征询,修改形成具有3个一级指标、7个二级指标以及26个三级指标的学前教育评估人员专业素养指标体系。

2. 第二轮专家征询。

第二轮专家征询将修改后的学前教育评估人员专业素养指标体系通过电子问卷的形式发放给专家。统计结果显示,一级指标、二级指标、三级指标的总体变异系数CV均值为0.096。整体来说,专家对于修改后的学前教育评估人员能力指标体系认可程度较高。

第二轮仅有少数专家提出了不同意见,数据处理方式与第一轮相同。专家意见和数据统计发现的问题集中在三个方面:一是质疑部分素养指标对于评估实施人员而言要求过高,例如,学习新的评估理论;二是A3自我发展达到删除标准,是否需要将其纳入评估理念和道德维度;三是组织协调下的两个指标“C1-2协调、监督评估过程和质量”(M=4.474<4.618,CV=0.216>0.185,F=0.684<0.760)和“C1-5理解、分析并回应社会文化、组织、利益相关者等因素与评估的相互影响”(M=4.421<4.618,CV=0.217>0.185,F=0.632<0.760)都达到了删除标准。

根据专家意见做出以下修改:第一,在二级指标上删除A3自我发展指标,删减原“A3-1认同学前教育评价的专业性,积极参与专业学习活动,不断学习最新的评价理论和实践”并合并到“A1-2理解学前教育评价的意义,认同学前教育评价的价值”中,删减原“A3-2自觉反思和克服自己的偏见和局限,改进评价工作”并合并到“A1-3坚持以发展为目的、以事实为依据,开展科学评价,扭转不科学的教育评价导向”中,同时删除“A3-3针对评价工作中的现实需要与问题,进行探索和研究”。第二,在三级指标上,根据专家的详细意见修改表述。

第二轮修改后形成了包含3个一级指标、6个二级指标以及23个三级指标的学前教育评估人员专业素养指标体系。

3. 第三轮专家征询。

经过三轮专家征询后,指标的总体变异系数CV从第一轮的0.173逐渐缩小为第三轮的0.049,表明指标逐渐趋于合理,专家意见逐步达成一致。

当共识率高于80%时,表明专家已达成共识,可以考虑结束专家意见的征询。[39]本研究认为,专家选择“非常认同”视为对该指标的认可,即在所有指标上该选项所占比例在80%及以上,且标准差小于1时,通过专家一致性。经过两轮专家意见征询与修改,在第三轮专家征询中,专家对3个一级指标的共识率均在80%以上,表明专家对于各个指标的看法已达到共识,因此结束专家咨询,最终形成了包含3个一级指标、6个二级指标以及23个三级指标的学前教育评估人员专业素养体系(见表3)。

四、讨论

明确学前教育评估人员专业素养的构成是保障和提高学前教育评估人员专业素养的起点。本研究借鉴国内外研究成果,采用德尔菲法,通过三轮专家征询,提出了一套包含3个一级指标、6个二级指标及23个三级指标的专业素养指标体系。该专业素养指标体系既反映了不同被评领域评估人员专业素养的共同成分,也体现了中国背景下对学前教育评估人员专业素养的特殊要求。

(一)学前教育评估人员专业素养具有跨领域的共同成分

本研究中,被访专家提出的指标修改建议充分证实了国内外对于评估人员专业素养的期待具有某些共性。评估理念与道德、评估知识与技术以及组织实施能力都被视为评估人员专业素养的重要组成部分。评估人员应当具备怎样的专业素养首先取决于评估活动的本质。评估活动本质上是在事实判断基础上做出的价值判断。信息采集与分析、组织与实施是揭示被评对象是什么样的事实判断过程,而评估理念与道德则是影响价值标准的关键。这三个维度成分是不同文化、不同模式和内容领域的评估都必须涉及的过程和特征。因此,我们可以看到,针对不同国家的政府评估人员、教育项目评估人员等不同领域的评估人员提出的专业能力框架都包含了这三个维度成分。同理,学前教育评估人员专业素养也应该包含这三个成分。

(二)我国学前教育评估人员专业素养同样具有文化特殊性

在本研究的三轮意见征询中,来自各层面的学前教育评估相关专家最重视评估理念与道德,而对反思实践能力、管理能力、情境分析能力作为独立的评估素养维度的认可程度较低。这与李(Lee)等人的研究结果有较高的一致性。可以说,这种差异在一定程度上反映了我国社会文化价值观念以及学前教育评估制度和实践的特点。首先,我国社会文化中的差序格局、高权力距离、人情关系为重等特征容易影响评估过程和结果的公正客观,降低评估质量和被评对象的评估满意度。[40][41]因此,评估人员的职业道德操守在中国背景下的学前教育评估中尤显重要。其次,我国20世纪80年代末90年代初建立实施的学前教育评估制度一直重视由政府主导的、以问责为导向的外部评估,评估人员只是既定评估方案和标准的执行者,无需考虑评估模式的选择和方案设计,因此,我国学前教育评估实践较少强调评估人员的管理能力。再次,以问责为导向的外部评估重在被评对象之间的横向比较和排序,强调要确保评估标准的统一、信息的客观、结果的公正,要求评估人员尽量避免因被评对象及其所处情境的差异和多样性造成评估的相对性与主观性。因此,我国学前教育评估实践较少关注评估人员的情境分析能力。最后,在我国当前学前教育评估制度安排中,评估人员主要由督学、学前教育行政人员、教研人员、幼儿园园长、骨干教师、高校专家等兼职担任,具有较强的临时性和流动性,导致对这些兼职评估人员的管理较少,也较难从评估人员专业成长发展的角度进行长远规划,因而对评估人员的反思实践能力重视不足。

五、建议

基于上述研究结果,本部分尝试提出如下提高学前教育评估人员专业素养的对策及建议。

(一)出台学前教育评估人员专业素养指标框架,完善评估人员遴选和考核制度

目前,我国学前教育评估人员主要是由教研员、幼儿园园长组成的兼职队伍。而以兼职人员为评估人员主力是当前许多国家学前教育评估的普遍做法。英国学校督导政策自2012年开始,要求增加学校校长和教师作为兼职评估人员,以提升评估人员对被评学校的反馈指导能力。[42]就已有研究结果来看,无论评估人员是兼职还是专职,其专业素养都是影响评估活动质量的关键。因此,依据学前教育评估人员专业素养框架加强对评估人员的遴选和考核是当前我国提高学前教育评估人员队伍专业水平的一条可行路径。首先,教育行政部门或学前教育评估专业组织可以根据我国社会文化和学前教育评估制度实践厘清评估人员角色职责,出台学前教育评估人员指标框架,为学前教育评估队伍专业化建设提供依据。其次,地方教育行政部门应完善学前教育评估人员遴选标准和方法,全面涵盖、精準把握评估人员专业素养的核心要素和特征,而非仅仅从管理经验、学历和荣誉等方面进行遴选。最后,地方教育行政部门应制定学前教育评估人员考核办法,充分发挥专业素养指标体系的导向功能,激励评估人员持续提升专业素养,约束评估人员的评估实践行为。

(二)依据专业素养指标框架,加强学前教育评估人员的培训和指导

本研究的结果表明,学前教育评估人员专业素养是一个多维度、多层次的复杂结构。兼职学前教育评估人员面临从管理者、教育者、研究者等角色向评估者的转变,其评估专业素养并不会伴随角色的转变而自然提高,因此评估人员需要得到有效的培训和指导。第一,地方教育行政部门应依据专业素养指标框架,完善学前教育评估人员教育培训制度,明确对评估人员任职期间的培训要求。评估人员的培训输送来源可以是多样的,但是都应遵循统一的专业素养指标框架,以确保评估人员的专业资质。例如,英国教育标准局(Ofsted)仅直接聘用少量的全职皇家督学,学校评估工作主要由大量的独立督学完成。这些独立督学由三家第三方机构提供和培训,由Ofsted雇用和管理。Ofsted要求独立督学在任职期间接受一定时间长度的培训。[43]第二,专业组织应依据专业素养指标框架,构建系统、完备的培训内容体系,控制培训的随意性和片面性,切实提升评估人员的评价知识与技术、组织与实施方面的专业素养。

总体上,本研究对学前教育评估人员素养做出的系统构想虽不成熟,但为后续研究和实践继续改进完善提供了初步蓝本,是推动学前教育评估人员专业化发展的有益尝试。未来研究一方面可以进一步探讨学前教育评估人员专业素养各构成要素之间的关系及其对评估活动质量的影响程度和作用机制,为建设高素质学前教育评估队伍提供更科学有力的研究证据;另一方面,可以改进研究方法,进一步完善本土化的指标体系。本研究采用德尔菲法按照预设框架请受访专家进行判断,这给受访专家的思考方向造成了一定的局限。

参考文献:

[1]COOKSEY L J, MARK M M. Influences on evaluation quality[J]. American Journal of Evaluation, 2012,33(1):79-87.

[2]BERNARDIN H J, THOMASON S, BUCKLEY M R, et al. Rater rating?level bias and accuracy in performance appraisals: the impact of rater personality, performance management competence, and rater accountability[J]. Human Resource Management,2016,55(2):321-340.

[3]STEENSMA H, VISSER E. Procedural justice and supervisors personal power bases: effects on employees perceptions of performance appraisal sessions, commitment, and motivation[J]. Journal of Collective Negotiations,2007,31(2):101-118.

[4]秦旭芳,丁春宇.学前教育督导评估问题审视、问责与逾越[J].现代教育管理,2017(01):74-78.

[5]张彩云,武向荣,燕新.我国督学队伍现状及发展策略——基于16个省的实证分析[J].教育科学研究,2020(11):37-43.

[6]李雁冰.论教育评价专业化[J].教育研究,2013,34(10):121-126.

[7][36]冯晖,王奇.试析教育评估专业化[J].教育发展研究,2015,35(11):5-9.

[8]谈松华.关于教育评价制度改革的几点思考[J].中国教育学刊,2017(04):7-11.

[9]潘月娟.我国幼儿园教育质量评估制度的演化变迁与优化建议[J].中国教育学刊,2022(11):60-64.

[10]梁慧娟.过程导向:幼儿园教育质量评价政策的国际趋势与本土实践[J].学前教育研究,2023, 338(2):21-30.

[11]秦旭芳,丁春宇.学前教育督导评估问题审视、问责与逾越[J].现代教育管理,2017(01):74-78.

[12]郭宝仙.教育评价专业化:加拿大评价人员资格认证方案及其启示[J].外国教育研究,2015,42(1):64-71.

[13]梁红梅,李广平,杨士镕.美国田纳西州TEAM质性评价体系:构成、实施与启示[J].外国教育研究,2022,49(8):57-70.

[14]鲍传友,杨玉春.我国基础教育评估主体的现状、问题与对策[J].当代教育科学,2009(15):14-17.

[15]AYOO S, WILCOX Y, LAVELLE J M, et al. Grounding the 2018 AEA Evaluator Competencies in the broader context of professionalization[J]. New Directions for Evaluation,2020(168):13-30.

[16]STEVAHN L, BERGER D E, TUCKER S A, et al. Using the 2018 AEA Evaluator Competencies for effective program evaluation practice[J]. New Directions for Evaluation,2020(168):75-97.

[17][22]DIAZ J, CHAUDHARY A K, JAYARATNE K S U, et al. Expanding evaluator competency research: exploring competencies for program evaluation using the context of non?formal education[J]. Evaluation and Program Planning,2020,79:101790.

[18]WEHIPEIHANA N, BAILEY R, DAVIDSON E J, et al. Evaluator competencies: the Aotearoa New Zealand experience[J]. Canadian Journal of Program Evaluation,2014,28(3):49-69.

[19][21]LEE Y?F, ALTSCHULD J W, LEE L?S. Essential competencies for program evaluators in a diverse cultural context[J]. Evaluation and Program Planning,2012,35(4):439-444.

[20]LEE Y?F, ALTSCHULD J W, LEE L?S. Further considerations of evaluation competencies in Taiwan[J]. Evaluation and Program Planning,2014,41:12-18.

[23]徐国祥.统计预测和决策[M].上海:上海财经大学出版社,2005:149.

[24]CUSTER R L, SCARCELLA J A, STEWART B R. The modified delphi technique: a rotational modification[J]. Journal of Vocational and Technical Education,1999,15(2):1-10.

[25]王春枝,斯琴.德尔菲法中的数据统计处理方法及其应用研究[J].内蒙古财经学院学报(综合版),2011,9(4):92-96.

[26]宋娴,罗跞,胡芳.高质量校外教育的助推器:专业化科技研学教育人员的评价指标[J].全球教育展望,2021,50(12):90-101.

[27]陈德枝,秦金亮,李克建.托幼机构教育质量评价中评委偏差的多侧面Rasch分析[J].心理科学,2016,39(3):628-636.

[28][37]PATTERSON F, ZIBARRAS L, KERRIN M, et al. Development of competency models for assessors and simulators in high?stakes selection processes[J]. Medical Teacher,2014,36(12):1082-1085.

[29]刘悦.港台地区学前教育督导评估的比较及启示——基于学前教育免费政策的实行[J].早期教育,2021(04):16-19.

[30]深圳市教育局. 深圳市人民政府教育督导委员会办公室关于开展第六届市督学及第二届市教育督导评估专家库成员推选工作的通知[EB/OL].(2020-06-10)[2023-08-15]. http://szeb.sz.gov.cn/home/jyfw/jydd/zcwj/content/post_8729411.html.

[31]STEVAHN L, KING J A, GHERE G, et al. Establishing essential competencies for program evaluators[J]. American Journal of Evaluation,2005,26(1):43-59.

[32]GALPORT N, AZZAM T. Evaluator training needs and competencies: a gap analysis[J]. The American Journal of Evaluation,2017,38(1):80-100.

[33]衡阳市教育局.关于推荐市教育督导评估专家和督学工作室成员的通知[EB/OL].(2021-08-04)[2023-08-15]. http://szeb.sz.gov.cn/home/jyfw/jydd/zcwj/content/post_8729411.html.

[34]KIRBY G, CARONONGAN P, MALONE L M, et al. What do quality rating levels mean? Examining the implementation of QRIS ratings to inform validation[J]. Early Childhood Research Quarterly,2015,30:291-305.

[35]LI J Y. What do we know about the implementation of the quality rating and improvement system: a cross?cultural comparison in three countries[D]. Greensboro: The University of North Carolina,2015:6-12.

[38]北京市教委督学处.北京市人民政府教育督导委员会办公室关于选聘北京市第十二届督学的公告[EB/OL].(2022-08-26)[2023-08-15]. http://jw.beijing.gov.cn/jyzx/ztzl/bjjydd/dddt/202208/t20220829_2802449.html.

[39]MURRY J W, HAMMONS J O. Delphi: a versatile methodology for conducting qualitative research[J]. Review of Higher Education,1995,18(4):423-436.

[40]潘月娟,王玉欣,杨晓丽.当前幼儿园教师绩效评价的特征与效果——基于教师知觉的视角[J].学前教育研究,2018(05):3-11.

[41]赵君,张光进,赵书松.绩效考核政治研究述评与展望[J].经济管理,2015(06):177-187.

[42]JACQUELINE A B. Professional inspector or inspecting professional? Teachers as inspectors in a new regulatory regime for education in England[J]. Cambridge Journal of Education,2013,43(4):467-485.

[43]JACQUELINE A B. An independent inspectorate? Addressing the paradoxes of educational inspection in 2013[J]. School Leadership & Management: Formerly School Organisation,2014,34(1):21-38.

The Construction of Professional Literacy Index System for Early Childhood Education Evaluators: Based on Delphi Method

PAN Yuejuan, HUANG Jing

(Faculty of Education, Beijing Normal University, Beijing 100875 China)

Abstract: Identifying early childhood education evaluators professional literacy index system is the first step to improve their professional literacy and to improve their professionalization. This study adopts Delphi method to construct a professional literacy index system for early childhood education evaluators, which comprises of three dimensions of evaluation principles and ethics, evaluation knowledge and skills, organization and implementation, and 6 subdomains which are evaluation philosophy, professional ethics, evaluation knowledge, evaluation technology, organization and coordination, and interpersonal communication, and 23 indicators. This system would provide a reference for selecting, training, coaching and appraising evaluators, and for evaluators self?reflection and professional development.

Key words: early childhood education evaluation; evaluators; professional literacy; delphi method

(责任编辑:熊灿灿)

* 基金项目:国家社会科学基金“十三五”规划2020年度教育学一般课题“农村普惠性学前教育质量与贫困儿童早期发展的追踪研究”(编号:BHA200122)

** 通信作者:潘月娟,北京师范大学教育学部副教授,硕士生导师

猜你喜欢
德尔菲法专业素养
沈阳市农业补贴改革现状评价及对策研究
论小学美术教师的专业素养
翻转课堂背景下的高职教师专业素养提升探析
当下如何提高中小学美术教师专业素养
浅谈小学数学教师专业化发展
浅议国开教师专业素养
普通本科高等院校辅导员绩效考核体系构建研究
基于德尔菲法的高校学生党员质量考核指标体系的构建
中国煤层气产业发展影响因素分析
潍坊社区卫生服务中心社区护理评价指标体系的构建与应用研究