兽医现场流行病学基础培训效果评估分析

刘丽蓉，康京丽，刘爱玲，常 凯，于丽萍，韦欣捷

（1.中国动物卫生与流行病学中心，山东青岛 266032；2.董家口海关，山东青岛 264000）

2010 年底，农业农村部和联合国粮农组织（FAO）、美国国际发展署合作，依托农业农村部畜牧兽医局、FAO 跨境动物疫病应急中心中国办公室与中国动物卫生与流行病学中心，启动了中国兽医现场流行病学培训项目（以下称CFETPV项目）。该项目每2 年举行1 期，至今已开展了5期。自2012 年10 月起，为增强培训效果，选拔优秀学员，每期培训班正式开始前，先开展为期4周的CFETPV 项目基础培训，旨在普及兽医现场流行病学知识、提高兽医流行病学相关基础技能。截至目前，基础培训已培养学员163 人次，覆盖全国31 个省（自治区、直辖市）、5 家部属兽医事业单位及3 所高校。随着项目的扩大发展，培训课程能否满足实际需要，如何保证学员学习质量，如何提升教学水平，是项目管理方需要深入思考的问题。因此，研究构建一套科学合理的培训效果评价体系，对优化完善兽医流行病学人才培训项目具有重要意义。

1 培训效果评估概况

培训效果评估是依据项目的战略目标，运用科学的理论、流程和方法，采用可操作的培训效果指标体系，系统地搜集有关培训的描述性和评判性信息，从而对培训效果进行评价和估量的过程[1]。这是一项系统性、复杂性的人力资源管理活动，在培训工作中发挥着重要作用[2]。近年来，国内外学者广泛开展了培训效果评估的研究。Kirkpatrick 1959 年首次提出了四层次培训评估模型的概念[3]，该模型按照评估深度和难度，分为4 个层次：反应层、学习层、行为层、效果层。随后，1991 年菲利普斯（Phillips）、1994 年考夫曼（Kaufman）分别在此基础上提出了五级投资回报模型和五级评估模型[4-5]。国外医护培训领域形成了较为完善的培训体系[6]，为评估科学化、结构化和系统化提供了理论保障。国内该类研究相较于国外起步较晚，蔡小慎等[7]建立了公务员培训效果评估模型，从德、能、勤、绩、廉5 项能力与政治能力角度对行为层进行评估。刘慧慧等[8]通过设计定性访谈提纲，从项目开展的必要性、成功的标准、是否成功及未来发展建议等方面了解了地方现场流行病学培训项目的实施效果及存在问题，但未能形成系统的培训效果评估体系。CFETPV 项目基础培训评估工作尚处在探索阶段，仅通过问卷形式，调查了解学员对教学及会务管理等的反馈信息。本研究以第五期CFETPV 项目基础培训为例，通过建立培训效果评估方法，评价参训学员的基本情况和培训效果，了解存在问题和发展需求，为继续举办该项目提供决策依据，不断提升项目的科学化、规范化、可持续化水平。

2 CFETPV 项目基础培训效果评估方法的建立

Kirkpatrick 培训效果评估理论，由国际著名学者威斯康辛大学（Wisconsin University）荣誉教授Kirkpatrick 于1959 年提出。Kirkpatrick教授在管理学院任教30 年，曾为众多公司和机构提供过管理培训和开发方面的咨询顾问服务，如可口可乐、通用电气、IBM、百事达等，其最知名的理论——四层次培训效果评估理论，在教育界和企业界得到了最广泛的应用，在培训评估领域具有难以撼动的地位[9]。本研究基于Kirkpatrick 培训效果评估理论，通过分析CFETPV 项目基础培训特点，在综合研究国内外各领域培训效果评估的基础上，从反应层和学习层两个方面，初步构建了CFETPV 项目基础培训效果评估方法（图1）。

2.1 反应层评估

反应层评估即学员对培训项目的反应和评价，包括课程内容、教学进度、课程难易程度、与工作相关度、课程结构、课程作业量、会务组织等7 方面的满意度及问题建议。满意度评估包括单项满意度（Sj）和综合满意度（ST）评估，公式1、2 如下。

单项满意度评估公式：

式中：

Sj：第 j 项评估内容满意度，j =1，2，……7，分别代表课程内容、教学进度、课程难易程度、与工作相关度、课程结构、课程作业量和会务组织；

n：参与调查的学员数量；

xij：第i 位学员对第j 项评估内容的满意度评分；

SS：满意度评分满分值。

如，满意度评分设置为1~5 分，满分为5 分，4 位学员对课程内容的满意度评分分别为4、4、5、5 分，则课程内容的满意度为

式中：

ST：综合满意度；

Sj：单项满意度；

m ：单项评估内容的数量，这里m = 7。

如，学员对课程内容、教学进度、课程难易程度、与工作相关度、课程结构、课程作业量和会务组织的满意度分别为84%、80%、80%、75%、80%、73%和91%，则综合满意度为

2.2 学习层评估

学习层评估即学员参加培训后对知识技能掌握情况的自我评估，是反映学习效果最直接的层级，主要内容包括流行病学基础理论、紧急流行病学调查、监测系统设计与评估、风险分析、流行病学研究设计及现场调查、疫情数据整理及分析和Excel数据透视表等7 方面知识技能。知识技能掌握度评估包括单项掌握度（Mj）评估和综合掌握度（MT）评估见公式3、公式4。可通过配对样本t 检验来评判培训前后知识技能掌握度差异是否具有统计学意义。

单项知识技能掌握度评估公式：

式中：

Mj：第j 项知识技能掌握度，j=1，2，……7，分别代表流行病学基础理论、紧急流行病学调查、监测系统设计与评估、风险分析、流行病学研究设计及现场调查、疫情数据整理及分析和Excel 数据透视表；

n：参与调查的学员数量；

xij：第i 位学员对第j 项知识技能的掌握度自评分；

Sm：掌握度评分满分值。

如，掌握度自我评分设置为1~5 分，满分为5分，3 位学员对流行病学基础理论的自我评分分别为3、4、5 分，则掌握度为

式中：

MT：综合掌握度；

Mj：单项知识技能的掌握度；

m ：单项知识技能的数量，这里m=7。

如，学员对流行病学基础理论、紧急流行病学调查、监测系统设计与评估、风险分析、流行病学研究设计及现场调查、疫情数据整理及分析和Excel 数据透视表的掌握度分别为81%、76%、

3 第五期CFETPV 项目基础培训应用

3.1 对象与方法

3.1.1 调查对象 以2018 年11 月19 日至12 月14 日参加第五期CFETPV 项目基础培训，并完成学业的所有学员为研究对象，累计调查43 人。

3.1.2 调查方法 通过设计课前调查问卷和课后调查问卷，运用Survey Monkey 在线调查工具对学员进行问卷调查。调查内容包括学员的基本情况、学员对培训的评价、培训前获取兽医流行病学知识的途径、培训前后对有关知识的掌握情况，以及培训存在的问题和对项目发展的意见建议等。

3.1.3 数据分析方法 采用Excel 和SPSS 25.0 软件对数据进行描述性统计分析。培训前后知识技能得分均值差异比较采用配对样本t 检验，检验水准为P=0.05。

3.2 结果

3.2.1 学员基本情况 本次参加调查的学员43人，通过培训前调查和培训后调查，共发放问卷86 份，回收86 份，有效应答率100%，问卷合格率100%。学员基本情况见表1。

3.2.2 培训前获取相关知识的途径 调查结果显示，学员参加培训前获取兽医流行病学知识的主要途径是学校期间学习相关课程和工作后参加相关培训，各占比35%（表2），说明往期CFETPV 项目的辅助培训（高级管理人员培训、区域培训、大学师资培训等）及学员开展的递延培训，在兽医领域的影响力已慢慢凸显。

3.2.3 反应层评估 满意度调查方面。课后问卷对培训班课程内容、教学进度、课程难易程度、与工作相关度、课程结构、课程课业量及会务组织等7 方面进行了满意度调查。调查结果显示，学员对培训班的综合满意度为80%。其中，对会务组织的满意度最高（91%），其次为课程内容（84%）、难易程度（80%）、课程结构（80%）、教学进度（80%）；与工作相关度的满意度为75%，可能与部分学员来自综合管理部门有关；课程课业量的满意度较低（73%），部分学员反馈课业量较多，主要与核心班学员选拔考核有关（图2）。培训存在的问题及对策建议方面。课后问卷调查结果显示，学员提出的问题和建议主要集中在以下3 方面：一是培训内容多、时间紧，较为抽象、理解困难，短期内不易消化吸收。建议延长培训时间，提前发放培训课件，围绕相关主题深入剖析，增加国内重大动物疫病防控案例解析和经验分享，加深兽医流行病学基本理论的理解。二是部分外教的教学经验不够丰富，部分英文授课内容与中方老师有重复。建议更多元化的利用国际组织和有关发达国家资源，积聚各方力量，优化师资队伍；项目办围绕培训主题与中外老师提前沟通，完善课程设计，提升培训质量。三是由于该培训采用淘汰制，只有不到50%的学员能参加后续的2 年制核心培训。建议在广泛征求各单位培训需求的基础上，培训内容的设置更贴近学员工作实际，如增加实际案例的详解，增加统计学、地理信息系统有关知识和软件的普及与应用等。

表1 第五期CFETPV 项目基础培训学员基本情况 单位：人

表2 第五期CFETPV 项目基础培训学员培训前获取兽医流行病学知识的途径 单位：人

图2 第五期CFETPV 项目基础培训满意度评分

3.2.4 学习层评估 课前和课后问卷对学员培训前后有关知识技能的掌握情况进行了对比调查，调查内容包括学员对流行病学基础理论、紧急流行病学调查、监测系统设计与评估等7 个方面的知识技能掌握程度的自评价打分。评估结果显示，培训前，学员对上述7 方面知识的综合掌握度为46%。其中，紧急流行病学调查掌握度最高（51%），其次为流行病学基础理论和Excel 数据透视表（47%），监测系统设计与评估掌握度最低（40%）。培训后，学员对7 方面知识的综合掌握度约为73%，其中，流行病学基础理论掌握度最高（81%），其次为紧急流行病学调查（76%），疫情数据整理及分析掌握度最低（67%）。配对样本t 检验结果显示，培训前后各项知识掌握程度差异具有统计学意义（P ＜0.01）（表3），说明培训后学员对7 方面知识技能的掌握度均有显著提高。培训前后对比分析结果显示，知识掌握度差别最大的是流行病学基础理论，前后相差34 个百分点；其次为监测系统设计与评估，前后相差31 个百分点（图3）。

表3 第五期CFETPV 项目基础培训学员培训前后知识技能掌握情况比较

图3 第五期CFETPV 项目基础培训学员知识技能掌握程度自评价

4 讨论

4.1 本次评估的局限性

依据Kirkpatrick 培训效果评估理论，反应层和学习层的评估是在学员培训结束后立即收集相关信息，评估学员的态度、知识、技能方面的收获，而行为层和结果层则主要衡量学员在工作中应用培训内容的程度，如行为改变、取得的业绩等[3]。行为的改变和成果的产出需要一定的累计时间，一般要在半年以后开展。由于时间跨度短，本次评估主要是对兽医流行病学知识的短期培训效果评估，也就是反应层和学习层的评估，行为层和结果层的评估还有待后期进一步跟踪研究。

4.2 学员构成变化

参加本次基础培训的学员，以市级动物疫病预防控制机构的年轻骨干为主（占学员的44%，往期不超过30%）。通过访谈了解到，省级动物疫病预防控制机构符合报名条件的人员大部分已参加过往期的CFETPV 培训，培训时间又恰逢全国非洲猪瘟疫情发生的高峰期，难以派出合适的人员参加培训；市级动物疫病预控控制机构最近几年招聘的人员多为硕士学历，是当地的业务骨干及重点培养对象，符合培训班的报名条件，但缺乏系统、全面的兽医流行病学学习背景，所以推荐他们参加培训，能在短时间内提高其专业技术水平和工作能力，利于基层工作的开展。

4.3 反应层评价满意度较高

培训内容（满意度84%）实用性强，对实际工作有很大的帮助，尤其表现在流行病学基础理论、监测系统设计与评估、风险分析、流行病学研究设计与现场调查和Excel 数据透视表等方面。课程安排（满意度83%）比较合理，采用专家授课、案例分析与练习操作相结合的方式，将枯燥、繁杂的流行病学概念变得生动起来。团队授课表现（满意度89%）比较满意，教学态度认真，专业素质高，语言表达能力强，能准确把握课堂时间及进度等。

4.4 学习层评价效果显著

通过调查发现，培训前后，学员对7 方面知识的综合掌握度由46%提升至73%。短短一个月的时间，理解程度由不太了解逐渐趋于一般至熟悉，培训效果显著。考虑到授课内容较深奥，该培训已经达到了普及兽医流行病学基本技能的目的，这也说明了兽医流行病学学习不是一蹴而就的，需要经过一定时间的消化与实践，进一步印证了2 年核心培训的重要性。预期经过随后2 年的核心培训，学员将普遍达到熟悉，甚至是非常熟悉的水平。

5 小结

本研究基于Kirkpatrick 培训效果评估理论，通过分析CFETPV 项目基础培训特点，在综合研究国内外培训效果评估的基础上，从反应层和学习层两个方面，对CFETPV 项目基础培训效果评估方法进行了初步探讨。以第五期CFETPV 项目基础培训为例，开展了反应层和学习层的评估。从评估结果看，学员对培训整体反应比较满意。经过培训，学员对兽医流行病学有关内容的掌握有了显著提高，为今后科学、规范开展流调工作奠定了坚实的基础。培训班经过多年发展，培训效果显著，建议项目组织方继续总结经验，跟踪评估，查找不足，完善教学形式，适时更新教学内容，优化师资队伍，不断提升培训的科学化、规范化和持续化发展水平。