ROC曲线形状在生态位模型评价中的重要性
——以美国白蛾为例

朱耿平， 范靖宇， 王梦琳， 陈 敏， 乔慧捷

1天津师范大学生命科学学院，天津市动植物抗性重点实验室，天津 300387； 2北京林业大学,林木有害生物防治北京市重点实验室，北京 100083； 3中国科学院动物研究所，动物生态与保护生物学院重点实验室,北京 100101

ROC曲线形状在生态位模型评价中的重要性
——以美国白蛾为例

朱耿平1*， 范靖宇1， 王梦琳1， 陈 敏2， 乔慧捷3

1天津师范大学生命科学学院，天津市动植物抗性重点实验室，天津 300387；2北京林业大学,林木有害生物防治北京市重点实验室，北京 100083；3中国科学院动物研究所，动物生态与保护生物学院重点实验室,北京 100101

【目的】生态位模型在生物地理学、入侵生物学和保护生物学中具有广泛的应用，被越来越多地用于预测物种潜在分布和现实分布的研究中。本文以美国白蛾为例介绍pROC方案在生态位模型评价中的应用及其注意事项，以期对物种潜在分布预测进行合理的评价，促进生态位模型在我国的合理运用和发展。【方法】介绍ROC曲线和AUC值基本原理，总结其在生态位模型评价中的应用，从物种存在分布点和不存在分布点的可信度出发，分析AUC值用于模型评价的优点和不足，最后介绍局部受试者工作特征曲线的线下面积方案(pROC方案)来弥补传统AUC值的不足。【结果】AUC值虽独立于阈值，但因其综合灵敏度和特异度，而屏蔽这2个指标各自的特征，不能分别评估预测结果的灵敏度和特异度，同时对遗漏率和记账错率不能进行权衡，会误导使用者对模型的评价。与AUC值相比，ROC曲线的形状更具有价值，蕴含丰富的模型评价信息。【结论】模型评价需要将灵敏度和特异度区别对待，ROC曲线形状比AUC值在生态位模型评价中更为重要，pROC方案相对于传统AUC值具有优势，但容易对过度模拟做出不当判断。模型评价与作者研究目的密切相关：当以预测物种潜在分布为目的时(如入侵物种潜在分布、气候变化对物种分布的影响和谱系生物地理学)，模型评价应当给予灵敏度(或者遗漏率)更多的权重；当以预测物种现实分布为目的时(如保护区界定和濒危物种引入)，模型评价应当给予灵敏度和特异度同等的权重。

生态位模型； 灵敏度； 特异度； ROC曲线； AUC值； 遗漏错误；记账错误

近年来，生态位模型被越来越多地用于预测物种潜在分布(potential distribution)和现实分布(realized distribution)，广泛用于入侵生物学、保护生物学、全球气候变化对物种分布的影响、谱系生物地理学及传染病空间传播等领域(乔慧捷等，2013； 朱耿平等，2013； Petersonetal.，2011)。近30年来，研究者开发了20多种生态位模型(Elithetal.，2006； Qiaoetal.，2012)，每个模型有不同的理论基础、分析方式和数据需求，所预测的物种地理分布处于现实分布和潜在分布之间(Jiménez-Valverdeetal.，2011)。随着全球物种分布数据的共享和地理信息系统(geographic information system， GIS)技术的快速发展，以统计学理论为基础，分析分布点和环境因子相关性为基础的相关性方案(correlative approach)的生态位模型迅速发展。与以实验数据为基础的实验机理方案(mechanistic approach)的模型相比，这种相关性模型构建参数相对简单，具有开放性，应用也更广泛(Petersonetal.，2015)。

在生态位模型评价中，产生了包括总体准确度(overall accuracy)、灵敏度(sensitivity)、特异度(specificity)、真实技巧统计(true skill statistic， TSS)和卡帕值(Kappa)等多种方法(Andersonetal.，2003； Qiaoetal.，2015)。在这些统计方法中，受试者工作特征(receiver operating characteristic， ROC)曲线的线下面积(area under the curve， AUC)值因其独立于阈值(threshold)、评价结果直观可见等特征，成为生态位模型应用中最流行的评价方法之一，被广泛应用于判断和比较不同模型之间的预测效果(Elithetal.，2006)。但研究显示，AUC值在模型评价时具有误导性(Jiménez-Valverde，2012； Loboetal.，2008； Petersonetal.，2008)，特别是以模拟物种潜在分布为目的的生态位模型应用中(Jiménez-Valverde，2012)。

我国学者多以AUC值大小来评价所构建模型的优劣，在模拟入侵物种的潜在分布和全球变化对物种的分布影响中，仅仅提供AUC值来评估模型的预测能力价值不大(Loboetal.，2008； Petersonetal.，2008)。本研究中，作者从物种存在分布点和不存在分布点的可信度出发，介绍AUC值的误导性，然后介绍局部受试者工作特征曲线的线下面积(partial area under the receiver operating characteristic curve， pROC)方案来弥补AUC值的不足，强调ROC曲线的形状比AUC值更为重要，最后以预测入侵害虫美国白蛾Hlyphantriacunea(Drury)的潜在分布为例，介绍pROC方案在生态位模型评价中的应用及注意事项，以期对物种潜在分布预测(生物入侵、全球变化生物学和谱系生物地理学)进行合理评价，促进生态位模型在我国的运用和发展。

1 ROC曲线及AUC值的误导性

1.1 ROC曲线及AUC值基本原理

生态位模型的输出结果一般有2种：二元分布结果(binary distribution)和连续的概率分布(continuous probability distribution)。二元分布结果指的是模型直接输出为物种在/不在某地存在；而连续的分布结果指的是模型输出物种能够在某地出现的概率或物种在某地的适应性。针对二元的输出结果，最常用的评价方法是模糊矩阵(fuzzy matrix)以及衍生其上的评价指标，如TSS、Kappa值等(Alloucheetal.，2006)。如果希望将上述评价指标应用在连续的概率结果上，则需要选择阈值对概率性结果进行二值化 (Liuetal.，2005)。基于二元分布结果，生态位模型评价中会产生2类错误：一类是过低估计，将物种的实际存在分布区预测为不存在的分布，称为假阴性，或遗漏错误(omission error)，即模型预测结果对物种存在分布点的遗漏；另一类是过高估计，将实际的不存在分布区预测为存在分布区，为假阳性，或记账错误(commission error)，即模型预测结果对物种不存在分布点错误地记录为存在分布点。前者是基于物种存在分布点进行评估，后者是基于不存在分布点。这2类错误的大小与阈值的变化大小相关，随着阈值增大，遗漏错误会增加，而记账错误会降低(Pearson，2007)。这些方法基于二元的预测结果，因此受限于阈值选取的方法，当变更阈值后，模型的评价结果会发生较大变化。为了能够客观平稳地评价模型，统计学家提出了利用ROC曲线的AUC值来评价模型的方法(Maneletal.，2001)。AUC值是一种被广泛用于估计预测模型准确率的评价方法，它不受阈值限制(王运生等，2007； Maneletal.，2001； Metz，1978)。

AUC值本质上是灵敏度(sensitivity)和特异度(specificity)在不同阈值下的综合指标。灵敏度是实际有分布且被预测为分布的概率，即真阳性率，反映了模型预测物种存在分布的能力；特异度是指实际没有该物种分布且被正确预测为无分布的概率，即真阴性率，反映了模型预测该物种不存在分布的能力。随着阈值的增大，灵敏度降低，而特异度增加(Pearson，2007)。ROC曲线分析通过改变阈值，获得多对真(假)阳性率值之间的对应关系，它以假阳性率(1-特异度)为横坐标，真阳性率(灵敏度)为纵坐标，绘制而成的曲线即为ROC曲线(图1)，ROC曲线下的面积为AUC值。当ROC曲线为斜率为45°的对角线时，即AUC值为0.5，表示该模型为随机模型，结果的准确率为50%；AUC值>0.5，表示模型的输出结果好于随机模型；AUC值<0.5，表示模型的输出结果差于随机模型。一般认为，AUC值为0.5～0.7时模型价值较低；0.7～0.9时价值中等；>0.9时价值较高(Swets，1988)。在常用的模型评价指标中(准确度、灵敏度、特异度、Kappa值、TSS和AUC等)，只有AUC值不受模型预测阈值的影响，这种阈值独立性使研究者不需要设定阈值就能对模型做出判断。

A:模型a和b具有相同的AUC值，但ROC曲线的形状不同；B:pROC方案。A: Models a and b have same AUC values but different ROC curve shapes; B: The pROC approach. 图1 相同AUC值但不同的ROC曲线形状Fig.1 Same AUC values but different ROC curve shapes

1.2 AUC值的误导性

AUC值的误导性在于它是灵敏度和特异度的“综合表现”，无法分别去评估模型的灵敏度和特异度，即不同阈值下灵敏度和特异度的各自大小，而这些信息蕴含在ROC曲线的形状中：当ROC曲线向左上侧伸展时，模型灵敏度相对较特异度好；当ROC曲线向左下侧伸展时，模型特异度相对较灵敏度好(Jiménez-Valverde，2012)。如图1A，模型a、b具有相同的AUC值，但它们的灵敏度和特异度随预测阈值的变化趋势不同，ROC曲线的形状不同，在相同AUC值下，模型b具有相对较高的敏感度。

物种分布点可分为存在的分布点(presence)和不存在的分布点(absence)。这2类数据的可信度不同，物种存在分布点的可信度远大于不存在分布点，这是由分布点的本身特性决定的。在物种分布调查时，如果某地点采集到该物种标本，则可以确信该物种分布点的存在；但如果某地点未采集到该物种标本，那么尚不能确立该物种不存在的分布，因为某地点未采集到该物种并不代表该物种的不存在，未采集到标本可能与采集者运气、采集力度等多种因素有关。在生态模型构建和评价时，多数研究者采用的物种存在分布点是真实可靠的，使用拟不存在物种分布点(pseudo absence)或背景数据(background)来替代物种不存在分布点。由于存在分布点比不存在分布点更可靠，因此，在模型评价时，测试数据中的物种存在分布点和不存在分布点不宜同等对待，应给予物种存在分布点更多的权重(Loboetal.，2010； Petersonetal.，2008)，即对模型敏感性或遗漏率给予更多的权重。因此，在ROC曲线评价模型时，灵敏度和特异度应当区别对待，应给予灵敏度更多的权重，而AUC值简单地将二者综合，并且对遗漏率和记账错率给予同等的权重。如图1A，模型a、b具有相同的AUC值和不同的ROC曲线，但模型b的AUC值中灵敏度占有更多的权重，在预测物种潜在分布可能性上具有相对更高的灵敏度，因此,模型b在生物入侵和全球变化对物种分布影响中的预测结果更为可靠。

2 pROC方案

针对上述问题，Petersonetal.(2008)提出采用pROC方案来弥补AUC值在模型评价中的不足。不同部分ROC曲线的线下面积是不同的，间接反映了ROC曲线的形状，pROC方案通过对ROC曲线进行分割并计算部分ROC曲线下面积值来评估模型表现，这种切割依据源于研究者对测试数据可靠性的判断。具体做法如下：首先,研究者需要对所测试物种存在分布数据的可信度进行估测和判断，即所用测试物种存在分布数据中有多少是可靠的，能够真实反映物种实际地理分布，有多少是错误或不符合实际的。测试数据的可靠性与物种分布特性、数据来源、标本采集和记录，以及数据整理方式等密切相关。例如，测试数据主要源于数据库和文献记载，有些地理分布需要查询地理坐标，研究者可以判断90%的测试数据是可靠的；如果测试数据基于研究者的实际调查和GPS仪记录地理坐标，则可以判断99%的测试数据是可靠的。随后,基于研究者对测试数据的可信度判断(即错误数据占所有测试数据的百分比，E)，pROC方案将传统ROC曲线进行分割，采用错误率0～E之间的ROC曲线来评估模型的预测能力(图1B)，这种pROC方案能够间接反映ROC曲线的形状。当E=0时，pROC为传统ROC曲线。

Petersonetal.(2008)建议使用AUC比率(AUC ratio)来评估模型的预测能力。AUC比率=AUCE/AUC0.5，其中，AUCE为ROC曲线在错误率0～E区间曲线下面积的值，AUC0.5为对角线(AUC=0.5)在错误率0～E区间对角线下面积的值(图1B)。AUC比率>1，说明模型相对随机预测较好；AUC比率<1，说明模型相对随机预测较差。AUC比率间接反映了ROC曲线的形状，能够较为合理地对模型进行评估，特别是以潜在分布为目的的生态位模型。作者认为，采用AUCE-AUC0.5同样可以较为直观地反映pROC方案[(AUCE-AUC0.5) > 0，说明模型优于随机模型；(AUCE-AUC0.5)<0，说明模型相对随机模型较差。如图1B，采用AUC比率或AUCE-AUC0.5的值来比较模型a和b，pROC方案均能较好地反映出模型b比模型a具有更高的预测物种潜在分布的能力。此外，pROC方案虽强调灵敏度在模型评价中的重要性，但要注意由于过度预测而导致遗漏率降低和记账错率增加，这种局限性可以通过ROC曲线直观展示(图2)。目前可以进行pROC分析的软件和平台有基于R语言的软件包ENMGadgets (https:∥github.com/narayanibarve/ENMGadgets)、基于Java的NicheA (Qiaoetal.，2016)和网站平台(http:∥shiny.conabio.gob.mx:3838/nichetoolb2)等。

3 案例应用: 美国白蛾潜在地理分布模型评价

美国白蛾源自北美洲(包括美国、加拿大和墨西哥)，现已在亚洲和欧洲建立种群。与欧洲相比，美国白蛾在亚洲东部地区的危害比较严重，种群常处于暴发状态，给城市园林造成严重的经济损失(Yangetal.，2008)。在我国，美国白蛾最初在辽宁丹东被发现，历年监测显示，其种群不断地向西部和南部扩张(Caoetal.，2016)。作者以美国白蛾在东亚地区的潜在分布预测为例，探讨pROC方案的应用和注意事项，以及ROC曲线的重要性。

3.1 物种分布数据和环境变量

美国白蛾分布数据主要源自文献记载及在线数据库，包括US Pest Tracker program (www.pest.ceris.purdue.edu)、Global Biodiversity Information Facility (GBIF；www.gbif.org)、Butterflies and Moths of North America (www.butterfliesandmoths.org)、Canadian National Collection of Insects、Arachnids and Nematodes (www.canacoll.org)、Barcode of Life Data Systems (www.boldsystems.org)等。环境变量的选取主要考虑其对美国白蛾地理分布的限制作用和变量之间的相关性，具体做法如下：首先，在19种bioclimate变量中，去除温度和降水相关联的环境变量(即bio8、bio9、bio18和bio19)，同时参照Synes & Osborne (2011)的方法来计算Growing Degree Days (GDD)，将这16种环境变量在Maxent模型中进行刀切法测试(jackknife test)，衡量其对美国白蛾地理分布的限制作用；其次，基于刀切法对环境变量重要性的排序和变量间的相关性(Pearson相关性系数<0.7)，在SDMTools中进行筛选(Brown，2014)，最后选出bio1、bio3、bio4、bio5和GDD等环境变量用于构建美国白蛾生态位模型。

生态位模型分别构建于北美地区,然后将其转移至东亚地区，用于比较和检验其预测美国白蛾潜在分布的能力，ROC曲线采用Peterson et al.( 2008)的方法绘制。ROC curves were generated for the potential predictions of native models that transferred onto East Asia, the curves were prepared by "1-omission error" plotting against "proportion of area predicted present" (Peterson et al.，2008).图2 基于4种模型对美国白蛾在东亚地区潜在分布预测的ROC曲线Fig.2 ROC curve shapes for the four models for H. cuneain East Asia

3.2 模型构建及ROC曲线

采用经典模型构建方案，即在本土地区构建生态位模型，然后将其转移投射至东亚地区来检验模型和预测美国白蛾的分布。通过构建广义增强模型(generalized boosting models，GBM)或称推进式回归树模型(boosting regression trees，BRT)、广义线性模型(generalized linear models，GLM)、Maxent模型(maximum entropy modeling，最大熵值模型)和GARP模型(genetic algorithm for ruleset production，基于遗传算法的规则组合模型)来模拟美国白蛾的生态位和地理分布，其中GBM和GLM在biomod 2平台构建(Thuilleretal.，2009)，Maxent和GARP模型分别在Maxent (3.3.3k)和Desktop GARP(1.1.3)软件中构建。在biomod 2中，采用默认参数，基于物种分布点和随机选取10000个不存在分布点来构建模型；在Maxent中，采用默认参数，选取logistic输出模式；在GARP中，采用Andersonetal.(2003)方案构建优化模型。不同模型输出的预测值不同，将模型输出结果重新度量(rescale)至0～100，便于比较和分析。最后采用Petersonetal. (2008)的方法来绘制和比较上述模型在东亚地区预测的ROC曲线，这种方法以预测物种存在分布区占所有区域的百分比为横坐标，以1-遗漏错误率为纵坐标制作而成(图2)(Petersonetal.，2008)。在pROC方案中，分别采用E=0、E=0.05和E=0.01来计算AUC比率，当E=0时，相当于以传统AUC值来评估模型预测能力。

3.3 结果与讨论

将GBM、GLM、GARP和Maxent等本土模型转移至亚洲东部后，各种模型预测结果差别较大(图2)。与其他模型相比，GARP模型的遗漏率最小，AUC比率最大，但由于其过度预测导致记账错率较大(图3)。基于AUC比率对4种模型的预测效果进行排序，其中，GBM、GARP和Maxent的AUC比率值比较稳定，而GLM的AUC比率值变化较大(表1)。当E=0时，基于GBM和GLM模型的AUC比率分别为0.824和0.825，二者ROC曲线下面积大体相同，其ROC曲线的形状不同(图2)；然而，与GBM模型相比，GLM模型的预测相对较好，特别是在辽宁北部的遗漏率相对较低(图3)，这反映在ROC曲线形状和AUC比率中。在ROC曲线中，在低阈值时，GLM模型灵敏度相对较高，而在高阈值时，GBM模型的特异度相对较高(图2)。当E=0.05和0.01时，GBM和GLM模型的AUC比率分别为0.848和0.830，以及1.136和1.131(表1)，因此在E=0.05和0.01时，AUC比率均能较好地区分GBM和GLM模型的预测表现，并显示GLM模型比GBM模型预测较好。此外，在E=0时，GLM模型的AUC比率值小于Maxent模型，但当E=0.05和0.01时，GLM模型的AUC比率值高于Maxent模型(表1)。综上所述，在美国白蛾的预测中，pROC方案能够通过给予模型敏感度更多的权重来弥补传统AUC值的不足，但在使用时要注意由于模型过度预测而导致的AUC比率值虚高(如GARP模型)；与pROC方案相比，ROC曲线蕴含丰富的模型评价性，它显示GLM模型的遗漏率相对较低，能够较好地权衡模型的敏感度和特异度(图3)，具有较高的预测美国白蛾潜在分布的能力，不仅能够预测美国白蛾当前的分布，而且能够预测其种群扩散趋势(图2)。

A: GBM； B: GARP; C: GLM; D: Maxent.模型构建于北美洲,然后将其转移至东亚地区,用于检验和预测美国白蛾的潜在分布，黑白线界定区域用于计算AUC值，黑色叉号为入侵物种分布点。Niche models were calibrated in North America and transferred onto East Asia to test model performance and to predict the potential distribution ofH. cunea. White-black lines show the delimited areas used to calculate AUC values, back cross indicate the introduced points used to test niche models.图3 基于4种模型的美国白蛾在东亚地区的潜在分布Fig.3 Potential distribution of H. cunea based on four models

模型ModelAUC比率AUCratioE=0E=0．05E=0．01GBM0．8240．8480．830GLM0．8251．1361．131GARP1．2161．2161．214Maxent1．0291．0251．034

4 讨论

国内文献中，AUC值常常被应用于生态位模型的评价，多数研究以AUC值>0.8来判断模型优于随机模型。作者认为，AUC值虽独立于阈值，但其为灵敏度和特异度的综合，具有误导性，不能分别评估预测结果的灵敏度和特异度；与AUC值相比，ROC曲线的形状更具有价值，蕴含丰富的模型评价信息。作者认为，模型评价需要将灵敏度和特异度区别对待，ROC曲线形状比AUC值在生态位模型评价中更为重要，此外，模型评价与作者研究目的密切相关：当以预测物种潜在分布为目的时(如入侵物种潜在分布、气候变化对物种分布的影响、谱系生物地理学)，模型评价应当给予灵敏度更多的权重；当以预测物种现实分布为目的时(如保护区界定和濒危物种引入项目)，模型评价应当给予灵敏度和特异度同等的权重。在潜在分布预测中，pROC方案能够通过给予模型敏感度更多的权重来弥补传统AUC值的不足，但在使用时要注意由于模型过度预测而导致的AUC比率值虚高。

致谢: 美国堪萨斯大学A. Townsend Peterson教授和Jorge Soberón教授在生态位模型学习中给予指导和帮助，特表谢意!

乔慧捷, 胡军华, 黄继红, 2013. 生态位模型的理论基础、发展方向与挑战. 中国科学(生命科学), 43(11)： 915-927.

王运生, 谢丙炎, 万方浩, 肖启明, 戴良英, 2007. ROC曲线分析在评价入侵物种分布模型中的应用. 生物多样性, 15(4)： 365-372.

朱耿平, 刘国卿, 卜文俊, 高玉葆, 2013. 生态位模型的基本原理及其在生物多样性保护中的应用. 生物多样性, 21(1)： 90-98.

ALLOUCHE O, TSOAR A, KADMON R, 2006. Assessing the accuracy of species distribution models: prevalence, kappa and the true skill statistic (TSS).JournalofAppliedEcology, 43： 1223-1232.

ANDERSON R P, LEW D, PETERSON A T, 2003. Evaluating predictive models of species′ distributions: criteria for selecting optimal models.EcologicalModelling, 162： 211-232.BROWN J L, 2014. SDMtoolbox: a python-based GIS toolkit for landscape genetic, biogeographic and species distribution model analyses.MethodsinEcologyandEvolution, 5： 694-700.

CAO L J, WEI S J, HOFFMANN A A, WEN J B, CHEN M, 2016. Rapid genetic structuring of populations of the invasive fall webworm in relation to spatial expansion and control campaigns.DiversityandDistributions, 22： 1276-1287.

ELITH J, GRAHAM C H, ANDERSON R, DUDK M, FERRIER S, GUISAN A, HIJMANS R J, HUETTMANN F, LEATHWICK J R, LEHMANN A, LI J, G. LOHMANN L G, LOISELLE B A, MANION G, MORITZ C, NAKAMURA M, NAKAZAWA Y, OVERTON M M, PETERSON A T, PHILLIPS S J, RICHARDSON K, SCACHETTI-PEREIRA R, SCHAPIRE R E, SOBERN J, WILLIAMS S, WISZ M S, ZIMMERMANN N E, 2006. Novel methods improve prediction of species distributions from occurrence data.Ecography, 29： 129-151.

JIMÉNEZ-VALVERDE A, 2012. Insights into the area under the receiver operating characteristic curve (AUC) as a discrimination measure in species distribution modelling.GlobalEcologyandBiogeography, 21： 498-507.

JIMÉNEZ-VALVERDE A, PETERSON A T, SOBERN J, OVERTON J M, ARAGN P, LOBO J M, 2011. Use of niche models in invasive species risk assessments.BiologicalInvasions, 13： 2785-2797.

LIU C, BERRY P M, DAWSON T P, PEARSON R G, 2005. Selecting thresholds of occurrence in the prediction of species distributions.Ecography, 28： 385-393.

LOBO J M, JIMÉNEZ-VALVERDE A, HORTAL J, 2010. The uncertain nature of absences and their importance in species distribution modelling.Ecography, 33： 103-114.LOBO J M, JIMÉNEZ-VALVERDE A, REAL R, 2008. AUC: a misleading measure of the performance of predictive distribution models.GlobalEcologyandBiogeography, 17： 145-151.MANEL S, WILLIAMS H C, ORMEROD S J, 2001. Evaluating presence-absence models in ecology: the need to account for prevalence.JournalofAppliedEcology, 38: 921-931.

METZ C E, 1978. Basic principles of ROC analysis.SeminarsinNuclearMedicine, 8： 283-298.

PEARSON R G, 2007.Species′distributionmodelingforconservationeducatorsandpractitioners. Synthesis： American Museum of Natural History. http:∥ncep.amnh.org.

PETERSON A T, PAPEM, SOBERN J, 2008. Rethinking receiver operating characteristic analysis applications in ecological niche modeling.EcologicalModelling, 213： 63-72.

PETERSON A T, PAPEM, SOBERN J, 2015. Mechanistic and correlative models of ecological niches.EuropeanJournalofEcology, 1： 28-38.

PETERSON A T, SOBERN J, PEARSON R G, ANDERSON R P, NAKAMURA M, MARTNEZ-MEYER E, ARAUJO M B, 2011.EcologicalNichesandGeographicalDistributions. New Jersey： Princeton University Press.

QIAO H J, LIN C T, JI L Q, JIANG Z G, 2012. mMWeb-An online platform for employing multiple ecological niche modeling algorithms.PLoSONE， 7： e43327.

QIAO H J, PETERSON A T, CAMPBELL L, SOBERN J, JI L Q, ESCOBAR L, 2016. NicheA: creating virtual species and ecological niches in multivariate environmental scenarios.Ecography, 39： 805-813.

QIAO H, SOBERN J, PETERSON A T, 2015. No silver bullets in correlative ecological niche modeling: insights from testing among many potential algorithms for niche estimation.MethodsinEcologyandEvolution, 6: 1126-1136.

SWETS J, 1988. Measuring the accuracy of diagnostic systems.Science, 240： 1285-1293.

SYNES N W, OSBORNE P E, 2011. Choice of predictor variables as a source of uncertainty in continental-scale species distribution modelling under climate change.GlobalEcologyandBiogeography, 20: 904-914.

THUILLER W, LAFOURCADE B, ENGLER R, ARAUJO M B, 2009. BIOMOD — a platform for ensemble forecasting of species distributions.Ecography, 32: 369-373.

YANG Z Q, WANG X Y, WEI J R, QU H R, QIAO X R, 2008. Survey of the native insect natural enemies ofHyphantriacunea(Drury) (Lepidoptera: Arctiidae) in China.BulletinofEntomologicalResearch, 98： 293-302.

(责任编辑:郭莹)

The importance of the shape of receiver operating characteristic (ROC) curve in ecological niche model evaluation — case study ofHlyphantriacunea

ZHU Gengping1*, FAN Jingyu1, WANG Menglin1, CHEN Min2， QIAO Huijie3

1KeyLaboratoryofAnimalandPlantResistanceinTianjin,CollegeofLifeSciences,TianjinNormalUniversity,Tianjin300387,China；2BeijingKeyLaboratoryforForestPestControl,CollegeofForestry,BeijingForestryUniversity,Beijing100083,China；3KeyLaboratoryofAnimalEcologyandConservationBiology,InstituteofZoology,ChineseAcademyofSciences,Beijing100101,China

【Aim】 Ecological niche modeling (ENM) is increasingly used to estimate the potential and realized distributions of species in studies of biological invasion and conservation. We present the pROC approach for the evaluation of ENM ofHyphantriacunea, as a case study. 【Method】 We first introduced the ROC curve and AUC value in niche model evaluation. We then presented the shortcomings of AUC value based on different reliability of presence and absence records. Finally, we introduced the partial area under the receiver operating characteristic curve (pROC) approach to backup traditional AUC value in niche model evaluation. 【Result】 Model evaluation using AUC misleading although it independent of threshold. The AUC combined sensitivity and specificity but blanked the information of individual sensitivity and specificity, and weighted omission and commission error equally. We argued that the shape of ROC curve led to valuable information and was more important than AUC value in ENM evaluation. 【Conclusion】 Niche model evaluation should treat sensitivity and specificity separately. The shape of ROC curve was more important than AUC value. The pROC approach was found more powerful than traditional AUC value in model evaluation, but cautions are warrant when it was used to evaluate the model output of over prediction. Niche model evaluation should take the purpose of study into account, when the aim of study was to estimate potential distribution (e.g. biological invasion, climate change, phylogeography), model evaluation should give higher weight on the sensitivity or omission error, whereas if the aim were to estimate realized distribution (e.g. conservation and reintroduction program), model evaluation should weight sensitivity and specificity equally.

ecological niche model; sensitivity; specificity; ROC curve; AUC value; omission error; commission error

2017-03-14 接受日期(Accepted)： 2017-05-11

国家自然科学基金项目(31401962)； 天津师范大学人才引进基金项目(5RL127)； 天津市131创新人才培养工程项目(ZX110204)； 天津市用三年时间引进千名以上高层次人才项目(5KQM110030)

朱耿平， 男， 副研究员， 博士。 研究方向: 入侵生物学和保护生物学。

*通信作者(Author for correspondence), E-mail: gengpingzhu@hotmail.com

10. 3969/j.issn.2095-1787.2017.03.002