以科研生产管理评估数据分析支持改进决策

◎中国运载火箭技术研究院 郝照平 李潇潇 王爱武 刘菊青 孙鹏

以科研生产管理评估数据分析支持改进决策

◎中国运载火箭技术研究院 郝照平 李潇潇 王爱武 刘菊青 孙鹏

通过对中国运载火箭技术研究院及其它2个研究院2011～2014年的科研生产评估数据（过程部分）采用参数统计方法，按总体、模块、子要素3层对“系数得分”进行分析，对某要素总平均分、模块平均分、关键子要素平均分的年度、各研究院之间差异进行统计检验。探讨了各年度各研究院科研生产管理特征的异同，分析了运载火箭技术研究院4年间低分要素占比的差异。结合数据分析，提出了关键子要素按发展型、衰退型、问题型和顽固型4个类别分类及其针对性改进方法，为管理决策提供支撑。

中国运载火箭技术研究院自2009年以来全面推进科研生产管理评估工作，其中涵盖对中国航天科技集团公司的评估准备和研究院对厂所的评估2个层面，以集团公司对研究院评估为主导带动研究院对厂所的评估，同时后者也为前者提供较好支撑。在4年的评估工作中，展现研究院科研生产管理优势与成绩的同时，也发现了一系列问题和差距，形成了一套以当年评估结果总结带动次年策划改进的有效机制，从而实现了科研生产管理的实质性改进。

当代信息科学认为，随着数据量的积累其资源属性越加明晰，开发价值越加明显；而社会发展要求快速反应和精细管理，急需借助对数据的分析来科学决策 。这种注重数据积累和挖掘数据价值的科学思维方式对提升科研生产管理具有重要意义。经过这些年的评估，研究院积累了比较丰富、详实的数据和资料。由于历年对评估的总结基本上是“断面”式的，缺乏将历年评估数据和资料连贯起来整体分析，一些有价值的管理信息未被察觉，跨年、跨院的差距未被客观识别，趋势性问题也未全面把握。因此，研究院提出以“大数据”思维对历年的评估数据资料进行连续性分析和对比，并以科学的分析作为依据进行深入总结，有针对性地提出改进方案，从而推动研究院科研生产管理升级。

一、要素总平均分分析

年度总平均分是当年所有子要素“系数得分”的算术平均值，近似于各年度单位的综合评分。对总平均分的分析，可以考察同一单位各年度以及不同单位之间科研生产管理总体水平的差异和变化趋势。考虑到不同年度、不同单位之间评估要素项目可能存在差异，仅统计对比年度或对比单位相同要素的总平均分。

1．同单位各年度总平均分分析

对运载火箭技术研究院2011～2014年科研生产评估总平均分进行差异性检验和线性相关分析，其结果见图1和表1。差异性检验采用配对样本T检验，即计算2个相比较的年度各个相同子要素得分之差，再分析各子要素得分之差是否符合均数为0的正态分布，如数据显示不符合，则认为这2个年度总体得分水平存在显著性差异。线性相关分析可以量化评判2次评估各要素得分是否具有相同的趋势，反映不同年度科研生产管理特征的相似程度。反映到图形上，相关性显著者的雷达图形相似程度较高，如图2所示。所谓差异或相关具有“显著性”是统计学术语，是当相关统计模型计算出的参数（如表1中的P值）达到特定数值时给出的统计推断，其结论较直观，数值更为科学、审慎。

图1 研究院2011～2014年评估总平均分及标准差

结果表明，研究院科研生产评估的总体水平自2011年后有实质性提升，2012年与2013年处于同等水平，2014年水平虽然有所降低但仍好于2011年。不过这一结论需要审慎看待，一方面，4年间子要素项目变化较大，此结论仅限于对可比项目的分析，尤其是2014年与2011年相同子要素数仅20个，同时调整了成熟度判定等级，对其可比性有较大影响；另一方面，航天科技集团逐年提高评估要求，这也是2014年研究院总体得分降低的原因。

表1 研究院2011～2014年评估总平均分差异性及相关性检验结果

图2 研究院2011～2014年评估得分雷达图

线性相关分析显示，除2011年外各年度子要素评分具有相关性，说明研究院近3年各子要素得分具有相似趋势，反映这3年科研生产管理整体特征比较相似。2011年相关不显著，主要是因为评估要素变动比较多。从图2的雷达图中可以直观地看出，2013年和2012年的图形较为相似。

2．同年度不同单位总平均分分析

为分析运载火箭技术研究院与其它2个研究院间科研生产管理总体水平上的差异及其4年间的变化情况，在相同年度对研究院与甲院、乙院进行总平均分的差异性检验和线性相关分析，结果见图3及表2。

结果显示，乙院的总平均分在前2年低于研究院，而近2年与研究院已无显著差异；而甲院的总平均分除在2013年显著高于研究院外，历年均与研究院无显著差异。结果说明，4年间乙院的科研生产管理水平赶上了研究院；而研究院的科研生产管理水平与甲院虽然不分伯仲，但从未超越过甲院，而且存在被其超越的可能。3个研究院之间子要素得分的线性相关分析显示，历年评估中研究院与甲、乙研究院间的子要素得分均显著相关，说明研究院与甲、乙研究院间各评估子要素得分趋势相似，因而可以认为其科研生产管理特征具有一定共性。

图3 2011～2014年研究院与其它研究院评估总平均分及标准差

通过分析可以看出，4年来研究院科研生产管理水平总体上获得了实质性的提升，2012年获得了较大的进步，此后基本稳定在这一水平。随着航天科技集团评估要求的提高，研究院评估工作压力也在逐年增大。虽然还不能认为总体评分出现了大幅下滑，但仍需增强防微杜渐的意识。分析还显示，4年来航天科技集团所属研究院间的差距在整体上正在逐步缩小，目前已经处于比较接近的水平，而且各研究院之间在科研生产管理要素整体特征上确实具有较大相似性。

二、要素模块平均分分析

根据评估手册中模块的划分，将过程部分的子要素分为科研生产任务管理、科研生产能力建设、市场开拓与立项、售后服务与支持保障4个模块，对各研究院之间4个模块内子要素的4年平均分和变异度进行分析，结果见图4和表3。

要素连续年度分值的变异度可反映其发展水平（异度=标准差/均数，用百分比表示），平均分值较高或近期分值高，但连续年度分值不稳定（即变异度高）的模块/要素尚不能认为已经成熟，只有在近一个时期平均分值较高且变异度较小的模块/要素才可以认为已趋于成熟。

结果显示，研究院和甲院在科研生产任务管理、科研生产能力建设2个模块得分均高于乙院，在市场开拓与立项模块也高于乙院，而研究院与甲、乙院之间在售后服务与支持保障模块无显著差异。研究院得分变异程度较大，即最不稳定的是科研生产能力建设模块，相对稳定的是市场开拓与立项模块。就4年平均水平而言，研究院在科研生产任务管理、科研生产能力建设、市场开拓与立项方面优于乙院，但4个模块对甲院均无优势。表明研究院科研生产能力建设仍处于发展变动的阶段，而市场开拓与立项已趋于成熟。

通过分析可以看出，研究院虽然在4个模块的保持和赶超方面取得了一些成绩，但对其它单位并未形成整体性优势。而且从发展的速度来看，某些单位进步较快，研究院的优势已不再明显。此外，研究院在科研生产管理的4个方面发展并不平衡，除市场开拓与立项方面优势明显外，其它方面还需要加强。

表2 2011～2014年研究院与其它研究院评估总平均分差异性及相关性检验结果

图4 各研究院四大类评估子要素平均分平衡计分卡图

三、关键子要素分析

1．关键子要素的分类

在管理实践中，运载火箭技术研究院将评估得分曾低于0.9的要素视为关键子要素。为有针对性地对这些子要素实施管理，根据其近年平均分、分值稳性并结合变化趋势将其分为4类。

第一类为发展型子要素，其特征是平均分较高、变异度较大、呈上升趋势。这类要素虽然不断提升进步，但还未稳定到一定的水平，因此尚不能认为其完全成熟，工作中还需进一步巩固提高。

第二类为衰退型子要素，其特征是平均分较高或中等、变异度较大、呈下降趋势。这类要素连年评分一直滑坡，其变异度越大，说明衰退问题越严重。

第三类为问题型子要素，其特征是平均分较低或中等、变异度大、无明确趋势。这类要素评估表现不稳定，通常是“抓一抓有起色，放一放出问题”。

第四类为顽固型子要素，其特征是平均分较低、变异度较小、无明确趋势。这类要素评估中长期表现不良，反映科研管理中存在顽固性问题，但也不排除某些要素不甚符合被评单位管理实际。

使用上述分类半对研究院4年间子要素进行分类诊断，为相关要素改进方案的制定寻找依据。表4列出了研究院若干具有一定分类特征的子要素。需要指出的是，研究院关键子要素评估表现基本良好，故多数只表现为有某种特征的倾向，特别典型者暂不多见。

总之，子要素成熟与否不能仅凭个别年份得分，应经过若干连续年度评估且具备平均分较高、变异度较小、呈上升或稳定状态等特征，方可认为达到较成熟水平。一些曾表现不良的子要素必须经过整改，稳步提升并趋于稳定后，方可认为达到成熟。

2．关键子要素的计数统计

经计数统计，2011～2014年研究院曾低于0.9分的子要素共有14项，甲院和乙院分别为14项和16项，如图5所示。其中，研究院重复4次低于0.9分的子要素为1项——新产品开发及产品更新换代管理；重复3次低于0.9分的为1项；重复2次低于0.9分的为4项；仅1次低于0.9分的为8项。

表3 各研究院四大类评估子要素平均分差异性检验结果

表4 研究院典型关键子要素示例

3．低分子要素占比分析

计算历年低于0.9分的子要素占当年全部子要素数的比例，要考虑到历年评估要素数量有一定变动。研究院此类要素占比最高的年份是2011年，达34.78%；占比最低的年份是2012年，为10.34%，见图6和表5。

采用卡方检验分析研究院各年度低于0.9分的子要素占比差异。结果显示，2012年和2013年的占比较2011年显著下降，说明相关子要素的整改有实质性进展。2014年占比数值虽有所上升，达22.86%，但统计检验显示与2012年和2013年占比并无显著性差异，说明低分要素占比仍在同等水平。

在相同年度对研究院和甲、乙院低分要素占比进行卡方检验，研究院低分要素占比与甲院和乙院均无显著性差异。结果说明，虽然直观的数值上研究院低分要素占比低于乙院并高于甲院，但还不能认为与这2个单位拉开了实质性差距。

图5 各研究院2011～2014年评估低于0．9分的子要素复现情况

4．低分子要素平均分差异性分析

经计算得到研究院14项低分子要素的平均分及标准差，如图7所示。其中4年平均分低于0.9的子要素有11项。将这些子要素的4年平均分与甲、乙院相同子要素4年平均分进行统计学差异性检验，研究院的产品重大问题/重大短线/共性问题的识别分析与处理高于乙院，其余子要素与甲、乙院均无显著差异。结果说明，若从4年整体观察，研究院的低分子要素与其它研究院有很大共性。

根据上述分类方半对研究院14个关键子要素作出分类，偏向于发展型的子要素3个，偏向于衰退型的子要素1个，偏向于顽固型的子要素3个，偏向于问题型的子要素6个，评估周期过短不便分类的子要素1个。其中个别子要素具有混杂特征，介于问题型与顽固型、顽固型与衰退型之间。

5．统计结果讨论

可以看出，虽然研究院部分子要素在向健康方向发展，但多在产品工程建设中新老问题相互交织，不同要素相互影响。

图6 各研究院2011～2014年评估低于0．9分的子要素的当年占比

表5 各研究院2011～2014年评估低于0．9分的子要素的数量及占比

6．以评估数据支持改进决策

研究院结合历年航天科技集团的反馈意见将统计分析结果进行深入探讨，明晰了自身的发展水平和趋势，进一步了解了相对其它单位的优势与劣势，理清科研生产管理问题的特征和脉络。在宏观层面，将有关调控内容融数低分子要素仍表现为迁延反复的问题型或改进阻力较大的顽固型，对相关管理提出较大挑战。科研生产管理问题主要体现在能力建设方面，相关要素占全部问题的85%；科研生产任务管理也是问题的重要方面，相关要素占全部问题的14%，表明研究院科研生产管理的主要矛盾在于能力建设。非常值得注意的是，产品工程建设中的关键子要素绝大部分呈现“问题型”特征，说明入未来规划，发扬优势提升能力；在微观层面，结合研究院科研生产管理问题的分类，根据各类要素的特征有针对性地逐条制定改进措施和实施方案。

图7 研究院2011～2014年评估低于0．9分的子要素的平均分及标准差

例如，通过分析发现，尽管各子要素是分别评分再线性相加，但各类子要素间往往具有内在关联性，具有“牵一发动全身”的联动效应。第一个子要素背后的管理领域出现问题，都可能对相关管理领域造成影响，反过来再影响其它子要素的评分。尤其对于产品工程建设中的子要素，这种特征更加明显，所以其问题也往往表现为“扎堆”的现象。针对这些问题，在管理决策中要做好持续艰苦攻关的思想准备，不能急于求成，应本着紧跟航天科技集团的思路创新开扩思维、系统规划部署、逐项推进解决的原则推进产品工程建设管理的改进。

另外，对分析中呈现“衰退型”特征的要素，应认识到相关管理工作出现了滑坡或跟不上航天科技集团的新要求。因此，必须给予足够的重视，在管理决策中及时采取措施，凭借相关管理工作有较好的基础，可以迅速弥补促其赶上，如果久拖不决，则可能形成更大的问题而难于治理。

航天科研生产管理评估以现代管理理论为指导，以系统分析量化研究为特征，是一项重大的企业管理综合评估活动，具有重要的理论和实践价值。历年来为推动航天科研生产管理评估，集团公司、研究院、厂所3级均投入了众多精力和资源，在这个过程中生成了大量详实、宝贵的数据。这些数据与研究院、厂所/型号的科研生产活动密切相关，比较客观地反映了历年各级科研生产活动的要素特征，具有良好的数据质量和优质丰富的信息载荷，是一笔宝贵的管理信息资源，非常有必要加以充分利用。通过对其深入分析可以发现科研生产管理的关键因素和问题，掌握管理过程的状态和趋势，把握其中的特点和规律，确证其中重要的结论和问题，进而作出预测、给出建议。

数据资源的价值与其积累的深度和广度呈指数关系。评估数据分析如果仅限于当年、邻年或局限于小范围，则不足以说明大问题、把握大趋势、获取大发现，也不足以得出严谨的结论、作出准确的预测。只有尽可能全面、完整地将历年各单位的评估数据汇集起来，采用专业的统计方半加以分析，运用科学的理论进行阐释，才能为科研生产管理提供切实有效的决策信息。因此，要使数据分析发挥对科研生产管理的决策支持作用，必须首先建立一整套相关数据收集、整理、储存、利用的制度，形成一套可持续运行的机制。◀