摘要：国家科技计划改革后，为重点研发计划等新型科技计划构建评估体系既是改革的紧迫需求，也是支撑计划管理和决策的必要手段。本文着重介绍和分析了美国先进技术计划的监测评估方法以及典型的监测评估实践，包括项目评估、监测系统、经济社会影响评估、反事实评估等，并在此基础上从评估导向、评估方法、评估能力建设等方面为构建我国新型科技计划的评估体系提出几点建议。

关键词：先进技术计划；监测；评估；科技计划

doi:10.16507/j.issn.1006-6055.2018.11.002

1  引言

2014年，国家科技计划管理改革启动，国务院印发《关于深化中央财政科技计划（专项、基金等）管理改革的方案》（国发〔2014〕64号文），明确要求建立统一的计划评估和监管体系。2018年，中共中央和国务院印发《关于深化项目评审、人才评价、机构评估改革的意见》，旨在改革科技评估活动的不良导向，建立具有中国特色的科技评估体系。构建适应改革要求的科技计划监测与评估体系已成为迫切需求，也是加强计划管理、保障计划实施绩效的必然要求。在新时期，借鉴国外科技计划的监测与评估经验，对于构建我国科技计划监测与评估体系十分必要。

美国先进技术计划（Advanced Technology Program，以下简称ATP 计划）是政府、产业部门和学术界合作的联邦研发计划，由美国商务部标准技术研究院（NIST）管理，于1990年开始实施，2007年结束。该计划的宗旨是通过政府与工业界分担研发成本，资助私营部门难以独立承担的高风险性研发项目，加速技术的开发和商业化，增加美国的高收入就业，带动美国经济的增长和产业界的竞争力提升。计划资助项目分布在先进材料及化学、信息技术、电子通讯、生物技术四个领域。截止2007年，该计划共支持了824个项目，资助总额达24亿美元，直接和间接参与单位1581家，是实现美国技术发展战略转型的一项重要计划。在ATP计划之前，美国的军事科技和基础研究主要由联邦政府的科研经费资助，产业界仅负责开发民用技术。这一做法一直持续到克林顿政府时期提出ATP计划这一新的技术战略和政策，强调让产业界参与对国民经济增长有重大影响的技术开发计划，并分担研发费用。然而，ATP计划也备受争议，反对者认为政府主导使计划缺乏市场导向，合资企业抑制竞争；支持者认为合资企业可以调和不同部门的优势和责任。在计划实施的十余年期间，争议声音不断，对计划评估产生了前所未有的需求。相继围绕ATP计划开展了类型多样、方法各异的评估活动，尤其在计划的长期经济和社会影响评估方面，开展了不少探索性工作，提出了相关评估的基本思路和框架。ATP计划评估显示了在政治辩论的背景下，如何运用评估工具来回应各方关注的问题，进而支撑管理和决策。ATP计划的评估实践将科技计划评估的理论研究和实践活动推向高潮，在美国乃至世界范围的科技评估发展历程中具有重要意义，值得其他科技计划借鉴，尤其对于政府和产业界共同实施的科技计划更具参考价值。

国内研究人员对ATP计划的资助和管理进行过较多研究，但关于评估活动的研究较少且并不全面，仅对评估程序、评估工具，以及绩效评估指标和评级系统进行过零散介绍。事实上，在监测评估方面，ATP计划仍有许多做法值得挖掘和借鉴。此外，我国科技计划改革后形成了国家科技重大专项、国家重点研发计划等五大类国家科技计划，新时期科技计划的一大特点是在实施时更加强调政府和市场的分工与合作，这与ATP计划的特点类似。因此，进一步挖掘、归纳ATP计划的评估经验，将其借鉴到新时期国家科技计划的监测评估体系中具有现实意义。本文在系统梳理ATP计划主要评估方法以及代表性实践的基础上，从评估导向、评估方法、评估能力建设等方面为构建科技计划的监测和评估体系提出建议。

2 ATP计划的评估需求与评估管理

2.1 评估需求

ATP计划的评估需求是多方面的，包括国会议员、国会委员会、国家审计办公室（GAO）、总统执行委员会、总统管理和执行办公室（OMB）、监察长办公室、媒体、智库、工业界等都有提出。这些评估需求主要源于各方对政府支持的争议和质疑，即对于ATP计划这种具有技术风险的项目和计划，政府是否应该使用纳税人的资金对其进行支持，政府支持是否影响了企业公平公开的竞争过程，又是否能够增加商业研发的利润。对此，1991年的美国技术卓越法案（American Technology Preeminence Act）明确要求ATP计划在1996年以前开展深入评估并将评估结果提交给国会的每个部门以及总统。同时，ATP计划也需服从《政府绩效与结果法案（GPRA）》的要求，提交战略计划、年度绩效计划和年度绩效报告。根据ATP 经济评估办公室（Economic Assessment Office，以下简称EAO）主任的描述，ATP计划也许是美国同类预算计划中评估和审查最为严格的计划。

2.2 评估管理

ATP计划的评估活动由EAO统一组织和管理。EAO由经济学家、统计学家、信息专家、社会学家、商业联络专家，以及管理支撑人员组成，兼具组织实施相关研究和评估活动，以及就计划执行结果与内外部利益相关者沟通的职能，主要负责：1）努力实现对ATP计划结果的外部期望；2）将评估作为管理工具，帮助计划目标的实现，提升计划的有效性；3）研究和认识计划对美国创新体系的贡献；4）开发创新性方法来衡量公共研发投入的影响。其具体工作包括跟踪调查、数据收集、统计分析、组织政策研究、委托评估任务、开发评估和研究指南等；此外，还与美国资深经济学家共同开发ATP计划的经济评估方法，定期召开会议讨论评估结果和研究进展，并提出建议。

3  ATP计划的监测与评估方法

图1是ATP计划的评估通用逻辑模型，其中计划产生、实施到评估结果反馈呈闭环状态。从设定的社会目标出发，根据国家公共政策的策略产生了计划的动议和任务，进而设计计划实施的机制，并达到预期结果。评估环节在计划实施过程中介入，涵盖计划的投入、产出、成效和影响，评估结果反馈给计划管理者和政策制定者。该模型是国外计划设计与评估中使用的一项经典工具，有助于各利益相关方形成有关计划评估的共识，也是计划监测和评估框架设计的基础。

根据EAO的统计，在ATP计划实施的第一个十年期间（1991—2000）所开展的45项评估实践中共使用了81项评估方法。随着年代推进，实践活动不断增加，评估方法的应用也越加丰富。在2000年前后，经济学模型、社会网络分析等新兴方法开始得到应用。主要评估方法及应用举例如表1所示。

4  ATP计划监测与评估典型案例

ATP计划的评估体系包括多种类型、多种目标的评估实践，形成了全方位、多元化的监测和评估体系，这些评估实践大致可归为微观和宏观两个层次。微观层次的评估主要是围绕项目的立项、监测、统计和进展实施，是贯穿每个项目始末的持续性工作，主要针对投入和产出信息。宏观层次的评估主要围绕项目群或整体计划开展，主要针对成效和影响信息，具有阶段性和选择性。为了阐明计划的宏观成效和影响，评估人员一般会选择某些项目群作为研究对象，并明确研究或评估的时间区间。

4.1 微观层次

4.1.1 项目评估

ATP计划采取了严格的同行评议过程来选择项目。评估小组成员包括技术专家、商业专家、经济专家等。衡量标准包括：项目对于国家科学和技术知识基础的显著贡献；技术产生的潜在国家利益和ATP计划的特殊贡献；可能的市场化路径和扩散范围；申请者克服技术和产品挑战的努力；项目的组织架构、管理计划、申请人的经验、资质和资源等。无论最终是否成功，每个完工的项目都要形成状态报告（status report），该报告侧重于描述小型案例，需要对每个项目给于0∼4星的绩效评级。其中对失败项目的分析可以用于加强项目的遴选和管理。

4.1.2 监测系统

ATP计划的监测系统是在计划早期就建立起来的，并且在结构、内容和形式上不断更新，在服务于管理的同时，也用于计划的评估，可看作是评估体系的缩影，反映了所有具有价值的监测与评估信息。该系统有两个主要监测数据库，资助数据库（award database）和商业报告系统 （Business Reporting System，以下简称BRS系统），前者主要提供项目描述性信息，后者则是通过电子问卷（封闭式）调查方式跟踪获取的项目商业化和经济目标进展信息，包含了4种例行性调查报告，分别是基线报告（baseline report）、年度报告（anniversary report）、结题报告（close-out report）、项目后期报告（post－project report）。BRS 系统调查的时点覆盖项目的全周期；调查对象涉及大学和非盈利机构、企业等不同对象；内容覆盖广泛，包括研究的加速效果、参与者满意程度、大学的角色、知识产权信息、社会效果、技术溢出效应、研究合作、经济影响等（表2）。

4.2 宏观层次

宏观层次的评估实践针对项目群或某些技术展开，重点关注计划产生的影响，主要包括经济影响、社会影响和反事实影响。

4.2.1 经济影响评估

经济影响评估是ATP计划评估体系的重点工作。EAO与国家经济研究署的经济学家在ATP计划早期就开始对溢出效应、生产率等主要经济指标进行跟踪，为后续的经济影响评估打下了基础。以下介绍两例经济影响评估的实践案例，从中可以发现综合利用上文提到的方法，能够在有关ATP计划宏观结果方面获得哪些证据。

1）技术开发周期缩短带来的经济效益。该案例主要基于商业报告系统（BRS）开展的问卷调查，对问卷调查获得的商业信息进行统计和分析，并运用经济学方法将结果折算为货币价值。例如评估人员对28个1991年立项的ATP项目（抽样率10%）开展问卷调查。参与者将大中小型企业都包括在内，同时涉及营利和非营利机构。问卷要求参与者回答参与ATP计划后技术开发周期的缩短时间，并估算由此减少的研发成本、产品提前进入市场获得的经济效益等。研究发现，大部分案例的开发周期缩短了50%，节约开发时间1年，节省研发成本一百万~数十亿美元。具体而言，13%的机构较正常周期超前1年完成，53%的机构超前1∼3年完成，7%的机构提前3年以上完成。

2）产品质量提高对国家经济的影响。该案例通过设计宏观经济产业模型对产品质量提高带来的经济影响进行估算，涉及的经济学参数包括净现值、内部收益率和效益成本比。以ATP计划资助的控制自动制造过程研究为例，评估人员要求企业回答和估算新开发技术对生产过程的直接影响（主要涉及自动化制造商采用新技术的比率以及产品质量提高带来的销售增加），进而运用经济学模型估算对国家经济的影响。结果显示，五年内工业产出增加了87亿美元，并且增加了16万个工作岗位。

4.2.2 社会影响评估

社会影响包括参与企业的回报和公共回报等，公共回报又包括知识、网络、市场溢出效应，以及其他的间接收益。尽管衡量社会收益非常困难，EAO还是与各界人士共同就如何评估社会影响开展了一系列探索性工作。例如针对一系列技术和项目进行投入产出分析，包括制冷技术和流动控制加工技术的案例研究等。在衡量知识的溢出效应方面，基于项目结题报告，设计了专利树来分析专利引用情况。除此之外，还委托实施了一项利用社会网络分析来衡量知识扩散效果的研究。在市场溢出效应方面，对于50个已经完工的项目，收集项目产业化情况来跟踪新技术从产生到产业化的全过程。以下介绍知识溢出效应研究和投入—社会收益分析两个案例。

1）知识溢出效应研究。评估人员通过对专利引用现象进行分析，揭示大学、公司、实验室之间的研究网络，进而研究知识的溢出效应。评估人员对微电子制造系统和光学记录两种新技术的研究网络图谱进行研究发现，美国和日本是微电子制造系统溢出效应的主要来源和接受者。旧金山、洛杉矶和波士顿地区是微电子制造系统在美国的主要来源和接受者，技术扩散主要的推动者是麻省理工学院。光学记录技术研发网络的主要成员是美国企业，其中两家是受ATP计划资助的合资企业。这两家企业加入了国家存储产业联盟，最终联盟中的成员和大学、政府实验室都在光学记录技术研发网络中受益。国家存储产业联盟中的核心公立研究机构通过参与ATP计划，形成了促进溢出效应的重要机制。

2）投入—社会收益分析。投入—收益分析是典型的定量研究方法，将其用于衡量社会收益的具体做法是将社会收益折算为货币价值，再与计划的投入值进行比较。研究人员对40个ATP项目的社会影响进行研究发现，1999—2004年间，其净社会收益约为180亿美元；在此期间，ATP计划仅为项目投入了20亿美元，投入产出收益是显著的。另一个典型的案例是非晶硅探测器低成本制造技术。该技术研发项目是由ATP计划于1995年资助的。2003年，基于该制造技术的数字化X射线照相技术得到使用，降低了25%的制造成本。该项目的社会收益表现为提高诊疗率、避免不必要的医疗程序、提高乳腺癌的诊断率、降低病人的辐射，以及减少诊疗时间等。将这些社会收益折算为货币价值发现，在每年330万例乳腺检查和680万例胸部X射线检查中，ATP计划每投入1美元，就会收到125∼193美元不等的社会收益。

4.2.3 反事实影响评估

反事实影响评估采用对照组的方式，剥离其他因素对结果的影响，有助于解决评估归因的问题，可以了解政策实施的实际效果，但在科技计划评估中很少使用。ATP计划在科技计划的反事实影响评估方面做出了开创性的工作，分别在1998、2000和2002年对申请者进行调查，将项目申请成功者与失败者进行比较，开展了反事实评估。其中，国会委托国家审计办公室（GAO）对ATP计划开展的反事实评估中邀请了89位ATP计划的参与者以及39位未参与者参加评估。这39位未参与者具有高度的科学技术水平，也有很强的技术和商业特质，符合计划资助的标准但未获得计划资助，他们成为了对照组。128位受调查者接受了电话问卷调查。问卷包括76项内容，涉及在申请计划前的努力，被资助与否是否会影响项目的继续执行等等。未资助者还被问及他们的项目未被资助后的命运。

研究人员将项目组和对照组的回答进行比较发现，未受资助的项目有41%不再执行，40%的以较小规模进行，4/5的报告显示项目的规模降低到预期的40%。54%的受资助者预计耗时四年或者更长的时间用于研发项目，而在未受资助者中的这一比例为1/3。几乎所有继续实施项目的未受资助者都调整了项目周期，实际实施周期晚于他们预计的时间周期。在许多案例中，ATP项目没有得到私人领域资金的支持。63%的申请者在申请ATP计划以前没有尝试申请其他渠道的资金。那些试图寻找其他资金支持的申请者则花费了很长时间，也尝试了多种渠道。7位申请者拒绝了私人领域的资助，因为私人资助不能满足项目的要求。在45位尝试申请其他资金的申请者中，大约一半人因项目风险过大或者属于竞争前项目而不被资助。证据显示，ATP计划成功将资金瞄准在那些具有高技术风险和长时间周期的项目上，而这些项目正是私人领域难以独立资助的。

5  ATP计划监测评估实践的启示

本文介绍了美国ATP计划的典型评估方法和代表性评估实践。虽然中美两国国情不同，但ATP计划与改革后我国的科技计划具有共性特点。首先，二者的宗旨都是通过支持研发实现国家公共利益，促进技术进步和经济社会发展，这是公共支出研发活动的共性特征。其次，在实施方式上，ATP计划以政府与产业界分担研发成本的方式实施，通过技术开发带动美国的经济发展。随着市场化进程推进，新时期我国科技计划的设计也凸显了政府与产业界合作的特色，采取政府和实施机构分担成本的方式。第三，在计划导向方面，ATP计划接近于市场端，支持面向应用和市场的科研活动，以国家经济利益为导向，与我国科技重大专项、重点研发计划等面向应用和市场的计划设计类似。第四，在目标实现方面，计划目标的实现都需要较长的时间周期，具有复杂的路径和影响因素。基于以上几点，ATP计划的评估实践可以为构建我国科技计划的监测评估体系提供借鉴。

当前，我国科技计划的监测与评估活动更多沿用了以往计划评估的传统，以微观层次的项目立项、验收等为主；宏观层次的监测与评估活动正处于探索中，例如重点研发计划重点专项的年度监测、专项立项指南的评估活动。总体而言，科技计划宏观层次的评估活动较少，计划的成果和影响体现不足，监测评估活动对计划管理的支撑有限。从这一角度，ATP计划通过多样化监测评估工具支撑管理和决策的做法值得借鉴。

5.1 树立良好的科技评估导向

2018年，中共中央、国务院印发了《关于深化项目评审、人才评价、机构评估改革的意见》，旨在改革科研项目评审、人才评价、机构评估中存在的问题。文件要求构建科学、规范、高效、诚信的科技评价体系，发挥好评价指挥棒和风向标作用，形成中国特色科技评价体系。长期以来，在我国的科技评估活动中，过度强调论文、专利等微观评估指标，并将评估结果与奖励挂钩，形成了不良的评估导向，忽视了评估在决策和管理中的重要作用。“三评”改革有利于纠正不良做法，引导健康的评估导向。ATP计划的评估实践展示了评估活动支撑决策和管理的经验，在树立评估导向方面值得借鉴。首先，ATP计划运用大量的评估信息来说明计划的效果，支持利益相关方的辩论，为支撑计划经费拨付和管理改进提供了依据；其次，ATP 计划将微观评估和宏观评估并重，以多样化评估实现不同的目的，如利用同行评议来选择项目，采用经济学方法来分析计划影响等，体现了评估的科学性，而不是“一刀切”式地运用一套指标和方法来回答所有问题。第三，评估在计划、政府、公众之间建立起沟通的桥梁，满足国会、媒体、公众、科学界等不同对象的评估需求，发挥了监督作用。

建议我国科技界在“三评”改革引导下，将科技评估活动的关注点从微观层次向宏观层次扩展，更好地发挥评估在揭示效果、支撑决策和改进管理方面的作用，淡化排名奖励的功能。此外，建议评估人员采取多方法和多角度的分类评估策略，提升评估结果的科学性和准确性。

5.2 建立定量和定性并重的监测系统

ATP计划的评估活动依赖于其强大的监测系统。该监测系统不仅涵盖定量、客观的数据，还将观点、案例等定性信息纳入其中。监测从计划初期嵌入，覆盖项目和计划的全周期，甚至在计划结束后依然定期搜集信息用于分析。监测活动具有比较明确的目标，针对不同的对象设计了不同的调查方案，满足不同评估活动的需求，导向性较强。详尽和实时的监测系统能够及时反馈计划信息，帮助管理改进和决策调整，也为评估活动提供了坚实的基础。我国的科技计划同样具有长周期、复杂性等特点，计划的效果需要较长周期呈现。而高质量的评估活动依赖于扎实的监测和调查活动。

建议管理部门在科技计划论证时同步考虑设置核心监测指标，不仅包括基础管理指标，如目标、经费、人员等；还包括调查性指标，特别是面向市场的指标，如应用情况、销售收入、合作网络、产业化、增加就业、用户反馈等。组织专业评估人员根据计划评估的需求，设计定量和定性监测指标，定期形成监测报告。在计划执行过程中，根据需求调整计划的监测体系，及时将有价值的监测需求嵌入系统。

5.3 重视经济和社会影响的监测与评估

科技计划改革后，五大类科技计划是国家公共研发投入的主战场，投入数额巨大，社会关注度高，影响广泛。针对重点研发计划这类面向终端市场和用户的科技计划，评估活动除了展现科技创新的进展，更应该说明计划对国家经济发展和社会进步的贡献。长期以来，科技评估唯专利和论文为标准的做法受到质疑。“三评”改革文件中提出，应更加注重科技投入的质量、贡献和绩效。经济和社会影响评估能够反映科技计划的绩效，也是国内外评估界面临的挑战。ATP计划有关经济社会影响的监测评估工作，对于向政府和公众展示计划的绩效发挥了重要作用，相关经验值得借鉴。

建议管理部门参考ATP计划的做法，持续开展完工项目的影响调查；增加回溯研究、市场数据为基础的分析；围绕科技计划的经济和社会影响，从方法研究、案例研究、模型构建等方面加强探索、研讨和交流。

5.4 关注科技计划的比较评估

ATP计划在科技计划的反事实评估方面具有代表性。其经验提示我们，对于复杂科技计划的效果评估，应关注反事实现象，在监测和评估活动中有针对性的予以设计。科技计划的监测和评估对象也可考虑包括受资助者和未受资助者两个群体，通过比较二者的效果差异，来分离影响计划效果的多重因素，得到计划产生的真实效果。评估人员在得到评估结论时，不能忽略导致计划结果的复杂因素，避免得出片面的评估结论。此外，评估人员可以针对科技计划的效果开展比较评估，例如与国外同类计划开展比较研究，分析计划在资助机制、资助对象、资助效果方面与国内外同类计划的比较优势与不足，将计划支持的结果放在国际标准下进行衡量，再提出对策与建议。

5.5 以科技计划监测评估为契机推动科技评估能力建设

ATP计划评估是科技计划评估的里程碑。通过评估活动，探索了评估方法，培养了评估人员，增进了评估共识，对美国科技评估能力的提升作用显著。较西方国家而言，我国在评估能力、评估文化、人力资源等方面较为落后。当前正值国家大力推动管理体制改革、加强绩效管理的时期，建议管理部门以重点研发计划等科技计划为抓手，鼓励多元化的监测和评估探索活动，努力弥补我国在科技评估方面的短板，推动科技评估的能力建设；加强评估结果的交流互动，形成良好的评估氛围和文化；培养科技评估的专业化队伍，满足科技计划评估日益增长的需求，更好地服务于科技计划的管理和决策。同时，政府也可以通过多层次评估活动展现公共科研投入的必要性和价值所在。