循证社科研究方法系统评价与Meta分析实例

由此可见，系统评价方法，作为循证方法中的代表性方法，其思维特性与方法特征，与最终形成的系统评价研究报告的框架结构和内在逻辑之间，有着鲜明的对照和呼应关系。具体而言，所有的系统评价报告，基于其科学理性主义的方法论特征，以及Campbell协作网对系统评价报告发布的技术要求等，都须依据严格规范的结构和论证逻辑来撰写。

（一）系统评价背景（Background for the Review）

系统评价背景作为系统评价报告的开篇，需要作者阐明其选题背景。具体到本系统评价报告，作者指出：自1939（1940）年美国社会学联合会主席Sutherland在大会上发表了其闻名遐迩的关于公司犯罪的演讲致辞，并紧随出版了其大作《白领犯罪研究/White Collar Crime》10年后，鉴于公司犯罪的跨学科特征，包括商业研究者、经济学家、社会学家、政治科学家、法官、心理学家和犯罪学家在内的各界精英，不仅对公司犯罪进行了病因学思考，而且，还对公司犯罪的防控策略及其成效，展开了跨界研究。席卷全球的2008年金融危机，再次将白领犯罪问题带入了媒体、公众和决策者们的研究思考视野。但令人深感遗憾的是，回顾既往研究文献，几乎找不到对公司犯罪的恰当理论分析与经验评价、提出公司犯罪防控政策建言的循证研究。为此，作者决定敢为人先地运用系统评价方法，来对公司犯罪威慑策略的经验证据进行报告和循证评估。由此可见，如同所有系统评价研究报告，其背景介绍主要服务于作者的破题目标。在此，作者就开门见山地将本循证研究的主题，框定为非常具体的公司犯罪威慑策略成效评价问题。

当然，为了使上述研究议题真正符合学术规范性，在评价背景中，作者还重点针对本系统评价研究所涉及的关键词，如公司犯罪、威慑策略等，借助现有权威研究成果，对其内涵和外延，从多个角度和层次进行了深度阐释和剖析界定，为其后的系统评价开展，打下较为坚实的逻辑基础。

具体而言，作者从权威学者关于公司犯罪的概念界定——即公司犯罪，是指法律所禁止和处罚的公司行为，或公司职员对公司的代表行为（Braithwaite，1984）——入手，提出：本文所研究的公司犯罪，涵盖了广义上的、由公司经理人或公司职员个体以及公司组织体，为达公司组织目标所为的、为法律所禁止的刑事、民事和管制行为。进而，作者还以Tyco国税责任案以及有关“集体侵权（Collective Embezzlement）”的研究成果（Calavite et al.，1991）为例，指出：公司犯罪，在一般情况下，虽然易于同其他类型的白领犯罪划清界限，如借助公司组织资源所实施的白领犯罪与行为人因违法而获益的白领犯罪，但是，二者的界分并非泾渭分明，模糊性始终存在。尽管如此，本系统评价的研究立场和学术关切，只在于：关注典型的、以公司组织为主体的犯罪，排除以谋求私人利益的犯罪动机所实施的宽泛意义上的公司犯罪。

这种绕口令似的问题界定方式，凸显了对概念的科学、严格和规范界定之于法律领域系统评价的重要性。同时，它也反衬了主流汉语法学研究中，基于主观价值判断所开展的规范论研究，与讲求客观性的法循证方法之间，有着深刻的范式背离。它同时也为国内初创阶段的法循证学研究，设置了观念障碍。而前述中国法学界开展循证矫正研究的历史及现状，也恰印证了这一点。

为了更进一步明晰研究对象，本系统评价报告的作者还立足主流学者关于公司犯罪分类的研究成果，对符合本系统评价定义标准的公司犯罪类型，进行了外延式明确列举：即不服管制行为（Administrative Noncompliance）、环境违法行为（Environmental Violations）和金融违法行为（Financial Violations）。进而，还从法律实证主义（Legal Positivism）角度指出，上述每一类公司犯罪行为的具体理解，还应该紧扣美国相关立法案的具体规定进行。如关于垄断、固定价格等不公平贸易行为的定义和具体惩罚手段，需要结合《联邦贸易委员会法》《罗宾逊-帕特曼法》和《谢尔曼-克莱顿反托拉斯法》等的具体规定；对于环境违法行为的分类规范，须参引《清洁水法》（Clean Water Act）《清洁空气法》（Clean Air Act）和《资源保护与修复法》（Resource Conservation and Recovery Act），等等。

其间，作者通过阐述公司犯罪的定义混沌性、外延广泛性、形态复杂性^[13]及高质量数据欠缺性^[14]等特征，指出了目前美国公司犯罪研究中所面临的巨大困境，以及公司犯罪及其威慑措施有效性研究的不均衡性（甚至空白性）^[15]。它也再次突出强调了循证方法与传统法学价值评价研究方法间的方法论差异，以及高质量研究数据在法循证学研究的极端重要性。

为此，作者决定在其系统评价研究报告中另辟蹊径，在传统干预措施如政策干预（Pulling Levers）、严苛管理（Boot Camps）及闭路监控（CCTV）等研究之外，首先对既往研究中已经开展的、不同种类的研究成果，进行了分析评价，以决定某个重要系列研究成果，能否成为本报告的评价与估测对象。为此，作者对白领犯罪和公司犯罪的前期文献，在不区分公司犯罪具体预防或干预措施的情况下，进行了广泛的跨学科文献检索。对照分析检索结果，作者发现现存文献主体都集中于法律领域，尤其是对公司犯罪法律约束的影响或效果方面。基于此，作者进一步将其系统评价报告的主题最终锁定为：关于公司犯罪广义法律威慑措施及效果经验证据的系统评价。

另外，对于法律领域行之有效的公司犯罪预防和威慑方法，作者总结概括为两大类：（1）对社会公众的相关法律教育；（2）管制政策。因为，在法律领域中，公司的违法行为变化多端，而对其控制的主要理念则是预防和威慑。为此，法律一方面通过对潜在违法者的令行与禁止，来预防犯罪，如通过市场监管中的现场检查与警告信等，达到教育公司自觉识别自身合法活动领地的目的；另一方面，法律则通过增加对公司违法行为的非正式监控，也即借助日常生活中人们对公司违法行为向政府相关部门防患于未然的检举控告，来震慑犯罪。当然，正式国家监管制度，则不仅可以一般性地震慑公司违法行为，还可以切肤地惩罚白领犯罪。更不用说，在政府管制将抬高公司尤其是上市公司声誉损失的情况下，其威慑力将进一步加大。

最后，根据传统公司犯罪的威慑理论，对东窗事发的恐惧，再辅之以恢恢天网下的酷刑，将迫使公司自觉守法、不逾雷池。作者也发现，这一基本观点，虽然看上去很美，但现实中，公司犯罪的违法者面临的却是低风险查处与低烈度惩罚。也即，对经济犯罪的罚款数额，常常小于其所造成的损害（Cohen，1989）。这种理论与实践的内在矛盾，人为地挖掘了研究结论与威慑效果之间的鸿沟，造成了此前公司犯罪法律干预研究的硬伤。而事实上，政府监管机构从来都是灵活运用多种不同策略来督促公司守法的。其中，既有单向威慑，也有双向合作；而且，不同措施的实施效果，也各有千秋，甚至因时而变，因人而异。为此，就非常有必要将整个法律体系，尤其是其中的公司犯罪法律干预措施，作为一个整体，统筹考量各种干预策略的比较优势与效果特征。

（二）系统评价目标（Objectives of the Review）

不同于传统法学研究的低调含蓄甚至含沙射影，循证学方法的最大特征就是，从研究初始就必须有明晰、可供研究者坚守和评论者审视的研究评价目标。为此，本报告的作者也在前述评价背景的基础上，将报告的总体评价目标界定为：甄别和综合分析已公开发表和尚未公开发表的研究成果中，公司犯罪的正式法律和管制预防、控制策略和措施，包括政府执法部门、立法机关和监管机构针对公司犯罪的行动与计划。

为此，本研究报告检视了所有类型的、将公司犯罪预防和控制作为其产出目标的法律和监管措施。进而，基于相关循证证据，对特定策略和措施的有效性，进行了一个系统评价。

本评估报告，在全面评估现有研究文献及质量的基础上，具体探讨了如下3个问题：

第一，哪些法律、监管措施具有降低公司犯罪风险的效果？

第二，公司犯罪干预措施的效果，是否会随着个体与公司等分析单位的不同而发生变化？

第三，文献的研究特点是如何影响观察结果的？

（三）研究材料与方法（Materials and Methods）

这是任何系统评价中最具技术性和含金量的部分，当然，也是跨学科引入法律领域和法学研究时，最具挑战性和难度的内容。从技术规范的角度，它主要包括：

1.（文献的）纳入和排除标准（Inclusion and Exclusion Criteria）

因为研究课题的限定性以及系统评价研究方法的实证性，要求作为证据（Evidence）的研究文献，必须符合较为严苛的纳入或排除标准。否则，就有可能使得循证研究堕为一种大数据名义的“新瓶装旧酒”式的武断剪裁，或者面对海量数据的束手无策，抑或皓首穷经的低效科研，最终，都会走到循证研究和决策的反面。当然，哪些文献应该纳入或被排除，都取决于研究者所预设的具体研究主题。

本系统评价报告的作者，针对研究主题——公司犯罪的威慑措施及效果，分别从相关研究成果类型（包括公开发表文献和未公开发表文献两大类）、分析单位类型（包括个人、公司、地域和其他）、干预措施类型（包括法律、惩罚性制裁、监管机构的非惩罚性措施以及监管政策）、包含因变量要件（即文献中包含一种或多种针对公司不法行为的研究结果）等方面，设定了文献的纳入和排除标准。

2.甄别文献的检索策略（Search Strategies for Identification of Studies）

依据上述纳入排除标准，作者对现存各类线上、线下数据库资源中的海量文献，进行了科学的、尽可能无遗漏的甄别检索。对于每个数据来源，作者根据其选定的69个搜索词汇^[16]，包括世界政治科学文摘在内的11个数据库^[17]，检索了公开发表文献；又从包括谷歌学者（Google Scholar）在内的30个相关官方网站^[18]，充分检索了未公开发表的其他相关文献。

其中，作者制定的主要甄别检索策略包括：在线文摘数据库和网络数据库的关键词检索、相关文献的编码纳入评价、科学文献数据网络搭建、顶级期刊深度检索、向专家寻求文献帮助和研究结论撰写。具体而言，对于所选定的每个数据库和检索词，作者都追踪了关键词的出现频次；而对于每个选定的文献，作者又通过阅读文献摘要，依据两个检验标准，即该文献是否与公司犯罪威慑有关，以及是否有足够的文献量来编码展开系统评价，来决定文献是否适格，以及能否进入合法编码的下一个阶段。进而，程序员根据5个指标^[19]，定前一阶段检索的潜在文献（Potentially Eligible），应该被编码为“适格/Eligible”、“不适格/Not Eligible”和“相关/Relevant Review”3大类。其中的“适格”文献，编码输入特定的科学网络数据库（Web of Science Database），以供后续研究使用。除了彻底搜索相关参考文献外，精读本领域的顶级期刊也是非常重要的。因为，高质量的“适格”文献大都发表在这些期刊上。本系统评价报告的作者，就特别分析研读了《法和经济学》（Journal of Law and Economics）以及《人力资源》（Journal of Human Resources）所有年份的目录。另外，根据所有适格文献，编制了初步纳入评价的文献目录后，为了防止挂一漏万，作者还将目录清单电子邮件发送给公司犯罪领域的专家学者，请他们来提意见，包括补充提供他们认为符合筛选标准的文献。最后，在完成公司犯罪领域法律威慑研究文献的所有检索后，将“适格”文献编码输入Excel数据库，以便计算其效应量。

在编码过程中，作者发现很多研究都不包含方便计算效应量的必要数据，为此，尝试与每个被评价文献的权威学者取得了联系并获得了必要信息。表一提供了研究分析过程每一阶段的案例数目，以便更加全面和彻底地展示：研究结论是如何从当前系统分析中导出的。它同时也展示了，有多少案例是因为缺乏数据支持而被遗弃的。需要重申的是，目前的报告确实组合了2个不同研究成果。其中，第一个研究检索了截至2004年的所有公司犯罪预防方面的文章（但最终，剔除了与法律威慑无关的内容）；而第二类研究，则只专注于专门针对法律公司犯罪领域法律威慑的研究成果。故此，表一从2个不同的研究分支出发，最终对所有的案例进行了合并分析。这是整个研究过程中最为费时、费力的阶段。

3.文献编码分类细节（Details of Study Coding Categories）

对“适格”文献进行编码分类，是系统评价的方法特征与内在要求。它主要有编码方案和评分者间信度2个方面需要特别关注。具体而言，由于是初次研究，本系统评价的作者就创建了一个可以囊括公司犯罪预防/威慑所有领域的编码方案。其中，包含了其感兴趣的具体对策变量（Treatment Variables），也即法律限制。由于整个编码方案庞大，所以，一般后置于附录中。现行有效的对策自变量或者干预措施，主要包括如下5种：法律——即所有具有禁止或限制公司行为目的的正式成文法，如环保法律、金融犯罪法律、反托拉斯法律等等；官方制裁/罚款——即所有公司或经理个人代表公司能够接受的正式惩罚，包括认罪书、刑事起诉、有期徒刑或金钱处罚；监管政策——增加公司犯罪发现可能性的日常监管程序设计，如监管人员的检查次数、监管预算、监管人员编制以及监管力度等；其他威慑策略；多元对策——即集多种干预措施于一身的文献，它将使得针对每一种干预措施的效应量无法单独计算；监管机构的非惩罚性行动——监管机构针对公司非守法信息所采取的回应性（并不必然带来正式惩罚的）监管行为，如警告信、禁令等。

一个完整的编码方案，以本系统评价报告为例（详见附录六），一般包括如下组成部分：用以描述文献资料来源的编码（第一部分，如发表国家、杂志领域）、研究特点编码（第二部分，随机实验的有无、首尾数据的收集、有效性的关切）、样本特征编码（第三部分，如针对的是个体抑或公司）、研究作者所使用的方法和程序编码（第四部分，如控制组或对照组的使用）、自变量描述编码（第五部分，如自变量的构建和操作）、因变量描述编码（第六部分，如因变量的构建和操作）、效应量数据编码（第七部分，如用于计算效应量的编码数据）以及研究者的结论（第八部分）。在本报告的结尾部分，还附有描述不同类型效应量及相关统计数据的阴影框，以待未来展开深入分析研究。

4.统计分析流程（Statistical Procedures）

编码后的“适格”文献，主要通过如下主要程序进行分析，具体包括：效应量计算、独立性假设、调节变量分析。以本报告关于公司犯罪的威慑措施系统评价为例，由于系统评价涵盖了范围广泛的研究文献及结果措施，为此，就必须对多类型的效应量进行有针对性的编码和计算。作者依据主流的效应量计算方法，如“标准两分组均数差异效应量”方法、“积差相关效应量”、“比值比效应量”等，运用手工处理Excel表格和Campbell协作网推荐的David B.Wilson效应量计算器2种方式，进行效应量计算。计算对策措施的效应量后，对近似效应量展开比较，并报告。

由于所筛选的“适格”文献，在质和量2个方面所存在的问题，尤其是欠缺关于研究方法和研究样本的必要信息，使得本环节的效应量计算，不得不排除和放弃那些质次量寡的文献及其相关的评价项目。最后，作者按照评价所涉及的主要自变量（法律、惩罚性制裁、非惩罚性制裁、监管政策、多元对策）与因变量（个人、公司、地理区域、其他；纵向与横向），将效应量计算内容排列组合为40个不同分组，运用特殊的计算方法和软件进行了计算机演算。当然，为了保证计算效果的有针对性，作者对于包括多项结果的研究报告和针对一个样本的多项研究成果，都进行了独立性处理或者平均值处理（Lipsey et al.，2001），以保证每项效应量的计算都来自一个独立的样本。最后，对于平均值的计算，作者还特别考虑了每个分类中研究的同质性，也即效应量有效性与随机样本错误间的关系。为此，还在分析中引入了18个调节变量，如论文公开发表与否、期刊在出版地区所属专业领域或主要作者的专业方向、出版年份等等。

由此可见，对不同功能与利弊的统计软件、分析工具的熟悉掌握、熟练运用，是法循证学方法得以开展和应用的重点与难点。它既需要法学研究者努力学习，同时，还应该打破传统社会科学领域个体单干的科研模式，积极树立跨学科团队合作的意识和能力，借助统计、信息、互联网、计算机等方面专业人士之长，提升法治决策和法学研究的实证研究，以及与国际学术前沿同步的能力与实力。

（四）系统评价结果（Results）

这是系统评价研究工作的集中与最终体现。主要包括如下步骤与方法；(www.xing528.com)

1.效应量计算（Computation of Effect Size）

由于纳入Meta分析的研究，需要具有同质性，使用不同分析单位、不同对策类型，并且需要具有时间顺序结构（见附录一）。那么，为了计算基于有意义且更同质研究组的平均效应量，对包括法律、惩罚性制裁、监管政策、非惩罚性制裁、其他制裁和多元对策在内的每个对策组合，对包括个人违法、公司违法、地理空间内的违法率及其他分析单位在内的每个分析单位，以及包括纵向、横向和纵横交错向在内的每个时序，都要分别计算其平均效应量。

根据Farrington（2006）的研究，在低效度犯罪和司法研究文献广泛存在的问题是，文献效应量计算常常是间接的。效度作为“评价关键特征报告的充分性”，其外延是指研究设计、样本量、试验单位特征、实验和对照条件描述、观察指标和效应量等。上述信息是进行系统评价和Meta分析的前提条件。由于标准化效应量在绝大多数被评价论文中都没有提供（这可能就是法循证学研究的一个世界性难题！），所以，针对现有文献的效应量计算，只能间接地来自其他各种统计数据。作者将计算效应量的统计频率也列呈在附录一中，将每个研究及其研究特征数据表列在附录二。同时，根据自变量是连续性与二分性标准，作者分别借用了相关性/ES-Rs（Correlation）与标准化均差值/ES-Ds（Standardized Mean Differences）2个不同指标，审查了同质性研究组中对策和违法结果之间的效应量。上述所有分析单位、对策及时序类型，都被分别计算了2种效应量类型，其结果也可见于附录二。所有研究文献的效应量被列为附录三，森林图（Forest Plots）在附录四。每个对策措施的结果，将在下面的Meta分析中被逐一讨论。上述所有步骤，共同构成了法循证研究中计算效应量的方法和流程。

2.Meta分析结果（Meta-Analysis Results）

针对上述检索策略所制定的自变量和因变量，组成了40个分组。作者分别以自变量为纲，以因变量为目，依据前一阶段计算的效应量和信度，从4个方面实证地分析了不同公司犯罪威慑措施的边际威慑效果（Marginal Deterrent Effect），并对分析结果进行了小结和总结。

其主要结论是：法律作为威慑措施，在公司层面，具有边际威慑效应，所有5项研究成果都具有正效应量；在地域层面，其平均效应量（Mean Effect Size）为正，但不具有实质的威慑效果，同时还具有反直觉的效应量；地理纵向上的2个研究成果的平均效应量，对于违法行为也无实质威慑效应。总之，由于缺乏坚实证据支撑，所以，有关法律/立法对公司犯罪的威慑效应，在各个层面都很少甚至没有实质意义。法律实施的长、短期威慑效应以及在不同层面的细微差异，都应该得到谨慎评估和冷静对待。更加有效的方法应该是，加强在此领域的研究，以不断挖掘立法对公司犯罪的影响。

惩罚性制裁的威慑效应方面，现有研究证据显示，惩罚性制裁措施在包括个体、公司、地理区域、其他分析单位以及纵向和横向等在内的所有因变量层面，都不具有威慑效应。

监管政策方面，总体而言，监管制裁对违法行为的影响是不连贯的，同时似乎还取决于监管措策的界定方式。效应量计算结果表明，监管制裁对个体违法具有一定的威慑效应，在横向层面具有实质威慑效应，在纵向层面具有边际威慑效应，虽然支持该结论的研究文献数量很少（分别只有2篇）；公司层面的平均效应量缺乏实质上的威慑效应，甚至还存在一些与创造性守法（Creative Compliance，McBarnet，2004）有关的内部矛盾；在地域层面，似乎可以得出结论：更加严格的监管鼓励违法（尽管效果很小，甚至无效）。一言以蔽之，监管制裁对于公司行为的威慑效果，到目前为止是不清楚的。另外，关于其他分析单位的计算结果的平均效应量，也显示了一个无实际意义的结果。

多元类型制裁方面，现有用于计算平均效应量的数据，已经充分证明：它在个体横向层面与公司相关性层面，具有实质威慑效果。比之其他对策措施，这一结论非常令人振奋，它虽然文献量小，但对违法行为的威慑效果却是连续的。它所提出的问题：1+1+1＞3（Simpson et al.，2013），很值得后来者深入研究。

最后，作者对本节内容进行了总括：由于数据量的不足（绝大多数分析都少于10篇文献），导致在25个所计算的效应量中，占64%的16个效应量呈现了预期（具有威慑的）效果，但其中，没有一个是强量级的。另外，也只有4个的效应量具有统计学意义。不仅如此，绝大多数的研究，还缺乏严格的方法论依据。英美法循证学研究中的这一现状与困境，实际上，为中国法循证学的展开，也敲了警钟。它提醒我们，法循证学的前途是光明的，但道路是曲折的。

3.调节变量分析（Moderator Analysis）

由于本系统评价报告结果的整体质量不高，未达到预期目的，为了从技术上进一步弥补其中的研究缺憾，作者不惜纸墨，分别从发表偏倚、研究领域、发表年份、研究设计、作者国籍、设计控制、自变量和因变量数据源、样本选择、违法Offense类型等方面，非常详尽地讨论了影响效应量计算的可能调节因素。

具体而言，未公开发表文献、公开发表文献与更强烈的威慑效果之间，表面上具有的相关性与事实上的一致性缺乏，使得发表偏倚不可能真正影响研究结论。进而，作者在将所有公开发表文献又分为6个学科领域（包括犯罪学、社会学和心理学在内的人类行为学科14.5%、金融学科18.2%、政治学科14.5%、环境学科4.4%、交叉学科27.7%和其他领域8.2%）后，发现威慑效果在不同学科领域的差异，也不具有决定性意义。

进而在出版年份、研究设计、研究国别、自变量与因变量的数据源、样本选择等评价指标方面，作者也都获得了一些左右摇摆、似是而非、不清晰也不确定的结论。

特别值得一提的是，在违法类型方面，作者讨论了金融违法（包括反托拉斯和贸易违法，占效应量的30.2%）、环境犯罪（占效应量的47.8%）、职业安全和健康违法（占效应量的6.9%）、消费者安全违法（占效应量的0.6%）、多结果混杂（占效应量的5.0%）和洽谈类型犯罪（占效应量的9.4%）在内的6个因变量，以及包括法律、惩罚性制裁和管制政策在内的4个自变量。最终所获得的基本结论是：基于法律的教化功能与一般威慑，相关立法措施对公司横向层面的金融违法、环境违法，具有实质性威慑效果。惩罚性制裁，对个体横向层面的金融违法具有实质性的反直觉效果，但对个体横向层面的金融犯罪却无实效，它对公司横向层面的金融和环境犯罪有实效，但对其他类型犯罪却无能为力。监管政策，对公司横向与横向地域层面的金融犯罪具有明显的威慑效果，与此同时，对环境违法也具有无法掩盖的反直觉效果。它意味着，原则性规定在更大范围内可以有效地改善环境违法后果，而对金融犯罪，则必须采取更有针对性的措施。多元对策，在公司横向层面对金融和环境违法的威慑效果很明显，而且，对于几乎所有类型的犯罪行为，多元法律措施都可视为一剂灵丹妙药，具有一致的效果。最后一点，可能是本系统评价报告所获得的最具实证价值的结果。

（五）研究结论（Conclusions）

基于系统评价分析所获得的科学评价证据，针对研究所设置的具体目标，需要在此部分对二者间的因果关系，进行回溯式概况总结。作者在本研究报告中，基于现有科学证据，分别从法律（Law）、惩罚性责任（Punitive Sanctions）、监管政策（Regulatory Policy）和多元干预措施（Multiple Treatments）等4个方面，就其对公司犯罪的威慑价值进行了评估。所获得的基本结论是：公司犯罪研究文献量大面广、研究方法变化多样。进而指出，虽然，作为一个具有跨学科属性的研究论题，其上述文献特征不足以令人大惊小怪，但其文献涵盖领域的过于宽泛，使得该评估报告的质量差强人意，即便将本系统评价报告系公司犯罪领域的处女作，以及目前关于公司犯罪威慑的强有力经验研究成果欠缺等事实，统统考虑在内。

它也再次说明，系统评价研究作为一种行之有效的实证分析方法，在法律领域的应用，非常受制于作为证据（尤其是有效证据的）的前期研究成果的质与量。如果不能满足这一前提条件，即使勉强开展了所谓的系统评价研究，并撰写完成了研究报告，其实践价值也可能要大打折扣。对此，我们在开展中国法循证学研究时必须格外提高警惕，不能为了方法而方法，让系统评价研究变成一种“为赋新词强说愁”。

也正因此，作者在完成本系统评价报告的主体部分后，得出的总体结论或研究发现却是非结论性的。

最后，作者在进行了一些较为具体的、关于不同分析标准对公司犯罪的威慑效应后，自我安慰地总结道，尽管本研究报告的系统评价结果并不尽如人意，但作为循证方法在公司犯罪领域的处女秀，其知识与技术价值，要远远大于学术和实践价值。

当然，在汉语法学语境下，我们学习和运用循证方法开展法学研究时，是否有必要开展深入细致的系统评价分析，文献计量学分析恐怕（而且应该）要作为其前提条件与方法基本要求。至少，我们认为，本系统评价报告如果先期进行了扎实有效的文献计量学分析，那么，就不至于贸然投入如此大的资源，展开一个名大于实的系统评价。不仅如此，当我们面对一些全新领域的议题，如大数据和人工智能法治问题，或者面对相关研究文献积累与质量都无法满足系统评价要求的课题时，如国内很多的价值论研究，还是应该实事求是地回归传统的规范研究、案例研究或者社会调查等实证研究。我们既不能神话，也不该漫画循证方法在法律和法学研究领域的功效。

（六）系统评价更新计划（Plans for Updating the Review）

循证研究方法与科学数据或前期研究文献的数量、质量间的关系，决定了其是一个不断接近科学真理的过程，也即需要我们根据数据的积累变化，不断更新研究成果和研究结论，以更加精准的方案，为决策和实践服务。所以，系统评价研究大都对未来的更新计划和时间（如5年），做出正式预告，以便同行动态跟进。

（七）相关声明（Acknowledgments）

如同传统科学研究尤其是涉及科研资源整合的研究成果中，按照惯例都会对参与研究项目工作或者给予研究工作支持协助但未署名的利益相关方致谢。由于资源整合与团队协作是循证研究尤其是系统评价方法最突出的特征，所以，对团队成员的不同贡献（同时也包含其学术担当/责任）以及相关资源提供方在系统评价中扮演的角色（权利、义务）等等，都需要给予如实描述和报告。当然，基于法循证学的为法治决策服务的方法特征，系统评价报告声明中很重要的一部分内容是，对（尤其是科研基金支持情形下）资源提供方以及研究团队中可能存在的与循证决策有关的利益冲突的有无和大小，做出申明，其目的是为循证决策的公开透明、公平公正提供防火墙和安全阀。当然，它在另一侧面也展现了：所谓价值无涉、科学中立的决策，在包括法治决策在内社会科学决策领域，不是简单的先验假设，只能借助程序制度，经验地逼近。

（八）参考文献（References）

此部分内容，虽然繁琐且需要足够耐心，但从技术层面看，最为科研工作者所熟悉。对此，我们只需根据国际、国内学术规范要求，对国际、国内参考文献就范编排即可。需要注意的是，基于循证方法的科学主义和实证主义研究特性，与传统学术论文的研究参考文献不同，系统评价报告中所涉及的文献，既包括作为系统评价对象的研究文献，也包括作为系统评价报告引证的研究文献。前者又可称为“纳入系统评价的适格研究文献”，后者被称为“其他未纳入系统评价的引证文献”。而传统非系统评价研究文献中，只涉及引证文献（其中，又包括引用他人成果的参考文献与作者深入阐释的脚注）。评价文献和引证文献，不仅在系统评价中发挥的作用不同，而且，其作为循证证据的效度也有差异。

（九）图表和数字（Tables and Figures）

本部分的内容是关于系统评价所涉及的研究成果数目，或者在每个阶段所呈现的案例，以及在文献检索和编码过程中涉及的数字。

实际上，它是整个系统评价研究中的最核心环节。在文献检索和编码环节中，所有的数据及其处理流程，都被表化展示。这种方式有利于系统评价的研究者和报告的学习者理解隐藏于其中的逻辑，并快速核对其中数据内容的真伪。

（十）评价报告索引（Appendix）

评价报告索引是系统评价的最后一部分。也即，对没有（基于篇幅或必要性）在报告主文中展示的数据统计分析情况，包括文献检索策略和方案等，进行证据附录。这样，不仅有利于佐证前面系统评价研究成果中的具体结论，而且，也便于验证其中的统计分析失误，以供未来改进统计分析方法包括统计分析软件之用。附录的内容及编排，实际上（应该）与前面评价报告正文的前7个部分之间，建议一一对应关系。如附录五的森林图，就是对第五部分结论内容所涉数据的回应。

最后，能够纳入Campbell协作网的系统评价报告，一般还会在发布时，对外公布成果的初版时间、研究执行时间以及报告编号等信息。

（刘光华　赵幸）