2.3.5　模型评估阶段

在将建模阶段发布的一个或多个模型部署到现场进行使用前，必须对模型的质量和效果开展评估，模型评估是要从业务角度和统计角度进行模型结论的评估。要求检查建模的整个过程，确认模型是否完成设定的目标，以确保模型没有重大错误，并检查是否遗漏重要的业务问题。当模型评估阶段结束时，应对数据挖掘结果的发布计划达成一致，即做出有关是否使用数据挖掘结果的决定。模型评估阶段的数据流程图见图2-8所示。

图2-8　模型评估阶段的数据流程图

1.评估结果（Evaluate Results）

（1）任务（Task）。评估结果（Evaluate Results）：之前的评价步骤主要是处理诸如模型的准确性和通用性之类的因素。该步骤则是评估模型达到商业目标的程度，并找出是否存在某个商业原因使得模型不够完善。另一个内容是在时间和预算限制允许下在实际的检验应用上测试模型。而且，结果评估还包括评定产生的其他数据挖掘结论，包含与最初商业目标密切相关的模型和所有其他并不密切相关但可能为今后的方向揭露额外挑战、信息或提示的发现。

（2）输出结果（Outputs）。评估数据挖掘结果（Assessment of Data Mining Results）：根据商业成功标准总结评估结论，包括一个最后陈述，项目是否已经达到最初的商业目标。被认可的模型（Approved Models）：在根据商业成功标准进行模型评估后，满足所选定标准的模型即为被认可的模型。(www.xing528.com)

2.回顾过程（Review Process）

（1）任务（Task）。回顾过程（Review Process）：此时，结果模型通常有希望地显示为令人满意的或满足商业需要。现在很适合对数据挖掘过程进行一次全面的回顾，从而决定是否存在重要的因素或任务由于某些原因而被忽视。这种回顾也包括质量保证问题，如：我们是否正确地建立了模型？我们是否只使用了我们被允许使用并在未来分析可得到的属性？

（2）输出结果（Outputs）。过程的回顾（Review of Process）：总结回顾过程和被遗漏及应该重复的重要步骤。

3.确定下一步的工作内容（Determine Next Steps）

（1）任务（Task）。确定下一步的工作内容（Determine Next Steps）：根据评估结果和过程回顾，决定后面如何进行下去。需要决定是完成该项目并在适当的时候进行发布，还是开始进一步的反复或建立新的数据挖掘项目。该任务包括对剩余资源和影响决策的预算的分析。

（2）输出结果（Outputs）。列出可能的行动方案（List of Possible Actions）：列出潜在的进一步行动和采用及反对每个选择的原因。决策（Decision）：描述怎样根据基本原理继续进行下去的决定。