培训师和客户都很关注的一个话题是培训给企业，给业务带来了什么样的影响。毕竟，客户花费了时间和金钱将职员送去参加培训，努力进行评估，创造允许新知识、新技能和新态度(KSAs)得以发挥的环境，以此来支持培训。
培训机构花费了大量人力和物力来设计、开发和实施培训。当试图将新知识、新技能和新态度转移到工作中，并要求展现出看得到的营收成果时，培训效果的可信度往往遭到质疑。因此，对于客户和培训方来说，最好的办法就是对培训项目进行第四级评估。
【第四级评估的意义】
第四级评估是确定培训所带来的最终业务结果的过程，也是确定培训给业务指标带来多大改变的过程（业务指标在最初的业务分析中确定出来并记录在评估计划中）。培训对业务结果的影响作用是指业务指标的实际转变。例如，抱怨和次品是否更少？人员流动率是否减少？销售额是否增加？成本是否减少了?产品上市速度是否更快？为了回答诸如以上这些问题，评估者必须监控业务结果从而评估培训的效用。毕竟，改变业务指标是进行培训的首要原因。
对业务指标的确定来自于同培训客户的初期谈话。通过这些初始的沟通交流，我们要做到以下几点：
■讨论并完成初始评估计划。
■确定用来评估培训的效用的业务指标。
■确定跟踪机制。在大多数情况下，公司已经有一套现成的跟踪监测业务指标的机制。
■培训客户提供数据收集的渠道以及熟知业务操作的人员。评估者必须获得实地探查的机会。
■确定业务指标的金钱价值。
确定培训所带来的业务指标的改变是一大挑战。例如，如果培训旨在提高单位销售量，培训所带来的影响将是单位销售量的改变。并非所有的业务指标的提高都归因于该培训。当受训者参与培训并将新获得的知识、技能和态度转移到工作中时，该培训对业务的影响和效果只是体现在销售量的提高而不是所有其他的业务指标。
【何时进行第四级评估】
评估计划提供了进行评估的框架。对所要评估的培训项目进行何种程度的评估，取决于几个因素。在下列情况下，你需要进行范围更广的评估：
■培训课程预期成为核心课程，而且会长期使用。
■培训与客户的目标紧密相连，对于达到企业或公司的目标至关重要。
■培训课程对培训组织具有战略举措支持性。
■总成本越高，评估越需要全面深入。
■培训对于高级管理者具有很高的可见性。
■有大量的目标受众。
■数据便于获取。
■具有明确的以金钱价值来衡量的业务指标。
■绩效的改变是可衡量的。
■受训者必须出勤。
■高级管理层要求此项培训。
■为改进课程而进行重新设计或开发的工作是不重要的。
【第四级评估分析的步骤】
培训结果的分析有五个步骤，分别讨论如下：
步骤一：进行业务分析或需求分析
真正的结果或影响分析过程开始于分析业务需求，确定业务指标，确定业务指标的价值，以及设定培训目标。巴克斯代尔（Barksdale）和伦德在合著的书《快速评估》（2001）中提供了若干业务指标的实例。表1中罗列了其中一些，此外还有一些其他的方法。
步骤二：制定评估计划
评估计划是根据客户提供的信息来制定的。对于第四级的评估，你必须尽量完整地填写所有四个级别的评估计划。
表 1. 确定培训效用的衡量
步骤三：设计和开发评估工具及方法
这一步事实上是设计和开发数据收集的工具和方法。在某些情况下，工具已经在课程设计的过程中完成了，就如同行动计划或绩效合同一样。在另一些情况下，你必须新开发一些评估工具，例如调研问卷、访谈以及小组访谈问卷等等。
比如说，你有可能决定开发一个调研问卷进行数据收集。在第四级的评估中，你可能需要用一个可靠度数值来表示问卷的回答者对他们的估计判断的准确性的自信程度。这个方面会在接下来的第五个步骤中详细地探讨。问卷回答者通过对他们的估计判断进行百分比评分来表示他们对自己的回答的自信度。百分之一百表示回答者对他们自己的估计判断自信肯定。杰克.菲利普斯在他的很多培训和书籍中都在推广这一思想。本章结尾处提供了他的一些书籍目录，作为进一步的阅读参考信息。
你也可以选择通过访谈和小组访谈来收集数据。同样，你或许也需要探讨一下其它的可能影响到数据收集的结果的因素，以及使用上面提到的估计判断自信度的方法。其它的数据收集方法包括行动计划的后续跟进，绩效合同，观察和绩效跟踪。绩效跟踪能使你确定培训之前绩效的基准线。绩效跟踪一直会进行到你实施第四级评估为止。到那个时候，培训前的基准线和现在的绩效之间的差别就是培训的影响。还有一种就是趋势线分析方法。用培训前的信息（如果可能，至少是培训之前的6个月）画一条数据的基准线，并延伸到未来（跨越培训发生的那个时间点）。培训之后，实际的绩效数据被标示出来，与原来延伸的那条线作比较。两条线之间的差距就是培训的影响。同样，你还是需要分离变量。这将在以下的步骤五中进一步讨论。
在最初的基准走势线上标示数据，然后从统计学的角度确定为一条最适线，并继续往后延伸。趋势线的方法认为驱使最初走势线的力量将发挥作用，对绩效的影响保持在同一强度。从根本上来说，假定未来（即延伸的趋势线）和最初趋势线所受到的驱使力是一样的，这是一个大胆的假设。
你也许选择运用对照组来进行第四级评估。在对照组设计中，一个组参加了培训（实验组），另一个组没参加培训（对照组）。培训结束之后，比较这两个组的绩效。理想情况下，对照组应该：
♦ 组员背景情况与实验组类似
♦ 有类似的环境影响和工作条件
♦ 相互之间不相往来（没有交流）
♦ 该组的参与人员是随机挑选的
步骤四：收集数据
现在该轮到评估计划中收集数据的部分了。你已经确定了评估工具和方法，确定和开发了工具、确定了信息收集的来源和时间，以及提供信息的人员。
步骤五：分析解释数据
基于以上选择的方法，分析数据并查明影响业务结果变化的非培训变量。分离变量是评估中最困难的任务之一。分离变量的方法包括运用对照组，估计判断，运用趋势线分析等。同样，菲利普斯在这方面已经做了大量的努力。在《培训评估与衡量方法手册》（1997）这本书中，包含了大量的如何进行业务结果分离的概念和方法。
【对照组】
对照组的方法是，一组参加培训（实验组）而另一组不参加培训（对照组）。在培训结束之后比较两个组的绩效；收益就是参加培训的小组（实验组）和不参加培训（对照组）小组之间的差额。即：收益=（培训-不培训）。然后，培训对业务产生的结果就表述为工作绩效改进的百分比。这个标准的培训影响值就等于净收益除以非培训组的平均绩效（也可以除以培训组的平均绩效）的商。
以下的例子清晰地表明了如何使用对照组方法。假设有两个组，A组和B组。B组参加了培训。结果如表1所示。
表 1. 对照组结果范例
由于A组的生产量保持不变，所以我小们可以认为除了培训之外没有其他因素影响业务结果。
在某些情况下，在培训期间两组的产量都会增加。这是因为影响两个组产量的除了培训，还有其他的因素。（参见表2）
在这种情况下，其他因素使产量增加了200件，从而影响了对照组的产量（A组）。这就减少了培训的效果数值，也就是说，其他因素影响了产量。同时，你还不知道到底是什么因素。
表 2. 涉及到影响结果的其他未知因素的对照组范例
【估计判断】
由于某些原因，许多人力资源开发专业人士对人们的估计判断不报以多大的信心。然而，估算却往往是一种普遍的做法。估算是基于个体的经验判断和专业技能，因此是一种“熟悉情况的”估计判断。做这样的估算，关键是要找到最了解情况的人，并且这些人要具有最贴切的视角。这样的人员往往是参训学员、他们的经理或内部的专家。
菲利普斯将这种方法推广和应用到培训评估上面。该方法可以与调研、访谈或小组访谈法一起使用。你可能想问这样一些问题：
■百分之几的绩效改进归因于培训？
■数据的可信度是多少？你对估算结果的准确性有多大信心？调查对象将提供一个百分比，百分之百为十分有信心。你可以通过将此因素添加到你的研究中来，提高这种方法的可信度。
■你估算的基础是什么？
■有其他的因素导致绩效的改进吗？这有助于分离变量。
例如，在小组访谈中，你也许会说，数据显示，次品从每季度的100个降到了60个—每季度减少了40个次品，或者说每年减少了160个次品。然后你将：
■询问访谈对象，除了培训之外是否还有其他因素可能影响次品数量的降低。这也是涉及到影响业务结果的其它次要因素时，进行变量分离的过程。
■让访谈对象指出与每个主要因素相关的绩效改进的百分比。这些加起来应该为百分之百。
■最后，让他们指出对自己的估算的准确性的信心程度。同样的，这也是以百分比的形式表示。你可以让他们填写完成一个表格（参见表3）。
在这种情况下，回答者们认为次品率的降低有40%归因于培训的影响。此外，回答者对其想法的正确性十分有信心，为85%。这个表格还告诉我们还有另一个因素对次品率的降低产生了重大影响。从回答者给出的信息来看，工作奖金对于次品数量的降低有很大的影响。
【趋势分析】
菲利普斯将趋势线分析的统计学方法用于培训评估之中。趋势线方法可以用来追踪绩效，将不同时间（时间序列）的绩效数据标示出来。X轴是绩效的数据，Y轴是时间（参见图1）。
第一条线是使用现有数据得出的业务指标值，它反映了在培训之前的业务指标值的变化情况（线段A到A1）。正如前面所说的，最好至少有培训前六个月的数据。在这里，非常需要这样的历史数据。然后有统计的方法确定出一条最吻合线，将这条线延伸到未来，直到你进行第四级评估为止（线段A1 到A2）。这条线显示了在没有培训干预的情况下，业务指标值的变化走向。线段A1/A2只是线段A到A1的延伸而已。
单位销售量 培训干预 第四级评估 培训影响
图1. 趋势线分析范例
培训之后，继续跟踪并划出业务指标值。
在第四级评估时，你需要用统计的方法，为培训开始到开展第四级评估这个时间段内的数据分布确定一条最佳吻合线（A1到B）。A2与B之间的部分代表了了培训所带来的影响。
正如上面所述，你必须分离影响结果的其他因素（分离变量）。为此，你可以综合运用两种办法，其中包括估算。例如，当趋势线分析完成的时候你会得到业务指标值的变化结果，这时你就可以用估算的方法分离出培训对业务产生的效果。
下面这个次品率下降的例子将加强你对业务结果分离的理解。假设每个次品会产生2250美元的成本，这个成本是与顾客共同确定的。
运用前面的信息，你现在就可以得出在每季度减少40%的次品的情况下，每年给公司带来的费用节省量。总结如下：
■公司每季度次品为100件。
■人力资源开发部门实施了一个培训来减少次品。
■次品数量降到每季度60件，意味着每季度的获利为40件次品的成本（利润）。
■每件次品成本为2250美元（由人力资源部门的客户提供）。
■影响次品量的其他因素是质量激励机制的实施。
正如表3所示，质量激励机制和培训相比更能减少次品。这是否意味着培训并未取得积极的投资回报率（ROI）呢？是否意味着公司应该投入更多的财力作为激励？在这一点上，你并不知道答案，因为你没有决定投资回报率所需要的成本信息。
既然培训的影响结果已经确定，那么投资回报率就能通过比较培训总成本和纯收益（以货币为单位来计算）来计算得出。
培训收益就是培训所带来的业务指标值的改变。
来源： 培训江湖
