兰州石化员工培训效果评估流程设计

　　提要科学的培训效果评估对于了解企业培训投资的效果、界定培训对组织的贡献、证明培训所做出的成绩非常重要。本文在分析兰州石化公司员工培训效果评估现状的基础上，设计了培训效果评估流程，以期对企业员工培训效果评估起到一定的指导作用。 　　关键词：培训；效果评估；流程 　　中图分类号：F272.92文献标识码：A 　　 　　近年来，兰州石化公司大力实施“人才强企”战略，以“建设先进文化、培育优秀员工、创造高效组织”为管理目标，积极践行“尊重人的价值，实现人的愿望，满足人的要求，促进人的发展”的人力资源开发理念，把帮助员工增强生存和发展能力作为对员工的最大关爱，找准人才开发与员工培训管理中的“短板”，加大培训投入力度，全面提升员工素质，努力创建全过程、全方位、全要素、立体式、多元化的培训格局和约束有力、激励有效的培训工作体系，收到了良好的效果。 　　 　　一、兰州石化公司员工培训效果评估现状分析 　　 　　兰州石化公司员工培训效果评估主要分以下三种情况：一是对于列入公司培训计划，且由教育培训中心组织实施的，由公司教育培训中心评价考务部通过发放问卷调查或考试的形式，对培训项目进行评估；二是对于列入公司培训计划，并外包（主要是指与高等院校、培训咨询机构等合作培训）的，由外包机构按照事先设定的培训评估方法进行评估并提供评估报告，教育培训中心对培训情况进行监督抽查，并对评估报告进行审核；三是未纳入公司培训计划、各单位自行组织的培训班，由培训组织单位按照事先设定的培训效果评估表进行问卷式调查，必要时进行考试。 　　为进一步了解培训效果评估的现状及存在的问题，该公司就培训及效果评估问题做了一次问卷调查，并召开了各基层单位主管培训的厂级领导及人力资源部主任会议，专门对培训及其评估工作现状进行了研讨。 　　在本次问卷调查中，共发放问卷120份，回收103份，访问对象为公司各单位培训主管领导、人力资源部培训科长、培训干事及车间培训干事，因为他们对培训方面更为熟悉。 　　通过问卷调查结果分析，发现兰州石化公司培训效果评估中还存在以下问题： 　　1、对培训评估的战略意义认识不够。企业高层和人力资源工作者对培训效果评估的重视程度不够。一份针对企业领导和培训工作者的问卷调查表明，只有10%～15%的企业培训得到了评估，60%的被调查者认为培训评估不重要。兰州石化公司调查问卷结果中，在“您单位的领导是否过问培训项目的实施情况？”调查中，61.17%的领导偶尔过问培训项目的实施情况，很少有领导经常过问。在“您在培训工作中重视培训效果评估环节吗？”这一问题的调查中，很重视的只有5.83%，65.05%的人回答不重视。在“您所在单位对培训项目进行效果评估的比例如何？”中，51.46%的单位对培训项目进行效果评估比例为20%～40%，这也从侧面反映出了对培训效果评估工作的重视程度不够。 　　2、没有建立培训效果评估流程体系，缺乏对培训效果评估结果的反馈。兰州石化公司还没有建立起一套比较完善的培训效果评估流程体系。在调查中发现，企业虽然做了培训需求的评估，但在培训效果评估之前，有明确的培训效果评估目标的仅占35.92%。从座谈研讨中得知，培训效果评估工作没有跟踪，更谈不上对培训效果评估结果的反馈了。培训还存在评估与实际工作脱节现象，培训的巨大投入并没有完全收到预期的效果。培训效果的检验仅仅局限于培训过程中，没有在实际的工作中进行，造成了培训与实际生产服务脱节。在培训效果评估调查中，66.02%的人认为在培训效果评估实践中没有事先制订具体的评估实施方案。在培训评估过程中，往往忽视对培训评估结果的沟通。尽管经过分析和解释后的评估数据将转给某个人，但是，当应该得到这些信息的人没有得到时，就会出现问题。培训效果的评估资料仅仅是作为应付企业各类检查评比的台账资料，没有发挥其应有的作用。在“您是否对评估结果进行了反馈？”中，14.56%的对评估结果进行经常反馈，61.17%的很少反馈。 　　3、评估内容不够全面，培训效果评估只停留在评估的初级层次。从调查统计结果可以看出，2006年度兰州石化公司培训项目有66.63%的进行了反应层的评估，有38.58%的培训项目进行了学习层的评估，对行为层和结果层根本没进行评估。在问卷调查“在培训效果评估工作中，您重点评估哪个层次？”的统计结果显示，82.52%的对反应层进行了评估；66.99%的对学习层进行了评估（个别培训项目既进行了反应层评估，又进行了学习层评估）；4.85%的对行为层进行了评估，对结果层没有进行评估。 　　由此可见，兰州石化公司目前的培训效果评估主要停留在反应层评估和学习层评估上，即大部分培训后能够调查学员对课程直观的印象，例如对讲师的讲课风格、培训环境的布置、培训手段的使用、教材是否详细丰富方面等做出的主观评价。对一部分培训项目上做了学习层评估，即通过考试的方式评估学员对知识的掌握程度，而行为层评估和结果层评估基本上没有。培训效果评估并没有深入到受训者工作行为和态度的改变、业务能力的提升、工作绩效的改善和为企业带来的效益层面上，从而忽略了将培训项目与企业绩效联系起来进行评估，这就使得评估内容不够全面。因此，在企业的培训管理中，好多培训项目尚未形成完整的培训循环。企业虽然投入了大量的资金用于员工培训，但由于没有进行行为层和结果层的效果评估，就很难界定培训是否对员工个人行为和组织绩效的改变有多大影响。 　　4、培训效果评估采用的方法比较单一。兰州石化公司培训效果评估工作目前采用的评估工具主要是问卷调查法和课后评估法。在评估方法的选择上，主要以使用统一印制的培训效果评估表进行问卷调查和设计考试题目进行考试为主，虽然这也是培训效果评估的有效方式，也能反映一定的问题，但不是所有的培训效果评估都适用于考试和问卷调查。另外，调查问卷设计的不全面、考试题目设计的死板和不切合实际等情况均对培训评估结果造成了很大影响。在“您在评估实践中经常使用哪些工具？”的调查结果中，采取问卷调查法的有86.41%，采取考试法的有75.73%，而选择其他评估工具的非常少。培训效果评估方法的单一可能导致评估结果不能有效反映培训项目的内容或者降低预见未来行为或结果的程度。 　　5、缺乏科学的评估技术。培训评估作为一门专门的技术，除了其本身不完善外，一方面兰州石化公司培训管理人员均没有接受过系统的人力资源管理教育，也缺乏系统、专业的评估培训，致使他们的培训评估理论和专业技能不足。在“您在培训效果评估实践中面临哪些问题？”的问卷调查中，有66.97%的人提到自己不知道如何进行培训效果的评估。如，培训效果评估的流程如何确定？如何选择评估层次？各层次使用什么样的评估方法等，均能说明培训管理人员评估技能低下这一点；另一方面在企业内部，培训评估者很难获得培训项目评价的有用信息，而且很难查到这方面的成功案例作为参考。 　　6、评估中缺乏量化指标。一个科学有效的评估应该是定量和定性相结合，以保证评估的科学准确性。而定量指标的缺乏是目前许多企业的普遍问题，有人认为缺乏硬性数据作为支撑。其实硬性数据并不是很难确定的，如培训财务人员有效地追讨欠款，就可以查一下每天的应收款项是否下降了。而企业经常是没有这种意识。在“在评估中，是否会采用一些量化指标”的问卷回答中，76.70%的回答是几乎不用，这使得培训评估失去了科学性。

　　7、没有进行量化的培训成本-收益分析。培训成本-收益分析是建立在反应层、学习层、行为层和结果层评估结果基础之上的，是量化了的培训效果。兰州石化公司通常在培训结束后，只是报告在培训上花费了多少费用、举办了多少期培训班、参加培训的人数等，而没有提供培训给公司带来的价值，没有计算培训的收益。因此，培训的成本-收益也就无法进行分析。 　　 　　二、企业培训效果评估流程设计 　　 　　在培训效果评估流程的理论研究中，人们不断寻找一个比较理想化的评估流程，也做出了尝试，但在现实中很难做到全部执行。比较可行而又受到推崇的，主要有英国学者莱斯利・瑞的评估流程和CSE评价模型。 　　英国学者莱斯利・瑞根据实践经验，在总结理想化评估流程的基础上，设计了比较可行的、经过实践检验的评估流程。该方法主要体现的时间上，它将方案发展过程分为若干阶段，从而使评估者在整个发展过程中有效地利用可靠的消息。CSE评价模型看似简单，但其目的是使人们在思考和讨论评价问题时有一个清晰的、不含糊的、共同的框架，把方案看作是一个选择、收集、解释信息的过程，使各评估者能利用这些信息进行决策。 　　在国内培训效果评估的理论研究中，一般将培训效果评估的流程分为确定评估目的、制订评估方案、评估实施和评估报告、评估反馈等步骤。结合兰州石化公司培训效果评估的实际，从了解培训能否使学员获得新知识和新技能，学员能否运用所学使工作行为发生改变，使组织业绩得到改进；如何、何时收集这些信息；如何保证收集信息的可靠性和有效性；如何保证收集的结果信息与培训项目有直接关系以及如何判断培训项目的有效性等方面考虑，设计企业培训效果评估流程，如图1所示。（图1）该流程图把整个培训评估工作作为一个完整的系统，从做出评估决定、制订评估方案、收集评估数据、数据整理分析、撰写评估报告、评估结果沟通、改进培训项目等主要步骤直观地表达出来。 　　 　　 　　三、培训效果评估流程各环节的操作方法 　　 　　（一）做出评估决定。在进行培训效果评估之前，首先要对评估的可行性进行分析，即确定评估是否有价值，评估是否有必要进行。评估决定的做出包括对培训效果评估的必要性分析和明确培训效果评估的目的。 　　1、评估必要性分析。在评估必要性分析时，应重点从以下几个方面着手进行： 　　（1）评估重要性分析。当首次在组织中进行培训效果评估时，如果评估当前培训项目经费超过一定数额、培训项目时间较长（如超过3个月）、培训项目确定的受训面广，为数众多的、培训项目的效果对组织比较关键、培训项目对组织某单元业务产生很大影响或评估结果作为改革的依据等情况时，必须对培训效果进行评估。如果培训项目目标不明确、评估结果得不到利用、由于评估时间问题不能保证评估质量、评估资源不足或评估项目本身缺乏外在价值时，进行培训效果评估就显得没有必要了。 　　（2）评估成本分析。培训效果评估信息搜集的数量、难易程度直接影响着评估成本。信息来源越广泛、越难搜集，往往意味着信息搜集和分析的费用越高；另一方面边际效益递减规律可以适用于从信息中获得的收益。一些信息收集方法可能很便宜（如反应层评估的调查问卷），却不能回答只有通过成本较高的访谈才能得到充分答复的问题（如员工通过培训后提升组织绩效的情况）。 　　（3）评估频率分析。首先要看该培训项目出现的频次，如果评估的是一次性的培训，搜集到的资料能否应用于其他培训评估？对于经常举办的培训班，本次评估数据会不会出来得太晚而不能及时对培训做出针对性的调整等问题要具体分析。 　　2、明确评估的目的。一个良好的企业培训效果评估对企业成功培训会产生很大的作用。因此，企业培训管理者在进行培训效果评估之前，一定要搞清楚评估的目的。评估的基本目的是为了满足管理者的需要，而管理者可能因为了解培训方案的情况，包括培训的目的是否有利于增进组织员工绩效、培训项目是否进一步改进；需要通过评估结果进行决策等。培训目的作为评估的依据可对培训是否达到目标、对培训结果与目标之间存在的差距进行判断，从而评估出培训效果并为之改进培训工作提供建设性意见。培训效果评估的目的将影响数据的收集方法和所要收集的数据类型。根据评估目的不同，将培训效果评估的形式划分为非正式评估和正式评估。非正式评估是指评估者依据自己的主观进行判断，而不是用事实和数字进行说明。其最大优点是在于，它能够在培训对象不知不觉的自然状态下对其进行观察，从而增强了信息的真实性。正式评估往往具有详细的评估方案、测量工具和评判标准。而当评估结论要被企业高层管理者用来作为决策依据，或者为了向特定群体说明培训效果时，就需要进行正式评估。 　　（二）制订评估方案。在制订评估方案的过程中，最主要的内容就是选择培训评估方法、评估时间、评估地点、评估人员、评估标准、评估步骤、评估工作分工等；同时，还要考虑评估主体、评估层次、评估方法和评估时机。培训效果评估方案最好由培训项目的实施者、管理者、评估者以及培训评估的应用者共同来制订，这样可以确保培训效果评估方案本身的科学性和可行性。 　　1、确定和培训评估主体。在企业培训效果评估过程中，对评估者的选择很重要。根据评估者与培训项目之间的关系，可以把评估者分为内部评估者和外部评估者。决策者可依据两者各自的优势和弱点，结合培训项目自身的特点、评估目的、内容等诸多因素，选择评估者。建设性评估应以选择内部评估者为主。如，让受训员工的上级、下级、客户、同事，甚至培训管理者等从不同角度来评估学员的变化，可以有效地了解学员工作态度或其培训后行为的改变。如果选择那些与受训学员在工作上接触较为密切的人，将使评估结果更加准确。在企业内部，最能够评估培训对学员工作影响的是学员的直接上级、工作关系密切的同事或下属。培训结束时，学员对自己的感受最清楚，这时让企业培训管理者负责搜集受训学员的看法，并提供信息反馈是较好的选择。对于总结性评估，应采取外部评估者为主的策略，充分发挥其相对独立的优势。 　　确定培训评估者后，还要考虑是否对其进行培训。评估人员由于对评估标准认识有限，往往完全根据培训结束后学员的反应或一个理想化的成本收益比来看待培训，同时会掺杂许多主观因素。为获取客观公正的认识及更多的支持，评估者应当让评估结果的使用者一起针对评估进行讨论，同时举办一个关于培训评估一般原理的短期研习班，这对提高评估的质量水平将会有很大的帮助。 　　2、确定评估层次。按照柯克帕特里克的四层次模型理论，可根据需要选择不同的评估层次。一般来说，所有课程可以进行反应层评估。要使受训学员掌握一些课程中所讲的某些特殊知识或运用某一具体技能，可以进行学习层评估。行为层和结果层评估主要适用于那些意在改变工作表现，而且客户对实际效果期望很高的课程。 　　3、选择评估方法。培训评估方法的选择要根据评估的层次来确定。培训评估层次与方法，见表1。（表1） 　　 　　4、确定评估时机。评估时机的选择对评估的有效性、评估的真实性和评估的客观性十分重要。一般培训效果的评估主要分为培训实施中评估、培训结束后评估和培训效果中长期评估。但是，在企业培训效果评估的实践中，由于评估人力、财力，以及工具等的限制使评估的时机要根据具体情况进行选择。如果在培训结束后不久就进行跟踪调查，受训学员可能还没有什么机会练习新的技能；如果太晚了，除非学员在日常工作中经常用到，否则很快就会将培训内容遗忘。

　　（三）收集评估数据。收集评估信息是进行评估的重要环节，评估数据的质量直接决定着整个培训效果评估的成败。在适当的时候要收集评估数据，预先确定数据的收集进度计划也要到位。不同的培训评估信息收集的渠道和收集的方法各有不同。如，培训方案资料、培训考核资料、培训录像资料等均可通过资料收集方法得到；培训的组织工作、培训对象的参加和反映情况、培训对象培训一段时间后的变化等可通过观察法收集；可通过访问培训对象、培训实施者、培训管理者和培训学员的上级或下属进行访谈收集信息；对于培训的组织、内容、形式、讲师、综合效果等还可以通过问卷调查形式进行收集。 　　（四）数据整理分析。数据资料的整理就是运用科学方法，对调查所得的各种原始资料进行审查、检验和初步加工综合，使之系统化和条理化，从而以集中、简明的方式反映调查对象总体情况的工作过程。当数据收集齐全后，就要对结果进行分析和统计，分解培训效果。因为业绩的改变可能是培训项目产生的，也可能是非培训因素的结果。由于培训成果转化受到学员特点、培训项目的设计、工作环境等若干因素的影响，因此培训与业绩之间的因果关系就变得非常复杂，也很难加以证明，但要做到可以接受的准确程度还是可以的。评估数据的整理和分析通常使用集中趋势分析、离中趋势分析、相关趋势分析、对照组和假设检验分析等统计分析方法。 　　（五）撰写评估报告。撰写评估报告的目的在于向那些没有参与评估的人提供评估结论，并对此做出解释。通常企业主管培训的领导人员、培训管理者、培训项目相关部门的领导人员对培训的产出及效果比较关注。培训管理者在分析评估调查数据的基础上，结合受训学员的结业考核成绩，对此次培训项目给出公正合理的评估报告。制作评估报告正是要向这些不同的需要者提供关于培训的有关情况、评估结论及建议。一份完整的培训评估报告应该包括导言、培训实施过程概述、阐明培训结果、解释评论培训结果和提出参考意见、结论、附录（包括收集和分析资料的图表、问卷、部分原始资料）、报告摘要等内容。 　　1、导言。简要说明评估实施的背景，即叙述开展此次评估的目的、对象、评估类型、评估性质及期待的结果。 　　2、培训实施过程概述。这一部分主要说明如何制定和实施评估方案的主要过程。包括评估方案的设计方法、抽样及统计方法、资料收集方法和评估所依据的度量指标等。这一部分要重点对问卷质量进行信度、效度的评估说明，以表明此次测试结果的可靠程度。 　　3、培训结果。这是评估报告的主要部分，要求简要说明评估调查的结果与期待目标的关系，并将有关统计数据作为客观事实写出来。 　　4、解释评估培训结果和提出参考意见。主要是解释培训结果，依据结果进行综合分析，同时指出应用价值，并客观分析存在的问题和缺陷，提出弥补的建议和措施。 　　5、结论。这是评估报告正文的最后一部分，它主要概括全部评估的结果。 　　6、附录。附录的内容包括收集和分析资料所涉及到的问卷、图表、部分原始资料等。加附录的目的就是让别人可以鉴定研究者收集和分析数据的方法是否科学、结论是否合理。 　　7、报告摘要。摘要是对报告要点的概括，是为了帮助读者迅速掌握报告要点而写的，要求简明扼要。 　　（六）评估结果沟通。培训效果评估报告确定后，要及时对培训效果评估结果进行沟通和反馈。应及时反馈给以下四类人员： 　　1、培训开发人员。他们需要这些信息来改进培训项目，只有在反馈意见的基础上精益求精，才能提高培训项目的质量。 　　2、管理层。他们可以决定培训项目的未来。培训效果评估的基本目的之一就是为决策提供依据，向管理层反馈有助于此类培训项目的投入决策。 　　3、受训学员。使他们了解培训的效果，并且将自己的业绩表现与其他人的业绩表现进行比较，这样有助于他们在工作中进一步学习和改进。 　　4、受训学员的直接上级。以便使员工的进步与工作内容的匹配成为可能。 　　（七）改进培训项目。在ISO10015国际培训标准中明确指出，对于在监视中偏离培训策划方案的不合适事实，应制定纠正和预防措施来加以改进和预防，以达到不断持续改进培训绩效的目的。培训评估报告沟通反馈后，重要的是采取相应的纠偏措施并不断跟踪。培训项目管理者可以根据培训效果调整培训项目。如果评估结果表明，受训学员对培训项目反映好、收效好，则要保留；培训项目没有什么效果或存在较大问题的，就要对该项目进行撤销、重新设计或调整；对于某些不够有效的项目对于某些领域欠缺的项目可以新增。另外，对于那些不能接受的结果要进行分析，以便确定失败的原因。失败的原因包括：内容不适当、授课方式不适当、对工作没有产生足够的影响或学员本身缺乏积极性等，要对培训项目的每一部分进行分析，不断完善和改进，最终真正实现企业员工培训的良性循环。 　　企业培训效果评估流程是一个以培训评估目标和期望为指南的流程方案。虽然在培训的实践中需针对具体的培训项目选择是否评估或选择不同的评估层次和内容，但是一个有效的培训效果评估流程必须是系统的、程序化的并能不断改进培训工作的闭环。 　　（作者单位：兰州石化公司）