好,因為已經拖太久了,所以不用說太多廢話,我們直接進入「訓練績效」這個話題。

  所有從事人力資源管理工作,尤其是教育訓練工作的同業都知道Donald Kirkpatrick這個人,他在1959年 ( 哇,半個世紀以前了,HR在這一塊的進步真的很少... ) 提出了教育訓練評估的四種層次:

  反應 ( Reaction ) 層次:受訓學員對於訓練的看法如何。事實上這也是最常被拿來作為教育訓練評估的方法。我認識很多從事教育訓練工作的同業,當我們談到教育訓練評估的時候,一般的答案都是「有作」,至於是怎麼作的?就是反應層次。也就是說,在教育訓練課程結束以後,發一個簡單的問卷給來參與受訓的學員,詢問他們對這個訓練的看法或意見,然後整理一下分數,當作訓練承辦人的績效。這不誇張,我記得我剛加入公司的時候,我轄下的教育訓練單位,在工作績效上就是以「全年度教育訓練課後評估,學員自評分數在80分以上」作為績效目標。而且說真的,這樣的公司還不在少數。
  有一些朋友會把反應層次簡化為「訓練滿意度」,我個人並不完全同意,固然反應層次談到的是對訓練的主觀看法,但是如果詢問學員是否認為訓練對其自身工作有幫助?我認為這不完全是滿意度的問題,比方說我可以請公司的招募專員去上職位評價的課程,這個課程本身可能很好,學員對課程和講師也都很滿意,但是他還是有可能評估這個訓練對他的工作並沒有幫助。這也就是我要說的,滿意度固然是反應層次很主要的一個評估項目,但是反應層次評估並不等同於滿意度。

  學習 ( Learning ) 層次:訓練後學員在知識或能力的提升結果如何。比起學員反應的評估方式要更客觀一點,就是實際去測量學員在受訓之後,知識或能力到底有沒有真的提升?換句話說,學員自己認為課程很好、有學到東西、對工作有幫助並不是重點,重點是學習的成效。學員到底有沒有從訓練中學到東西?才是評估的重點所在。
  一般來說,學習層次的評估會以考試作為評估的工具,至於執行的方式會受到訓練目標的影響。最常見的例子像是公司的ISO9001內部稽核人員,這一類的非常態性職務需要取得標準的認證,所以公司會請具認證資格的講師來辦理訓練,訓練後必須通過考試才能取得內部稽核人員證書,也只有取得證書的人才有資格進行內部稽核工作,所以這時候訓練的目標可以說是通過考試,至於學員在受訓前到底是完全沒有內部稽核概念或是已經很有內部稽核的知識,其實一點也不重要;另外一個更簡單的例子是駕訓班,駕訓班當然是一種技能訓練,這個技能訓練的目標是教授學員開車的技巧,但是大家都心知肚明,衡量駕訓班的績效標準是「通過駕駛執照測驗的人數」,這個時候,不管學員之前是完全不會開車還是根本就已經會開車,只要受訓完可以通過駕照考試,學員的學習提升程度並不是重點,這一類的訓練就可以只進行訓練後的測驗即可。
  在其他的時候,我們在進行學習層次評估的時候,會比較像是「學員在受訓完畢後,英文能力可以由全民英檢初級進步到全民英檢中級」,這個時候就必須執行課前的測驗和課後的測驗,在課前針對全體員工進行英文能力的檢定,把那些全民英檢初級的員工挑出來湊成一班,提供英文訓練,然後課後再次進行測驗,以評估是不是真的像訓練目標所說的,受訓學員的英文能力可以進步到中級的水準。當然,要進行訓練能力的前後測,會有太多實驗法的問題,比方說你不會提供員工一個外語的訓練,課前測驗拿國中一年級的英文期中考考卷、課後測驗拿托福的考試題目,然後認為這可以用來評估訓練的成效。不過這些太細的問題不是這裡討論的重點,這裡只是要告訴你,學習層次的評估,是在評估學員在受訓之後,其受訓的知識或能力有沒有提升,而通常我們會用考試的方法來執行評估。

  行為 ( Behavior ) 層次:學員是否將在訓練課程中所學應用在工作上或是在行為中展現。有些時候,或是有些訓練本身,學員到底有沒有學到東西其實並不是評估的重點,學員能不能在行為上表現出來才會訓練的意義所在,這個時候我們就會考慮行為層次的評估。比方說管理類的訓練,針對一位主管,我們其實一點也不關心他到底知不知道什麼是情境式領導的四種模式,更進一步地,我們比較關心他能不能針對不同的部屬,展現出四種不同的領導行為;又比方說學員知道簡報技巧的ABC訣竅 ( 這是我自己瞎掰的,所以不要問我ABC訣竅各是什麼 ) 是不夠的,學員能不能在受訓後在作簡報時應用所學的技巧才是關鍵所在。總而言之,有很多時候,訓練的成敗關鍵並不在於學員有沒有學到東西,而是在於學員能不能把所學的應用在工作上,像這樣的時候,行為層次的訓練評估就變得相當重要。
  行為層次的教育訓練評估,顧名思義,是要評估學員的行為;不過如果你對HR的其他領域有一點點瞭解,你就知道評估行為並不是一件非常容易的事情,我的意思是,你要怎麼評估學員上完人際溝通技巧的課程以後,他的人際溝通能力有變好、或是他有把課程中所學的技巧運用在和同事的溝通上?更進一步,你要怎麼評估簡報技巧課程和人際溝通技巧課程,哪一個對學員在績效行為上的提升較有幫助?嗯,我好像談了太多研究法的問題。不過我只是想要表達一個重點:行為層次的教育訓練評估工作,最難的地方在於你很難對行為作適切的評估,或是說得更精確一點,針對行為的改變建立客觀的評估量尺是非常困難的一件事情。舉一個簡單的例子好了,假如公司派送二位人力資源專員去參加「招募與選才」的課程,開課前該二名同仁只能以自己的經驗,進行一個非結構式甄選面談,現在在參加課程以後,A同仁已經可以實際上在每天的工作中,針對出缺的職位和用人單位主管進行訪談完成工作分析、建立該職位應有的職能需求水準、但是不能根據該職位的工作分析和職能需求發展面談的問題;而B同仁則可以作到上述的事情,也可以根據工作分析的結果和職能需求的水準發展出結構性面談所需要的問題。簡單地說,每一個人都可以知道,B員工在行為展現上得到較好的學習成果,但是我們完全無法知道,A員工和B員工之間的能力差異到底有多大?而這就是我所說的,你當然可以像學習層次的評估一樣進行學習前後的前後測然後分析進步的程度,但是當行為無法被客觀量測的時候,行為層次的評估就變得不可行。
  所幸D開頭的HR顧問公司提供了另外一個可行的思考方式:職能字典。如果你的公司有打算導入職能模式或是已經導入職能模式的話,你大概就有這個概念,職能模式會針對一些組織所關切的行為,訂定清楚的行為指標和行為數量的量尺,也因此你有機會可以將每一個觀察到的行為予以客觀的衡量和評估。舉例 ( 本部落格的特色大概是舉例特別多,哈哈哈... ) 來說,如果公司今天開設「問題分析與解決」的課程,你可以先釐清問題分析與解決的主要行為是:

  確認爭議點、問題與機會 - 察覺爭議點、問題或機會並決定是否需要採取行動。
  搜集資訊 - 確認對資訊的需求並蒐集以利於了解爭議點、問題以及機會。
  詮釋資訊 -整合自不同來源處的資訊;發現趨勢、關聯以及因果關係。
  提出選擇方案 - 創造出相關的方案來處理問題或把握機會以達到想要的成果。

然後D開頭的顧問公司甚至會教你如何針對這些主要行為進行觀察與記分,透過這樣的方式,可以讓主管評估員工在這些行為展現上的狀況如何。所以現在公司就有了一個相對上來說比較客觀的指標,比方說由學員的主管在學員上課一段時間後,評估訓練所需要加強的行為 ( 比方說這裡的例子:問題分析與解決的能力 ) 有沒有進步?甚至於有多大的進步?或者也可以在學員受訓前以及受訓一段時間以後,由主管評估學員在該項行為的展現頻率和能力水準,透過前後測的方式評估其進步的幅度。
  問題是,如果你們公司的教育訓練完全不是根據公司的職能去進行規劃和設計的,那相對上來說就會比較難進行行為層次的訓練評估。不過這暫時不在我們的討論範圍之列。總之,最常見的行為層次的評估,會請主管針對學員所應該展現的行為進行客觀評分,以確認學員在受訓之後,該項能力的提升情形。
  有一些企管顧問公司或是公司內的HR會進行「課後成果發表」,其實這大抵也是類似的運作方式,有時候我們送學員去參加專案管理的課程,我們並不見得非常在意學員在課前已經具備什麼程度的專案管理知識或技能,我們只在意學員參加課程以後,可以確實地運用課程所學的內容進行專案管理,所以課程上到最後,老師或是公司內的HR會要求學員針對自己的日常工作,組成專案小組,執行一個真正的專案,並且在三個月或半年後發表專案成果,並邀請公司的高階主管前來聆聽發表會。在這個例子中,我們期待的是學員在課程結束後,真的可以展現出專案管理的能力和績效行為,至於學員的專案管理能力是不是經由課程學到的,相對上比較不是公司關心的重點。此外,學習發表會提供了一個重溫課程內容的機會,所以廣為實務所採用。不過嚴謹地說這並不是一個行為層次的訓練評估。

  結果 ( Results ) 層次:組織是否從受訓學員的績效上獲得直接且正面的結果。實務上,所有的HR都會告訴你,幾乎沒有公司會進行結果層次的評估。很簡單的道理,知名連鎖餐廳替轄下全體員工開辦服務技巧的課程,上完以後正好面臨一個十年僅見的颱風,所以大台北地區全部淹水然後停電十數日,所以餐廳的業績一落千丈,這時候,你要怎麼評估組織到底有沒有因為該課程提升了員工的績效而有更好的獲利?又比如說,汽車公司送業務單位全體業務同仁去上銷售技巧的課程,希望提升業務人員的銷售技巧,課程結束後,公司正好推出非常搶手的年度新車款,所以業績一下子提升了25%,你要如何評估這個業績提升,到底有多少是因為訓練的效果?
  當我們討論教育訓練的績效的時候,最關鍵的地方,當然還是組織能不能從訓練的投資中得到回收,也就是說,組織能不能因為投資了教育訓練,讓員工的能力有所提升,並且反應在員工的行為上,最後讓組織因而得到正面的結果。但這顯然不是一件容易評估的事情,業界有很多類似的研究,多半都鎖定在「訓練投資較多的組織,其組織績效較佳」這樣的層面,換句話說這是一個大數法則,但因為影響組織績效的因素有太多太多,幾乎沒有人可以清楚界定單一訓練對組織績效的影響,所以如果你想要知道任何一個單一的教育訓練投資,是不是會對企業產生結果層次的影響...至少我目前沒有看過廣為人知的作法。

  簡單地說,Kirkpatrick提出訓練評估績效的可以分成四個層次,以英文訓練為例,如果公司提供了一個英文訓練,反應層次的訓練評估,就是請每一位學員在訓練後自評自己「對課程是否滿意?對講師是否滿意?自認為受訓後英文有沒有變好?英文訓練對於自己的工作有沒有幫助?」等等;而學習層次就是針對每一位受訓學員,在受訓前和受訓後進行英文能力的檢定,看看這些學員的英文能力有沒有提升;行為層次就是評估學員在受訓結束後,是不是真的可以進行英文商務談判、英文簡報、撰寫英文email...;結果層次就是評估公司是不是因為學員參加了英文訓練後英文能力提升,而讓公司在國外業務上有直接且正面的成長。


  以上只是比較淺顯地說明了Kirkpatrick所提出訓練績效評估的四種層次。其實去坊間參加一個半天或是一天的實務課程大概就會學到這四樣事情,我只是講得比較白話和囉嗦而已。至於實務上應該如何進行訓練績效的評估?或是HR應該怎麼看待這四種訓練績效的評估方式?將來會再比較詳細的談到。
創作者介紹

萬惡的人力資源主管部落格

wjchang 發表在 痞客邦 PIXNET 留言(8) 人氣()


留言列表 (8)

發表留言
  • Jason
  • 好棒的分享

    Dear WJ
    等待是有價值的,獲益良多!!
    Jason
  • wjchang
  • Re: 好棒的分享

    Dear Jason,
    這樣說就不敢當了, 謝謝! 也先預祝你新年快樂!
  • Priscilla
  • Hi WJ,

    Thank you for the thorough elaborating. And wish you a peaceful and meaningful happy New Year 2008.
  • wjchang
  • Happy New Year!

    Dear Priscilla,

    I hope it's helpful for you and maybe other HR professionals. Meanwhile, wish you and your kin happy new year!
  • eric_lee66@hotmail.com
  • 個人小小感想

    呵呵呵 這個問題好像是我問的說

    版大這麼有義氣的在新春第一砲
    就回應了我的問題,我想也該回饋點什麼給版大和各位大大參考:

    一.基本上我對訓練的出發點只有來自於績效的結果
    績效結果>目標 -->Develop
    績效結果<=目標 -->training

    對於如果有主管把訓練當作是員工的福利者
    我想跟他們談訓練績效實在是沒啥意義的

    其實訓練的結果我認為是很難在一個短時間可以看到成效的(除了直接人員現場人員操作型/語言型的課程)唯有透過主管不斷給屬下coach & feedback,並用HR資訊系統長時間紀錄主管與屬下的互動這樣的話,對於Kirkpatrick的四個層次的最後兩的階段(Behavior,Result)不就有機可尋了唄

    至於對於公司的ROI是否有幫助,我想利用BSC的概念來說明:學習與成長是領先指標,只要公司不投資在這上面,短時間財務面指標還不受影響,隨著公司越來越大時間往後遞延,這種惡性效果就會更明顯的!

    二.訓練是否就能改善Performance gap?
    這個問題就要請各位大大先爬文(爬文以益身體健康啦..^^)
    看看版大前一篇有關訓練需求的文章了
    所有的訓練績效都是來自源頭的訓練需求分析,如果訓練需求分析錯了方向,那就從年頭錯到年尾囉,這種情境下,談訓練績效也好像沒啥意義的吧!

    因此訓練不是把事情做對就好,而是一開始就要做對的事情啦!

    所以各位看倌應該知道我的重點是什麼了?
    我來幫版大補充一下訓練需求分析的資料:
    訓練需求我大致分為三大類:組織需求/個人需求/Training Roadmap

    一般做教育訓練的人都會比較強調個人需求,可是很詭異的是個人需求是最沒有績效可言的,不過訓練專員還是常常做?原因無它,只是容易辦罷了!

    組織需求是最有績效可言的,但是也最不容易做,因為組織的年度策略會議中,"人資長"是否是列席成員,如果"是":那還真恭喜貴公司,"人資長"在貴公司還是有重要的地位,但就我理解的,HR在local企業中還是不重視的一個單位,如果是如此,那組織需求也就不易展成訓練課程了.所以又回到訓練專員只能做個人需求的課程,又落到訓練績效不彰的境界,又是一場噩夢!
    (連續用三個"又",就知道我無奈的心情了)

    三.訓練是萬靈丹??
    常常聽到主管一句話:我的員工績效不好,請幫我開門課訓練一下"如果是資深的訓練老手,通常是會一笑置知的,因為員工績效不好,不一定要靠訓練才能彌補的.這是要經過分析/訪談後才能知道是否要透過訓練來當作手段的.

    另外,員工訓練完畢後,公司的工作環境,制度/流程,工作設計,是否也同步修正;更重要的是主管的態度,在員工上完課後,能否協助做follow up,這都會影響訓練的績效.所謂PDCA循環不就是這一回事,很遺憾的是:作訓練的人沒有多少人會去做"C" & "A",所以要談到績效也就難上加難....
  • Jason
  • 我也常和我的夥伴說,訓練的成效到底為何?到底訓練是獎勵,還是懲罰!?目前了解的是,訓練績效評估成果的方式多半是"員工滿意度",其實這真的很妙,我以前的主管常自豪說她的員工滿意度是歷年最高的,但她卻不知道她的員工有多不能接受HR訂定的任何制度,只是不能不做,她的口頭禪也是我花了那麼多錢,為什麼看不到績效?試想,如果那些錢花在獎金上說不定員工還高興一些,所以<訓練的績效>除了站在老闆的觀點上,是不是也應該位員工想些什麼?當員工心甘情願,相信feedback應該會更好,所以在思考訓練的需求時是不是也加一點對員工的考量呢?
  • Eric Lee
  • Feedback to Jason

    我們公司常常找其他優秀公司(如台積電)到本公司來做Best practice sharing,其目的就是要檢視公司現行的制度改善的空間,但是我們心中都很清楚,要一下達到如台積電公司的水準,不是一簇可及的,這是要整個公司要與標竿企業有相同的文化水準,才可以做到的.

    我Post文章的情境是以我現在的公司來說明,貴公司不一定要與我做到相同標準;坦白說:員工需求的課程還是可以有績效的,只是如何拿出數據,向高階主管說服,我想這就是你們應該做的功課了!!
  • wjchang
  • 謝謝Eric和Jason的分享

    Dear Eric & Jason,

    哈哈哈...二位的回饋都太艱深了, 害我不敢貿然回應... ^_^

    我的看法還是類似: 如果整個ISD Model的approach去看教育訓練, 就會發現很多時候教育訓練的每一個步驟是環環相扣的. 舉例來說, 教育訓練的需求分析之前, 應該要先進行組織分析, HR必須先釐清公司的經營管理階層甚至全公司對於教育訓練的看法為何, 才有可能據以發展適切的教育訓練作法. 但是困難的地方是, 身為HR的我們很容易因為資源不足, 而必須有所取捨. 我舉一個最簡單的例子, 我自己服務的公司裡面, 總公司訂有high potential員工的培育計畫, 也有improvement needed的員工的績效提升計畫, 可是台灣區畢竟是一個小公司, HR的編制很有限, 資源更是不足, 所以我難免就會想, 我把力氣花在前15%的關鍵人才身上還算很有道理, 把資源花在最後5%的員工身上, 到底值不值得? 可是我也必須承認, 作這樣的取捨是很困難的, 因為最後5%的員工往往會把部門弄得雞飛狗跳的, 結果每一個主管都覺得難過得要命, 這個時候, 如果HR主管沒有辦法說服公司採取強制淘汰的作法, 公司自然就會覺得"HR無法協助主管在績效提升上作得更好". 這是一個舉例, 而我只是要凸顯一個重點: 教育訓練最有趣的地方在於, 辦訓練的門檻很低, 但是教育訓練的成效必須建立在很多完備的HR基礎建設上頭, 而這個部份要作得好很難...

    至於Jason提到的另外一個問題, 我覺得喔...我也很自豪於自己是前後幾任HR主管當中, 員工滿意度最高的一任, 不過有多高? 52%, 在本集團全球所有國家排名倒數第四. 所以這種事情說來爽一下可以, 真的要據此拿來衡量自己的HR作得有多好, 我想就不必了. HR的工作本來就不見得是要讓員工覺得滿意或高興, 而是要提升組織的績效, 也因此, 如果員工滿意度和組織績效可以劃上等號, 這時候提升員工滿意度是有意義的; 反過來說, 如果員工滿意度不能代表組織績效的提升, 那麼很多HR口口聲聲談論員工滿意度, 我覺得很容易把資源的配置給弄錯了方向.
找更多相關文章與討論