在我們介紹完訓練績效評估的方式之後,我們不妨接著來看看,訓練績效評估到底在實務上如何運用。

  我們大多數人在上完Kirkpatrick的訓練評估四個層次以後,都學會了把「反應層次」做為訓練成效的評估工具,至於其他的三個層次,從學習到結果層次,就越來越少公司執行,我記得我曾經參加過一個各公司教育訓練單位或工作者組成的聯誼會,會中是一位知名美商公司的教育訓練經理來分享公司的實務做法,他當時提到,他們公司的訓練單位自己對自己的要求是:公司開辦的內部教育訓練中,100%的訓練課程都有反應層次的成效評估、50%的訓練課程要有學習層次的成效評估、10%的課程要有行為層次的成效評估。一個有專責訓練部門的公司尚且如此 ( 我沒有貶抑之意,因為這家公司在教育訓練的其他作法都非常先進且成熟 ) ,就更不用談我們這些在規模或人資發展上都還在努力的公司。

  好幾位從事人資的朋友都提到過,舉辦教育訓練的挑戰不外乎:因為訓練投資回收的遞延性,如果公司無法壓低員工離職率,公司高層對訓練投資將會不信任,就算公司的離職率不是問題,高層也可能會覺得看不到教育訓練的回收,而不願意投資訓練。再來就是員工對教育訓練的期望和教育訓練單位並不一樣...所以訓練成效的評估,就成了人資單位和決策階層之間溝通的工具,透過教育訓練成效評估,訓練承辦人得以告訴公司「教育訓練做得有多好?員工有多滿意?員工的能力有多大的提升?」,並進一步希望公司繼續支持並投資教育訓練。
  另外一方面,訓練評估也可以做為訓練承辦人對於訓練規劃與執行的自我檢核,透過訓練評估,我們可以自我檢視公司的訓練是不是真的夠好?規劃有沒有切中員工需求?講師選擇是不是專業正確?受訓員工有沒有真正學到知識或技能?訓練結束後能不能將學到的技能展現在日常工作行為中?然後作為未來舉辦教育訓練的改善依據。

  上面提到的二項功能都是重要的。我每次都會說,績效評量 ( 無論是這裡提到的訓練績效評量或是一般員工每年在做的工作績效評量 ) 都有二個功能:to prove和to improve。一方面證明自己的成績、另外一方面做為繼續改善的依據。這二者其實一樣重要,如果要講得鏗鏘有力,後者比較重要 ( 不過那往往是用來自我安慰或是講給員工聽的場面話,做不到前者,老闆不願意繼續投資,一切都是枉然 ) 。但是我的個人經驗是,前者很容易做,因為寫在績效目標裡 ( 我自己的部屬也會這樣寫:全年度結算所有內部開辦教育訓練課程,滿意度達80分以上。或是課前課後學習評估,70%以上學員達顯著差異 ) ,就成為可以用來監控並證明自己一年的績效。但是後者非常困難,尤其是如果我們把訓練績效的評估重點放在滿意度。因為...我這樣說好了,如果今天訓練的平均滿意度是82分,這代表了甚麼意義?我們又該如何提升滿意度?
  又來了,這是一個研究法的問題 ( 我有一個部屬向我小小地抗議過,要成為我的部屬,沒有札實的邏輯思考能力,通常會被我電得很慘...嗯,我把這句話當成讚美... ) 。我的意思是,如果今天阿貓阿狗來替公司上課,都可以得到75分以上的分數,而就算今天公司請到傑克威爾許,也只能得到90分的成績,那就代表,公司所舉辦的所有訓練課程的課後滿意度評估,其實只有15分的全距,而且不同課程的學員,無論是部門別或是階層別,都是不一樣的,那麼我們就直接說吧,每一堂課的課後滿意度評估,影響最大的因子叫做抽樣誤差,尤其這還是一個系統性抽樣的偏差。我的意思是,全年50場或甚至100場訓練辦下來,滿意度是80分還是85分可能根本是沒有意義的,更不用大部分的公司是用李克特式五點量表,拜託,如果貴公司的訓練有激勵的性質 ( 也就是說公司是選擇那些有潛力、值得培養的員工去參訓 ) 的話,受訓本身就已經是一種對員工的肯定,這時一個員工有機會被主管指派去參加訓練,在面對一張評估問卷,問到他對於這個訓練的滿意程度,一分代表非常不滿意、二分代表滿意、三分代表既不是滿意也不是不滿意、四分代表滿意、五分代表非常滿意,你猜員工會填幾分?想當然爾,四分起跳,少數題目給三分 ( 還多半是問便當好不好吃?場地舒不舒服?工作人員服務態度好不好?上課時間掌握理想不理想?...這一類比較不傷人的題目 ) ,然後一些題目給五分。面對這樣的訓練成效評估,如果你是我單位裡的訓練承辦人,我們現在在談年度績效目標,你告訴我說你去年的教育訓練平均滿意度是4.00分,而我希望今年可以提升到4.25分,請你告訴我你要怎麼做?說真的你可能根本沒有可有效執行的辦法,因為這0.25分的差距,在全年50場訓練裡固然有可能存在著統計上的顯著差異,但是影響的因素卻往往不是HR可以知道或掌握的。
  所以你會發現,滿意度這種事情,做為向老闆邀功的溝通工具還不錯:要拿來當作改善的指標,大部分的公司的滿意度調查的問卷恐怕必須重新設計 ( 還是研究法的問題:問卷越長信度越高,這是為什麼光是一個內外控人格測驗就要有數十題。請問貴公司詢問員工對講師滿不滿意這個向度有幾題? ) 才行。工具不對,訓練滿意度的持續改善,到底是在改善什麼?又或者是,就算工具對了,HR真的可以證明員工對訓練滿意度越來越高,這就代表訓練辦的越來越好?

  也因此,我在之前的另外一篇文章 ( 2007.2.3.發表:如何發揮教育訓練應有的績效? ) 中提到過,教育訓練績效評估的關鍵在於「訓練目標」,任何一個單一的訓練在推動的時候,教育訓練執行者都應該要問自己:這堂課的訓練目標是什麼?當你有一個清楚明確的訓練目標的時候,你才有可能發展出適切的訓練評估工具。這也可以解決有時候決策階層會關切的問題:訓練滿意度到底是不是訓練績效?我遇過一個老闆,對他來說,員工滿意一直是很重要的議題,所以當員工在年度意見調查中反映對公司的訓練不滿意的時候,他決定要提撥更多的預算在教育訓練經費上,可是,他另外一方面卻又認為訓練有激勵性質,只提供給那些對公司有貢獻或是有潛力的員工 ( 也就是一般外商公司都會有的key contributor或是high potential ) ,所以教育訓練辦得更多也更好了,但是訓練經費卻不是砸在全體員工身上,而是一定比例的特定員工,結果你可以想像,那些沒有得到訓練的員工,在隔年的員工意見調查中,對訓練的意見只會更壞不會更好。方向錯了,努力再久也不會抵達目的地。

  我個人的看法是,訓練績效評估要執行得好,訓練目標是很重要的關鍵,我曾經要求過訓練承辦人在每一次舉辦教育訓練的簽呈上都要註明這堂課程的訓練目標。蔡維奇老師在【人力資源管理的十二堂課】一書中指出,訓練目標的撰寫應該包含以下四個部分:

  a) 訓練課程欲改善學員的何種知識技能?
  b) 此知識技能必須達到的績效水準為何?
  c) 學員必須在何種情境下,表現出此知識技能?
  d) 此知識技能,屬學習目標或遷移目標?

依照這樣的原則,當公司在舉辦一個英文訓練的時候,可能可以訂定出訓練目標如下:訓練課程結束時 ( 學習目標 ) ,學員的英文能力 ( 知識技能 ) 應該有所提升,並可以在今年年底的多益測驗中 ( 表現情境 ) ,達到750分以上的成績 ( 績效水準 ) 。訓練課程結束回到工作崗位時 ( 遷移目標 ) ,學員在與外國客戶進行會議 ( 表現情境 ) 時,能夠無須藉助翻譯的協助,就能與外國客戶直接溝通 ( 績效水準 ) 。
  從這個例子中我們不難發現,這並不只是一個滿意度評估就可以解決的問題,相反地,你必須透過學習層次的評估 ( 在本案例中的多益測驗 ) 以及行為評估 ( 你也許能請學員的主管給予評估,看看這位學員在受訓之後,是否可以直接與外國客戶溝通 ) ,才能確定你的英文訓練是不是有效。我們再回過頭看剛剛訓練滿意度的例子,如果訓練課程的給予是為了解決員工滿意的問題,那麼公司的訓練目標看起來應該是:全公司有80%以上的員工完成每年40小時的訓練課程,且全年課後滿意度平均達到80分以上。對於單一的英文訓練,目標則是:訓練課程結束時,學員對課程、講師、教材、行政程序的滿意度達到80分以上 ( 或是說,勾選滿意與非常滿意的學員佔總學員人數八成以上 ) 。目標不同,執行方式也會有很大的差異,當我們以滿意度作為英文訓練的績效評估工具的時候,很多實務上常見的做法,比方說要不要期中和期末測驗?還要不要規範出席率?都變成需要重新思考的問題,我只是說需要重新思考,因為還是會有很多學員認為有沒有學到東西才是滿意不滿意的關鍵,就算公司以滿意度作為教育訓練的績效指標,英文會話課程可能還是比插花課程來得受歡迎一些。

  總而言之,當我們今天在談訓練績效的評估的時候,我們還是要先檢視我們的訓練目標。當教育訓練的執行有一個很清楚明確的目標的時候,教育訓練承辦人才有可能選擇適切的評估工具。很可惜的是,我遇過比較多教育訓練專員或主管,對於教育訓練的需求分析、規劃和執行訓練、訓練成果評估都做得很完備;可是如果沒有好的訓練目標,我們又該怎麼確定我們的訓練績效評估是走在一條對的路上呢?
創作者介紹

萬惡的人力資源主管部落格

wjchang 發表在 痞客邦 PIXNET 留言(15) 人氣()


留言列表 (15)

發表留言
  • eilan
  • 謝謝您的分享

    一開始到您的部落格時雖然對您寫的內容都一知半解
    不過覺得在我的工作上給了我很多不同的思考
    我是文科出身的
    在人資的領域中只能憑著一些自修書上的知識及主管的帶領學習
    但偶一在網路上看到您的部落格
    這裡就成了我定期到訪的據點
    謝謝您分享了這麼多的經驗
    剛好我也正在幫忙公司做教育訓練的規劃
    一切都在學習中
    看了這一篇 覺得又有很多新想法產生了
    真的很謝謝你 也希望你能夠繼續寫下去 謝謝您的分享^^
  • Eric Lee
  • 總結

    總結大大最近幾篇跟訓練有關的文章,基本上整個訓練流程應該如下:

    組織分析->訓練需求->課程分析->課程目標->開課訓練->訓練績效評估
  • wjchang
  • 謝謝eilan以及Eric

    Dear eilan,
    我總是很高興有年輕朋友踏入HR這一行, 相信更多優秀的人才的加入, 會讓HR這個領域有更多不一樣的想法和作法. 我不敢說自己有多好的見解和作法, 說真的, 就像我說過的, 無論我在這個部落格是意氣風發地分享我對HR的看法和作法, 在工作上, 我所遭遇的挑戰和挫折其實遠比大家所想的要多得多. 希望透過這個部落格, 讓HR的夥伴知道自己所遇到的問題絕對不是絕無僅有, 更無需覺得灰心或失望; 相反地, 大家都可以更多地彼此分享, 加油打氣...也歡迎你繼續來訪, 有任何建議或意見也請不吝指教.

    Dear Eric,
    我倒是不敢把別人的學問佔為己有啦, 我對於教育訓練的一些基本概念, 都是從ISD Model來的. 教會我這個approach的是政大企研所的蔡維奇老師. 我只是覺得, 透過一個科學化的教育訓練執行步驟, 會讓我們對很多已經變成慣例的教育訓練作法提出重新的反省和思考, 並且就像eilan說的, 從中可以得到一些新的想法...
  • 悄悄話
  • 悄悄話
  • wjchang
  • 教育訓練與Coaching program

    你好, 謝謝你的回饋和鼓勵. 我讀過"微笑工作論"這本書...(應該很多基督徒的職場工作者都讀過吧); 不過我想有一些定義上的問題必須要先釐清. 某一些HR的書本認定"教育訓練是可以增進工作職能, 改善工作態度及鼓舞潛能發揮的措施". 如果以這個定義, 舉凡進修, 深造, 受訓, 學術研討會, 講習, 工作中輔導與監督示範...都可以算是教育訓練的範圍, 也因此, coaching應該也算是教育訓練的一種.

    定義釐清了以後...我想我會這麼說, 不同的教育訓練措施, 事實上適用於不同的技能提升. 比方說汽車駕駛技能, 最有效的方法是實作練習, 但是真實狀況下並不允許, 所以改以情境模擬的實作練習取代; 同理, 某一些專業的知識 (比方說職位評價與薪酬設計) , 可能會以進修, 學術研討...較為有效. 所以先確認訓練的目的是想要提升哪一種能力, 才能選擇適切的訓練方式.

    至於領導或管理職能的提升, coaching應該是比研討會更為有效的方法. 但是身為HR, coaching僅能運用在人數有限的員工上, 而且時間或資源成本耗費較可觀. 這也就是為什麼很多HR會混合使用不同的教育訓練執行方式的主要原因: 先進行授課式的知識傳授, 確保所有的人都已經具備了基本的知識, 然後再推動coaching program, 最後還要定期舉辦workshop讓不同的學員進行經驗的分享交流. 比起單純的coaching program, 混合設計的學程在成本上也許會是比較有效益的方法.

    這是我的簡單看法. 也提出來作一個交流.
  • 如雲
  • 我發現

    你每個回覆都好認真唷@@
  • wjchang
  • Re: 我發現

    Dear 如雲,

    我喜歡"對話", 因為那可以理解別人的想法和疑問
    也更可以澄清自己講得不清楚的地方
    在公司裡其實也一樣
    你會有機會推動很多HR的制度
    會需要和很多主管反覆討論這些制度的優缺點
    所以你會需要和別人對話
    透過這個過程釐清他們的疑慮
    並且反省自己有沒有哪些地方思考得不夠周延...

    也所以, 對我來說, 我的文章只是這個部落格的其中一部分
    每一個來訪的朋友的留言才會讓這裡真正有價值
    要不然光聽我一個人講多無趣! ^_^
  • 如雲
  • 討厭下雨天會有怪怪的蟲蟲要入侵我的窗戶

    呵~
    您說的也是
    那就期待您再發表的新文章嘍XD

    我剛剛在我的窗邊看到怪怪的蟲,馬上抓起了克蟑…噴~~~
    (讓我看到會抓狂的東西就是--蟲)
    PS.我感覺快中毒身亡......
  • wjchang
  • To: 如雲

    Dear 如雲,
    不過想要認真地回覆留言的最大後遺症就是...所有的力氣都花在回覆留言, 所以沒有多餘的時間寫新文章了, 哈哈哈...

    PS 希望妳的生活一切順利
  • jchang
  • Dear WJ, 非常欣賞您的部落格. 請問訓練課程在編列預算時有沒有公式可循?或是一般外商公司的習慣作法為何? thanks 
  • wjchang
  • 教育訓練預算編列的公式

    Dear jchang,
    我很難回答你一般外商公司的習慣作法耶, 因為我只待過二家外商公司...
    我猜你的問題大概是...一般外商公司在編列教育訓練預算的時候, 大概會編列營業額的多少%, 或是每一位員工會編列多少錢...
    呃...我覺得這個問題很難這樣回答, 主要原因是因為, 我待過的二家公司的內部講師制度都算是運作得很不錯的, 二家公司都在總公司/區域總部設有訓練中心, 所以有很多課程, 如果不是公司根本只需要送員工去參加, 根本就不需要出錢, 就是可以直接由公司內部的主管來講授. 你可以想像得到, 這樣的狀況下, 教育訓練預算的編列和很多本土公司就會不一樣. 更不用提不同的產業特性 (或毛利率), 也會影響到這個數字的多寡.
    至於如何編列喔, 我現在的公司的習慣是由下而上的. 我的意思是, 每一年編列預算的時候, 財務單位會先訂出第一版預算繳交的時間表, 當然, 在那之前, HR一定會先作好年度教育訓練規劃, 確認明年度要開辦的教育訓練課程有哪些, 以及預計所需要的費用, 然後會同其他人力資源費用一併送出去. 接下來, 財務部門就會計算出公司最後的獲利和ROE等數字, 然後...總經理和財務長就會把所有的主管都抓來念一頓 (哈哈哈...) , 要我們重編數字, 然後我們就會開始討價還價, 從HR的角度, 我大概就會整體評估所有HR的預算, 然後再去考慮要從什麼地方去作刪減...
    BTW, 我上一家公司, 每一位員工每年平均的教育訓練預算超過15000元...
  • nicole
  • 您好~
    看過您幾篇文章,覺得您對教育訓這領域十分有熱誠和見解
    我最近剛踏入HR的領域 從事有關基礎的教育訓練工作
    但可能是公司還在發展初期的階段
    所以內部工作分配模糊
    經常人手不夠而要支援別的部門
    還有效率方面的問題
    例如公司目前沒有E-learning 所以常常需要我們內部人員當講師
    一個禮拜同樣的事可能就要講四次 一次就花費兩個小時
    而且電腦方面的技術似乎還不足 許多電腦可快速完成的東西
    卻因為沒有引進這方面的技術 而消耗大量的人力在這方面的事情上
    想請教您 若碰到內部運作還不是很成熟的公司
    是因該要換一間公司 還是應該建議他們有什麼樣的方法可改善嗎
    謝謝您^^(by HR newcomer)
  • wjchang
  • 給13樓的nicole,
    其實這個問題是許多HR都會遇到的. 而我對這個問題的ˊ最簡單看法是, 你的公司的HR是屬於有未來的那一種, 還是沒有的那一種? 我待過一家外商公司, 公司規模不大, 所以HR的編制就是我加上一位專員, 每一年打一次考績, 做一次調薪, 發一次績效獎金, 辦三四個教育訓練, 辦二場員工大會, 每個月發一次薪水 (業務人員還要計算業績獎金), 編一次隔年的人力預算表, 以及一年大概會需要找個五到七個職缺. 你大概可以想像, 這種公司大概不會有甚麼人力上的擴編, 所以再怎麼做HR就是這樣了, 公司也不會投入更多的資源在這一塊. 甚麼e-learning或是HRIS, 除非總公司有計畫, 要不然我們自己是絕對不會做的.
    另外一種可能就是...公司還在擴編, 還在成長, 那麼公司人數會越來越多, HR相對之下就還有跟著成長的可能性. 如果是這樣的公司, 那麼...你要做的就是"讓老闆和其他單位主管看到HR的價值", 舉例來說, 你說的e-learning, 如果公司要導入, 一開始可能就要花掉幾十萬, 如果你不做這個事情也沒有更有價值的事情可以做 (沒有不敬的意思), 那公司為什麼要投資在這一個地方?
    我在好幾年前待在一家規模不大的公司裡, 那時我曾經想過要把薪資計算的業務外包, 結果訪了幾家公司的價格, 以公司250位員工來計算, 外包薪資計算大概一個月要花掉3萬左右, 結果我老闆聽完報價, 當然答案就是"自己算"; 又或者是如果要導入HR系統, 可能要花掉公司幾十萬到幾百萬的費用 (還沒有算每一年的維護費), 如果HR沒有讓老闆覺得有一年幾十萬到幾百萬的價值, 他當然不會想要花這個錢導入電腦化作業, 讓HR可以去做更有策略價值的工作 (因為他也感覺不到HR可以做出甚麼策略價值的事情).
    所以該換一家公司嗎? 如果你覺得公司沒有甚麼發展的契機, 那看起來公司也不會投入更多資源在這一個領域; 如果公司事實上是在成長當中, 那HR就比較會有機會, 只是HR能不能做出HR的價值來, 就變成了關鍵了.

    這大概是我的看法, 但可能講得還是太攏統, 沒有回答到你的問題也說不定...
  • 悄悄話