Eğitim Sonuçlarının Değerlendirilmesi: Trendler Ve İyi Uygulamalar Neler Söylüyor?

Bugünkü durum

Yapılan araştırmalar, eğitim sonuçlarının değerlendirilmesinin genel olarak "tepki" düzeyinde ele alındığını gösteriyor. Bu da; değerlendirmenin genel olarak katılımcıların eğitim ya da öğrenme sürecinden ne kadar tatmin olduğuna göre değerlendirildiği anlamına geliyor. Eğitimlerin, organizasyonel hedeflere yönelik etkisine ise daha az vurgu yapıldığı biliniyor.

Bazı iyi uygulamalar

Pek çok organizasyon eğitim sonuçlarının değerlendirilmesini kurumsal amaçların başarılmasına destek vermesi için kullanıyor. Bu kuruluşlar eğitim ve sonuçların değerlendirilmesini stratejik hedefleri ile ilişkilendiriyor. Bazıları ise çalışanların kendi kendini değerlendirebildiği basit araçlar kullanarak eğitimin işe ve kurumsal hedeflere transfer edilmesini sağlıyor.

Trendler

Günümüzde bütçe kısıntıları ve sonuçlara odaklanılması nedeniyle, organizasyonlar eğitimlere yapılan yatırımların somut sonuçlarını görmek istiyor. İleri görüşlü organizasyonlar, eğitim / öğrenmeyi sürekli izlenmesi gereken değerli bir yatırım olarak görüyor. Eğitim sonuçlarının değerlendirilmesi organizasyonel hedefler, standartlar ve yeterlilik profilleri ile ilişkilendiriliyor. Bilgi çağında; entelektüel sermaye rekabette bir adım öne çıkabilmek için önemli bir kazanım olarak değerlendiriliyor. Ve şirketler; yatırımlarının sonuçlarını ölçmek için basit, ekonomik ve güvenilir yollar bulmak için uğraşıyor.

Güçlükler

Eğitim sonuçlarının değerlendirilmesi konusundaki en büyük güçlük, bazı organizasyonlarda yönetimin desteğinin zayıf olması… Sonuçların değerlendirilmesi önemsiz tepki verileri ve zaman alıcı sonuç verileri sağlamak olarak görülebiliyor.

Yöntem

Bu çalışmadaki bilgiler; elektronik veri araştırmalarından, internette ve çeşitli yayınlarda yapılan araştırmalardan, kamu ve özel sektörde faaliyet gösteren uzmanlar ile yapılan mülakatlardan ve akademik kaynaklardan elde edilmiştir.

EĞİTİM / ÖĞRENME SONUÇLARININ DEĞERLENDİRİLMESİ: BUGÜNKÜ VE GELECEKTEKİ UYGULAMALAR

Değerlendirme Düzeyleri

Eğitim sonuçlarının değerlendirilmesi konusunda genel literatürde en sık gönderme yapılan "Kirkpatrick Modeli"dir. "Bell Sistem Yaklaşımı", "Sonuç Odaklı HRD Modeli", "Parker Modeli" ve "CIRO Modeli" de Jack Phillips´in "Handbook of Training Evaluation and Measurement Methods" (1991) adlı kitabında tanımlanmaktadır.

Kirkpatrick Modeli 4 değerlendirme seviyesinden oluşur:

1. Tepki Katılımcılar, belli bir eğitim programını değerlendirir ve genel olarak etkinliğin sonunda memnuniyet dereceleri ölçülür.

2. Öğrenme Başarı ya da performans test ve egzersizleri sayesinde katılımcıların eğitimden edindiği bilgi ve beceriler değerlendirilir.

3. Davranış Eğitim sırasında katılımcıların edindiği bilgi ya da becerilerin çalışmalarına aktarılıp aktarılmadığı değerlendirilir.

4. Sonuçlar Eğitimin, iş yaşamında ya da kurumsal hedefler üzerinde yarattığı etki değerlendirilir.

Phillips bunlara beşinci seviyeyi de ekler. (Bazı uzmanlar, bu beşinci seviyeyi dördüncü seviyenin bir parçası olarak tanımlar.)

5. Yatırım Getirisi Eğitim sonuçlarının, parasal değerinin ölçülmesidir. Tepki yerine sonuçlara odaklanılıyor

Kanada´da büyük ve orta ölçekli pek çok organizasyonda eğitim sonuçlarının değerlendirilmesi ile ilgili araştırmalara bakıldığında, en alt ve üst seviyelerde yapılan değerlendirmelerin arttığı görülüyor. Şirketler, eğitimlerin değerlendirilmesi için aşağıdaki teknikleri kullanıyor:

SEVİYE 1993 1996
% %
Tepki 74 84
Öğrenme 30 42
Davranış 16 23
Sonuçlar / Yatırım Getirisi 5 16

ABD´de, 100 ve daha fazla çalışanın görev yaptığı kuruluşlara bakıldığında bu organizasyonların eğitim sonuçlarını değerlendirirken üçüncü (%65) ve dördüncü seviyeye (%49) daha fazla yüzde ayırdığı görülüyor.

ABD için bu rakamlar son birkaç yıldır tutarlı olmasına karşın, eğitim sonuçlarının değerlendirilmesinin organizasyonların ihtiyaçlarına göre belirlendiği de biliniyor. Değişim süreci, aşağıda yer alan şemadaki gibi gerçekleşiyor. Her geçen gün daha çok organizasyon, eğitim sonuçlarının değerlendirilmesini karar alma ve değişim yönetiminin izlenmesi konusunda yönetime yardımcı olan bir araç olarak görüyor.

İYİ UYGULAMALARDAN SEÇMELER

Aşağıda, eğitim sonuçlarının değerlendirilmesi konusunda yenilikçi ve farklı yaklaşımlar geliştiren bazı organizasyonlardan örnekler yer almaktadır. Bu örnekler; konferans ve toplantı notlarından, araştırmalardan ve uzman görüşlerinden yararlanılarak toparlanmıştır.

RCMP

RCMP, son birkaç yıldır eğitim programları ve eğitim sonuçlarının değerlendirilmesi konusunda radikal biçimde yeni yaklaşımlar izleyen bir kuruluş. Geçmiş eğitim programlarında uygulamaya odaklanılırken, bugün eğitimlerin organizasyonun politikalarını beslediği görülüyor. Organizasyonun yeni sisteminde, sürekli olarak devam eden eğitim programları üç düzeyde gerçekleşiyor: bireysel, birim bazında ve organizasyonel. Bireylere yönelik, öğreneni merkez alan, işle ilgili sorunlara vurgu yapan eğitim etkinlikleri üzerinde duruluyor. Eğitimler sonuçlanırken 4´ncü seviyede yer alan yeterlilik profilleri tanımları ile bağlantılandırılıyor. Bu yetkinlikler ise bugün ve geleceğin ihtiyaçlarına ne kadar hazır olunduğuna odaklanıyor.

Eğitim sonuçlarının değerlendirilmesi; performans, organizasyonel yeterlilikler ve ana değerler ile bağlantılandırılıyor. Daha spesifik olarak ise, amaç organizasyonun değişime ne kadar uyum sağladığının değerlendirilebilmesi. Organizasyonda öğrenilmek istenen; geleceğin ihtiyaçlarına başarılı bir biçimde uyum sağlayabilmek için bilgi, beceri ve davranışların doğru bir karışımını yakalayabilmek.

Sürekli öğrenen bu organizasyonda eğitim sonuçlarının değerlendirilmesinin sonuçlara dayalı, değer bazlı ve "sürekli gelişim temelli" olması planlanıyor. (Measuring Problem - based Training, Performance Measurements for Training Conference, 1996)
Değerlendirme sonuçlarından elde edilen verilerin; yeterlilik tanımları yapılması ve performans ihtiyaçlarının belirlenmesi için kullanılması hedefleniyor.

Ancak burada dikkat edilmesi gereken bir nokta var: Radikal biçimde değişimler geliştirilirken, geleneksel yaklaşımlara alışık olan katılımcıların buna ilk anda sıcak bakmayacağı dikkate alınarak eğitim sonuçlarının değerlendirmesi ertelenilebilir. Katılımcıların yeni bir eğitim yaklaşımına adapte olmaya çalışırken sonuçların değerlendirilmesinin yıkıcı bir etki yaratabileceğini unutmamak gerekir.

XEROX

Xerox 1994 yılında, eğitim programlarının yaptığı olumlu değişimleri belirlemek için yeni bir sistem oluşturmaya başladı. Grup, temel oluşturmak için Kirkpatrick modelini uyguladı. İhtiyaç değerlendirilmesi, dizayn ve geliştirme aşamalarında eğitimin işe etki etmesi garanti altına alındı. Yeterlilik standartları belirlendi ve çalışanların bu standartlar konusunda kendi kendilerini değerlendirmesi istendi. Yeterlilik geliştirme yaklaşımına odaklanan şirkette, yeterlilik standartları kesin bir gelişim aracı olarak kullanılıyor. Değerlendirme elektronik olarak yapılıyor ve öğrenme planı standartlara uygun olarak kullanılan ölçütler baz alınarak geliştiriliyor. Katılımcıların, karar vermelerine yardımcı olan bir öğrenme kaynak rehberi kullanması sayesinde eğitim büyük oranda çalışanlar tarafından yönlendiriliyor.

Organizasyonda öncelikli sonuç öğrenme olmasına karşın, 3´üncü seviye değerlendirmesi de gerçekleşiyor. Buna ek olarak, çalışanlar yeterliliklerini güncelleyebiliyor ancak bu araç terfi ya da ödüllendirme için kullanılmıyor: Bu araç, sıkı bir biçimde gelişim için kullanılıyor ve stres ve korkunun olmadığı bir ortamda çalışanların kendisini geliştirmesi sağlanıyor.

Bu sistem Xerox için çok faydalı oldu: Sadece yeterlilik seviyelerinin artması açısından değil, çalışanların genel tatmin oranları nedeniyle de…

Motorola

Başarılı bir eğitim operasyonu olan Motorola Üniversitesi´ni yöneten Motorola 1993´te, bir değerlendirme birimi kurdu. Motorola, en yüksek değerlendirme seviyesi olarak 3´üncü seviyeyi kullanıyor. Eğitim sonuçlarının işe yansımasının organizasyona yarar sağlayacağına ve otomatik olarak sonuçlara etki edeceğine inanılıyor. Genel bir prensip olarak, orta düzey yöneticiler için gerçekleştirilen liderlik eğitimlerinde; Motorola´nın beceri değerlendirme konusunda temel tekniği haline gelen 360 derece değerlendirme sistemi kullanılıyor.

Ernst and Young

Bu şirkette eğitim sonuçlarının değerlendirilmesi, değişimi desteklemek için kullanılan bir araç olarak görülüyor. Eğitim programlarının yatırım getirisinin değerlendirilmesi değişim ve yeniliği destekliyor. Katılımcılardan sadece eğitimin, işteki davranışlarına yönelik etkisini değerlendirmesi değil alınan eğitime işin yaptığı etkiyi de değerlendirmesi isteniyor.

Organizasyon her zaman yatırım getirisinin en önemli nokta olmadığını da vurguluyor.

Imperial Oil

Imperial Oil, şirketin dört bir yanına nüfuz eden misyon ve vizyonunu temel alan bir stratejik odak noktası geliştirdi: "Yürütmede mükemmelliyet"… Bu stratejik odak noktası eğitim ve değerlendirme sistemlerinde de temel alınıyor.

Rekabet avantajı yarattığına inanılan operasyonel mükemmeliyet; standart hale getirilmiş, güvenilir ve etkili iş süreçlerine dayanıyor. Eğitim sürecinde ise stratejik odak noktaları; yeterlilik geliştirme ve rekabet avantajı olarak belirleniyor.

Şirket; aralarında öğrenme becerisinin de bulunduğu 7 yeterlilik gruplaması oluşturdu. Xerox örneğinde olduğu gibi, bir eğitim kiti kullanılarak çalışanların kendi kendine öğrenmesi sağlanıyor. Eğitim kitinde üç yolla öğrenme sağlanıyor: Formal, kendi kendine öğrenme ve önerilen proje görevleri…

İşler, "aileler" adı verilen sınıflandırmalarda toplanıyor ve her iş ailesinin 7 gelişim adımından oluşan bir yeterlilik geliştirme çerçevesi bulunuyor. Bu çerçeve sayesinde ihtiyaç duyulan beceriler ve doldurulması gereken eksiklikler belirleniyor. Bu belirleme süreci tamamlandığında, bir gelişim planı çiziliyor. Yeterlilikteki eksiklikleri belirlemek için bir değerlendirme aracı kullanılıyor. Çalışanın müdürü de eksiklerin değerlendirilmesi aşamasına katılıyor.

Imperial Oil uygulamasında ilginç bir nokta var: İş sonuçlarının değerlendirilmesi için 3´üncü seviyeyi yeterli olan Motorola örneğinde olduğu gibi, bu organizasyonda da değerlendirme sürecinde bir rahatlama seviyesi bulunuyor. Şirket, değerlendirmenin 2´nci seviyesinde durarak eğitimi ölçüyor. Yeterlilik ihtiyaçlarının uygun biçimde belirlendiğine ve eksiklerin tamamlandığına inanıldığında 3 ve 4´üncü seviyeye geçilmiyor.

Bank of Montreal

Bank of Montreal´deki Eğitim Enstitüsü´nde de eğitim programları için 3´üncü seviye değerlendirmesi kullanılıyor ve öğrenmeye bağlı olarak davranışsal değişiklik olup olmadığına ilişkin kanıt aranıyor.

Değerlendirmenin amacı; öğrenme uygulamalarının belirlenmesi ve etkisinin ölçülmesi üzerine kurulu. Şimdilerde, değerlendirme sisteminin temelinde öğrenen kişi yer alıyor. Burada ortak değerlendirme tekniği olarak katılımcının kendi kendini değerlendirmesi kullanılıyor. Buna daha sonra katılımcının olduğu kadar yöneticinin değerlendirmesi de ekleniyor. Enstitü yetkilileri, yatırım girdisinin pek çok eğitim ve öğrenme durumu üzerinde etkili olduğunu ilişkin henüz ikna edici kanıt elde edemediklerini belirtiyor.

4´üncü seviye göstergelerinin bulanık ve spesifik eğitim etkinliklerine uyarlanabilecek kadar kolay olmadığına da dikkat çekiliyor.

Dahası, etkinin anlamlı olabilmesi için öğrenme etkinliklerine yönelik bir aksiyon planı oluşturulması da gerekiyor.

Genel olarak, eğitim sonuçlarının ölçülmesi temel stratejik hedeflerin gerçekleştirilmesine yardımcı olan bir etkinlik olarak görülüyor. Bu; etkinin kanıtının hedef olduğu anlamına gelmiyor.

EĞİTİMLERİN DEĞERLENDİRİLMESİNDE TRENDLER

Eğitim yatırımının değerinin anlaşılması önem kazanıyor

Günümüzde pekçok organizasyon küçülerek büyümek ya da azaltılmış bütçeler ile çalışmak zorunda kalıyor. Bu da; bütçenin nasıl dağıtıldığının daha dikkatli incelenmesi ve parasal yatırımların ne kadar etkin getiri sağladığının kanıtlanması gerektiği anlamına geliyor.

Tüm bu nedenlerden ötürü, eğitime yapılan yatırımların ve sonuçların değerlendirilmesi organizasyonlar için son derece hassas konular haline geldi. Yapılan son araştırmalar, şirketlerin büyük bölümünde eğitim sonuçlarının değerlendirilmesinin en büyük önceliklerden biri haline geldiğini gösteriyor.

Eğitim stratejik bir yatırım olarak görülmeye başlandı

Organizasyonlar artık eğitimleri, stratejik değişime yönelik bir araç ve rekabette bir adım öne çıkmak için gereken bir unsur olarak niteliyor. Organizasyonlar ayakta kalmak ya da büyümek için ihtiyaç duydukları adımların farkına varmaya başladıkça, arzulanan hedeflere ulaşmak için gereken stratejilerin şekillenmesi eğitimleri gerektiriyor.
George Gritziotis, "The Value of Workplace Training to Organizations and a Framework for Determining Return on Training Investment" adlı çalışmasında, yüksek performansa sahip olan organizasyonların eğitime stratejik bir hedef gibi yaklaştığına dikkat çekiyor. Farklı araştırmalarda da; eğitimin tüm İK uygulamaları içinde en çok ölçüleni olduğu, bunun da karar mekanizmalarının bu fonksiyonun beraberinde getirdiği değerlere dikkat ettiği anlamına geldiği vurgulanıyor.

Entelektüel Sermaye´ye verilen önem artıyor

Günümüzde değerli ve pazarlanabilir olarak görülen unsurlar da değişiyor: Artık, kişilerin ve organizasyonların ne bildiği çok önemli hale geldi. Hubert Saint - Onge, "Measuring and Developing Knowledge Capital" adlı çalışmasında konuyla ilgili şunları söylüyor:
"Bilgi çağı, organizasyonlarda değer yaratan unsurları radikal bir biçimde değiştiriyor: Organizasyonların uzun vadeli refahı, yöneticilerin gizli olan değerleri ´entelektüel sermayeye´ dönüştürebilme becerilerine dayanacaktır."

Organizasyonlardaki bilgi sermayesinin ölçülmesi zor olmasına ve her organizasyona göre farklılık göstermesine karşın bilgi sermayesine bir statü verilmesi için çalışmalara başlamak önemlidir.

Değerlendirmeler artık daha çok aşağıdaki noktalar ile bağlantılandırılıyor:

Organizasyonel hedefler

Eğitim her geçen gün artan bir biçimde, organizasyonun stratejik iş planı ile ilişkilendiriliyor. Bu bağlantı, bazı durumlar sonucunda gerçekleşiyor: Eğitim, gerçek anlamda hedeflenilip odaklanıldığında iş hedeflerine yansıyor.

Standartlar

1996 yılının haziran ayında yayımlanan, "Development and Training for Civil Servants: A Framework for Action" adlı çalışma İngiltere´deki devlet memurlarının performanslarını artırmaları için gerekli olan noktaları ortaya koydu. Departman ve ajanslardan, aşağıda yer alan üç temel ilkeyi temel alan aksiyon planları oluşturmaları isteniyordu:

• İnsana Yatırım standardına bağlılık,
• Beceri düzeylerinin artırılması için girişimde bulunulması,
• Kendi kariyer gelişimlerini yapmaları için devlet memurlarına daha çok sorumluluk verilmesi.
İnsana Yatırım Yaklaşımı ise dört temel prensibi baz alıyordu:
• Organizasyonel hedeflerin gerçekleşebilmesi için insanlara kararlı biçimde yatırım yapmak,
• Bu hedeflerin gerçekleştirilebilmesi için birey ve takımların becerilerinin nasıl geliştirileceğinin planlanması,
• Gelişimin; hedeflere ve gelecekteki ihtiyaçlara göre değerlendirilmesi.

Bu bölümlerin her biri ayrıntılı olarak açıklanıyor ve sürecin işleyebilmesi için çalışanlar ile yöneticilere yol gösteriyor. Organizasyonlar süreci başlattığında, kendilerini standartlar ile karşılaştırıyor, standardın yakalanabilmesi için hangi boşlukların doldurulması gerektiğine karar veriyor ve performans artışına ilişkin yöntemler geliştiriyor.

Yeterlilik profilleri

Bazı organizasyonlarda yeterlilik profilleri kullanılarak çalışanların motive edilmesi ve yeterliliklerinin geliştirilmesi için ikna edilmesi sağlanıyor. Bu dinamik yaklaşım sayesinde çalışanlar kendi profilleri hakkında bilgi sahibi olarak her zaman geleceğin ihtiyaçlarını dikkate alarak bunları geliştirme yoluna gidebiliyor. Yeterliliklerin, gelecekteki yeterlilikler ile karşılaştırılarak değerlendirilmesi eğitimin temelleneceği eksiklik analizinin de yapılmasını sağlıyor.

Kaynaklar:

• Angie Todesco, A Progress Report, Learning Services Directorate

• Basarab, David and Darrell Root. The Training Evaluation Process. Kluwer Academic Publishers, Boston, 1992.

• Canadian Labour Development Board.Background Paper: The Value of Workplace Training to Organizations and a Framework for Determining Return on Training Investments (DRAFT). internal document, Ottawa, 1997

• Corporate Leadership Council.Methods for Evaluating Training. internal document, The Advisory Board Company, Washington, 1995

• Gaines Robinson, Dana and James Robinson. Training for Impact. Jossey-Bass Publishers, San Francisco, 1989.

• Geber, Beverly.Prove It! ( Does Your Training Make a Difference?).Training, March, 1995
Hassett, James.Simplifying ROI. Training. September, 1992

• Interdepartmental Committee of Heads of Training.Value for Money in Training. Ottawa, 1992
Investors in People.Investors in People Handbook. TQM International Ltd, United Kingdom, 1994

• Legault, Marie-France.Learning: Glossary. internal document. Ottawa, 1997
McIntyre, David.Training and Development 1991: Expenditures and Policies. Conference Board of Canada, Report 85-92, Ottawa, 1992

• Ibid.Training and Development 1993: Policies, Practices and Expenditures. Conference Board of Canada, Report 128-94, Ottawa, 1994

• Kirkpatrick, Donald.Evaluating Training Programs: The Four Levels. Berret-Koehler, San Francisco, 1994.

• Office of the Auditor GeneralChapter, 27, 1990, Chapter 22, 1992, Ottawa
Parry, Scott, B.Evaluating Training : Before (Feasibility Analysis) & After ( Cost-Benefit Analysis), Training House, Princeton N.J., 1993

• Pepitone, James.Future Training. Addvantage Learning Press, Dallas, 1995.

• Phillips, Jack.Handbook of Training Evaluation and Measurement Methods. ASTD, 1991.

• Saint-Onge, Hubert.Measuring and Developing Knowledge Capital (conference notes). The Mutual Group, Presentation to Alumni of Business School of Wilfrid Laurier University, Toronto, 1996

• Savard, Guy and Ken Gunnel.Defining Value for Money in Training. Interdepartmental Subcommittee on Value for Money in Training, Ottawa, 1990.

• Slivinski, Len, et al.The Wholistic Competency Profile: A Model. Public Service Commission of Canada, 1995

• Souque, Jean-Pascal.Focus on Competencies: Training and Development Practices, Expenditures and Trends. Conference Board of Canada, Report 177-96, Ottawa, 1996

• Training Industry Report. Training, October, 1996

• Training and Development Lead BodyNational Standards for Training and Development. Employment Department Group, England, 1992

• Training Programs BranchInvesting in People: Public Service Renewal Through Learning. Presentation to TBSAC, Dec. 13, 1996

• Treasury Board of Canada Personnel Management Component, Training Guide. Ottawa, 1993

• United Kingdom, governmentDevelopment and Training for Civil Servants. UK, 1996.

• XEROX Canada LTD.Training Effectiveness Measurement System. internal document. XEROX Canada Ltd., Toronto, 1995
Paylaş: