0
Çalışan anketi tasarlarken neleri gözden kaçırıyoruz? Sonuçlara neden güvenemiyoruz?
Performans ya da liderlik becerilerini değerlendirmek için tasarlanan pek çok ankette, katılımcıların diğer bireylerin fikirleri ya da karakter özellikleri hakkındaki düşüncelerini aktarması istenir. Örneğin; Duke Energy’nin Beceri Yönetimi Grubu ile geçenlerde yaptığımız bir çalışma; liderlik değerlendirmesiyle ilgili çalışma notlarında katılımcılardan, proje liderlerinin “iş ve piyasayı anlayıp anlamadığını” değerlendirmesini istediğini gösterdi. Bir başka soruda ise katılımcıların; kişinin “küresel düşünebilme” yeteneğini derecelendirmesi isteniyordu.
Bu soruların sorulmasına gösterilen ilgi anlaşılabilir. Ancak şirket bu soruları doğrudan sorarak yanıt elde edemeyebilir. Her şeyden önce; bu tür fikir bazlı soruların sonuçlarını kabul etmemek çok kolaydır. Pazarın gereklerini anlamamakla eleştirilen liderler; şirketin müşterilerini ve pazarı; katılımcıların tahmin ettiğinden çok daha iyi anladığını rahatlıkla savunabilir. Daha da önemlisi; bu tür sorulara verilen yanıtlar genellikle değerlendirilen kişinin özellikleri nedeniyle yanıltıcı olabilir. Örneğin bir araştırmaya göre; simetrik yüz çizgilerine ve büyük gözlere sahip olan kişiler genellikle göreceli olarak daha dürüstmüş gibi algılanabiliyor.
Bu tür sorunlarla başa çıkabilmenin en kolay yolu; spesifik, gözlemlenebilir davranışlar hakkında sorular sormak ve katılımcıların kendi deneyimlerini ilk elden tasvir etmelerini sağlamaktır. Tekrar Duke Energy’nin değerlendirmesine dönersek; pazarın ihtiyaçlarının anlaşılmasıyla ilgiyi soruyu değiştirerek katılımcıların “liderin, müşteri şikayetlerini ne kadar çabuk yanıtladığını” değerlendirmesini istedik. Bu değişiklik değerlendirmenin sübjektifliğini tamamen ortadan kaldırmasa da – değerlendirici ve liderler ‘çabuk çözümden’ ne kastedildiğini tartışmaya açabilir – yanıtlar kesin olaylara bağlanabilir, davranışlar analiz edilerek tartışılabilir.
Doğrulanabilir yanıtlar; anketin güvenilirliği açısından tatmin edici sonuçlara ulaşabilmenizi sağlar.
Ankete verilen yanıtlarla doğrulanabilir gerçekler arasında bir ilişki yoksa, yaptığınız çalışmada bir şeyler yanlış ya da eksik demektir. Doğrulanabilir yanıtlar; anketin güvenilirliği açısından tatmin edici sonuçlara ulaşabilmenizi sağlar. Ki bu da; özellikle anketin yeni ya da alışılmamış bir şeyi ölçmesi durumunda çok önemlidir. Örneğin; teknoloji hizmetleri alanında faaliyet gösteren EDS adlı şirkette liderlik becerilerini değerlendirmek amacıyla özel bir 360 derece değerlendirme aracı formüle ettik. Test sonuçlarının doğrulanabilir olmasından emin olmak için, liderin meslektaş ve çalışanları ile “sadık ve dayanıklı ilişkiler kurup kuramadığını” sorduk. Ardından bu dereceleri; liderin biriminden edindiğimiz (iş gücü devri gibi…) objektif ölçütler ile karşılaştırdık. Tüm diğer değerlendirme ölçütleri ile birlikte bu ölçütlerin de yüksek korelasyon ortaya çıkarması; sonuçları raporlaştırırken değerlendirmenin doğruluğunu kanıtlamamıza yardımcı oldu. Kimi zaman da katılımcılardan, birimlerinin karlılığını değerlendirmesini ister; ardından bunu gerçek karlar ile karşılaştırırız.
Bir başka olayda ise; ülkenin en büyük araç üreticisinin eğitim departmanının becerilerini değerlendirmek için bir anket hazırladık ve mühendislerin yüzde 76’sının, kendi becerilerinin şirket ortalamasının üstünde olduğuna inandığını tespit ettik. Elbette herhangi bir grubun sadece yüzde 50’si ortalamanın üstünde olabileceği için, anket çalışanların bu becerilerini ne kadar gerçek dışı algıladığını görmemizi sağladı. Sonuçlar; şirketin görülü eğitim programında kullanılması için son derece değersizdi.
Doğrulanabilir yanıtlar alınabilecek sorular sorulmasının yanı sıra, niceliksel anketlerde niteliksel sorular sormak da sonuçları doğrulamak için iyi bir yol olabilir. EDS için analiz ettiğimiz bir çalışan anketinde; bağımsız ve objektif katılımcıların yazılı tüm yorumları başlık ve değerliliğine göre (olumlu, olumsuz, nötr) olarak değerlendirmesini sağladık. Ardından, bu sınıflandırmalar arasındaki korelasyonu değerlendirdik. Anketin her bölümündeki derecelendirmeler ve yorumlar arasındaki sıkı korelasyon anketin doğruluğu hakkında bize güçlü bir kanıt sunmuş oldu.
Şirketin performansını etkileyen davranışları ölçmelisiniz!
Bu kural çok açık görünse de; bugüne kadar incelediğimiz anketlerde yer alan soruların neredeyse dörtte üçünün şirket sonuçları ya da iş performansı ile açık bir ilgisi olmadığını gördük. Aslında bu kusur, daha dikkat çekici anket hatalarını da açıklar. Sorunlar genellikle, sorular sistematik olarak seçilmediği için ortaya çıkar. Bu engellemek amacıyla; soruları seçerken iki adımdan oluşan bir süreç izliyoruz. Bu süreçte öncelikle konuyla ilgili bilgi sahibi olan hissedarlar ile görüşerek ana sorunları tanımlamalarını ve bunun nedenlerinin ne olduğunu düşündüklerini anlatmalarını isteriz. Ardından, bilinen sorunlar ve nedenlerini tespit etmek için yayınlanmış araştırmaları inceleriz.
Örneğin, International için bir anket tasarlayabilmek amacıyla; yaklaşık 100 yönetici, çalışan, sendika temsilcisi ve müdürle mülakat yaptık. Her birinden; gelişim için gerekli olduğuna inandıkları performans türünü belirlemesini ve bunun nedeninin ne olduğuna inandığını açıklamasını istedik. Görüşülenlerin tümü; hata oranlarının geliştirilmesi gerektiğinde hemfikir olmasına karşın sorunlara neden olan potansiyel tavırları tespit etmek konusunda pek emin değildi. Yine de kalite konusunda yaptığımız bir araştırma; iletişimi geliştirmenin hata oranını azaltacağını ortaya çıkarmıştı.
Sonuç olarak ankete, iletişimle ilgili birkaç soru da ekledik. Soruların birinde, katılımcıların “departmanlarında hangi sıklıkla, işlerini yapmak için gereken tüm bilgileri edinebildiğini” değerlendirmesi isteniyordu. Sonuçlar, zayıf iletişimin hata oranları ile gerçekten bağlantılı olduğunu doğruladı. Şirket bunun üzerine, departmanlar içi ve arasında iletişimi artırabilmek için en büyük üretim tesislerinden birinde bir pilot program başlattı. Denemenin ardından; pilot sahadaki iletişim oranı yüzde 9,5’a çıkarken; hatalar yüzde 19 oranında azaldı.
Katılımcılar daha çok kelime içeren sorulara daha yüksek puan veriyor.
Uzunlukları eşit sorular ve bölümler tasarlamak, tüm sorular için doğru yanıtlar elde edebileceğinizi sağlayan en büyük olasılıklardan biri… Büyük bir perakende şirketinde kullanılan müşteri tatmin anketi bu tehlikeleri çok iyi örnekliyor. Anketi değerlendirirken; değerlendirilen ürün ne olursa olsun uzun soru ve uzun bölümlerin daha yüksek puan aldığını tespit ettik. Oysa şirket; soruların ve bölümlerin uzunluklarını eşit tutarak bu problemin üstesinden gelebilirdi.
Bu taraflı yanıtlardan kaynaklanan sorunlar; fazlasıyla uzun olan anketlerde de kendisini gösterebilir. Ayrıca; katılımcı anket üzerinde çalışırken sorulara verdiği ortalama yanıtların sayısı da artabilir. Aynı zamanda; hem araştırmalar hem de bizim deneyimlerimiz böyle durumlarda standart sapmanın genellikle küçüldüğünü gösteriyor.
Çalışan anketlerinde; demografik soruları genellikle en sona koymak, opsiyonel yapmak ve sayılarını azaltmak en iyisidir.
Bu tür bir konumlandırma; katılımcıların anketi yanıtlamaya karar vermeye çalıştığı ilk anda olumsuz bir tepki vermesine engel olacaktır. M.T. Robertson ve E. Sundstrom tarafından yapılan bir araştırma çalışan anketlerinde demografik soruları en sona yerleştirmenin yanıtlanma oranlarını yüzde 8 civarında artırdığını ortaya çıkardı.
Ancak çalışan anketlerinin tersine; performans değerlendirmeler ve liderlik becerileriyle ilgili anketlerde demografik sorular en başa yerleştirilmeli. Bu soruları en başa koymak; ne kadar önemli olduğunu belli edeceği gibi katılımcıların bunları tam olarak yanıtlaması olasılığını da artırır. Pek çok anket sorusu iki unsur içerir. Konular birleştirildiğinde anketin uzunluğu azaltılıyor hissi yaratılsa da iki unsuru bir araya getirmek sorun yaratabilir. Örneğin; 90’lı yılların ortasında bir telekomünikasyon şirketinde yapılan liderlik değerlendirme anketinde çalışanlardan, liderlerinin “eleman seçme ve ödüllendirme” becerisini değerlendirmesi isteniyordu. Açık bir biçimde; bu sorudan elde edilen veri liderin bu iki bağlantılı ancak birbirinden uzak sorumluluğu hakkında çok gerçekçi bilgi veremiyordu.
Çalışanlardan; liderlerinin “hem yapıcı geribildirim verip hem de bunlara nasıl yanıt verdiğini” değerlendirmesini istemek son derece mantıklıdır çünkü her iki süreç de anlayış, incelik, nezaket, samimiyet, esneklik ve öğrenme arzusu gerektirir. Ancak, aynı soru içinde hem seçme / yerleştirme hem de ödüllendirme becerileri ile ilgili değerlendirme istemek çok az yararı olabilecek bilgi temin etmekten başka bir işe yaramayacaktır.
Rakamların belli boşluklarla ayrıldığı, kelimelerin ise sadece her birinin sonunda yer aldığı bir yanıt skalası tasarlayın. Pek çok ankette katılımcılardan; kendi tepkilerine en iyi uyan kelimeleri seçmek suretiyle bir konuyu değerlendirmesi istenir. Örneğin; global bir bilgisayar şirketinin yıllık performans değerlendirme anketinde müdürlerin çalışanlarını değerlendirirken “kabul edilemez”den “beklentilerin çok üstünde”ye kadar uzanan beş kutunun birini işaretleyerek puanlandırması isteniyordu.
Rakamsal bir skalaya güvenmek işin sadece bir bölümüdür.
Soruların sübjektifliği ya da skalanın iki ucuna koyduğunuz kelimeler konusunda hala sıkıntı yaşayabilirsiniz. Örneğin 90’lı yılların sonunda incelediğimiz bir çalışan anketinde katılımcılardan şu soruyla ne kadar hemfikir oldukları soruluyordu: “Yaptığınız her şeyde kendinizi kaliteye adar mısınız?” Katılımcılardan; “kesinlikle hemfikir değilim” ve “kesinlikle hemfikirim” arasındaki bir skala içinde yer alan kutuları işaretlemesi isteniyordu. Ancak katılımcıların hemfikir olma oranını ölçmesini isteyen sorular genellikle taraflı yanıtlar üretir. Her şeyden önce; kim kendisini kaliteye adamadığını söyleyebilir ki? Doğal olarak; bu soruya verilen yanıtlar skalanın sonundaki kutuda toplanmıştı.
Bize göre; bu tür sorunları çözümlemenin en iyi yolu katılımcılardan bir sıklık oranı istemektir. Bu da; “asla” ile “her zaman” arasında değişen oranlar ya da puanlar kullanılarak sağlanabilir. Örneğin ulusal ölçekte yaptığımız çalışan motivasyonu ile ilgili bir kalite testi anketinde şunu sorduk: “Şirketinizdeki takımların yüzde kaçı çok kaliteli iş üretiyor?” Hemfikirim – değilim sorularının tersine burada rakamlardan oluşan bir değerlendirme skalası kullandık ve elde ettiğimiz eğri yanıtların taraflı olmadığını kanıtladı.
Çok fazla ya da çok az yanıt şıkkı sunmayın!
Ülkenin en büyük petrol şirketlerinden birinde yapılan yıllık çalışan anketinde katılımcılara tavırlar ve önerilerle ilgili olarak sorulan sorularda yalnızca iki yanıt seçeneği sunuluyor: “katılıyorum” ve “katılmıyorum”. Doğal olarak, yöneticiler bu anketten elde edilen sonuçların basit ve zor yorumlandığından şikayet ediyor. Deneyimlerimiz; yedi ile 11 alternatifli yanıt skalalarının ayrıntılı sonuçlar verebildiğini gösteriyor.
Pek çok ankette katılımcılardan bir dizi konuyu derecelendirmesi istenir. 2007 yılında incelediğimiz bir araştırmada katılımcıların “departmanlarındaki verimliliği tehdit eden sorunların şiddetini artan sırada derecelendirmesi” isteniyordu. Oysa araştırmalar, bu tür sorulara verilen yanıtların bir dizi faktörün etkisiyle taraflı olduğunu ortaya koyuyor. Katılımcılar genellikle ilk ve son soruları anımsama eğilimindedir ve genellikle bunları en iyi ve orta derecelere yerleştirirler.
Daha önce de belirttiğimiz gibi; katılımcılar anketlerin bireysel değil anonim olarak değerlendirileceğine emin olduğunda daha çok katılma eğilimi gösterir. International için yaptığımız ankette çalışanlara, anonim anketlerin hiçbir gizli işaret içermediğini ve hiçbir bireysel anketi spesifik bir çalışanla bağlantılandırmaya çalışmayacağımızı söyledik.
Katılımcıların anonim anketlere daha çok ilgi duyması; tüm çalışanların bilgisayar ağına girme şansı olmasına rağmen şirketlerin yazılı anketleri tercih etme sebebini açıklar. Pek çok çalışan; her bilgisayarın benzersiz bir parmak izine sahip olduğunu ve bu şifrenin kolaylıkla tespit edilebileceğini bilecek kadar kurnazdır. Duke Energy’de liderlik becerilerini değerlendirmek için yapılan pilot bir test anketleri elektronik olarak yönetirken yaşanan sorunları çok iyi örnekliyor. Duke; 360 derece liderlik değerlendirme anketini hem elektronik ortamda hem de yazılı olarak; paralel gerçekleştirmişti. Burada amaçları; şirketin iki metodun da maliyet – fazda analizini tamamlayabilmesiydi.
Pilot verilerden elde edilen analiz; şirketin e-posta sisteminden yönetilen ankette, optik olarak okunan kağıt anketlere oranla daha fazla boş yanıt olduğunu ortaya çıkardı. Puanların dağılımı da dikkat çekici derecede farklıydı: Kağıt üzerinden yapılan değerlendirmeler daha güvenilir sonuçlar verirken, şirket server’ından gelenler daha düşük güvenilirliğe sahipti. Duke bu nedenle artık katılımcıların, tercih ettiği anket formatını kendilerinin seçmesine izin veriyor: Çalışanlar dilerse geleneksel kağıt formu ya da üçüncü bir partinin sahip olduğu dış server üzerinden yürütülen Web tabanlı versiyonu tercih ediyor.
Büyük organizasyonlarda, departmanı şirket anketlerini analiz edecek temel birim haline getirin. Anketlerin anonim tutulması ihtiyacı çok önemli olmasına karşın, büyük organizasyonlar içeride yapılan anketlerin sonuçlarını departmanlar ya da operasyonel birimler düzeyinde organize ve analiz etmek ihtiyacındadır. Çünkü performans bu düzeylerde değerlendirilir. Büyük anketler tasarlarken; buna katılımcının departmanı ve birimini tespit eden bir kontrol listesi (ya da kurallar listesi) eklemek yararlı olacaktır. Bu; dağınık geri bildirim raporlarını departman ve bölümler için uyarlayabilmek konusunda işinize yarayacaktır.
