Ketika bencana menjadi lebih sering dan parah di AS, persiapan menjadi lebih penting dari sebelumnya. Setiap tahun, sumber daya yang signifikan dicurahkan ke dalam program pelatihan bagi para profesional manajemen bencana untuk mempraktikkan skenario dan alat kehidupan nyata yang berfokus pada persiapan, respons, dan pemulihan bencana.
Namun pertanyaan besarnya adalah: Bagaimana kita tahu apakah pelatihan ini benar-benar berhasil? Apakah peserta secara langsung menerapkan apa yang telah mereka pelajari dalam praktik kerja sehari-hari atau pada saat tanggap bencana sebenarnya?
Di yang baru kertaspeneliti Thomas Chandler, Shuyang Huang Dan Richard Hendra di Kolombia Pusat Kesiapsiagaan Bencana Nasional dan Sekolah Baru menjawab pertanyaan-pertanyaan ini dengan menggunakan Model Kirkpatrick untuk mengukur efektivitas pelatihan pendidikan bencana mereka. Mereka menawarkan wawasan dalam Tanya Jawab di bawah ini.
Apa itu Model Kirkpatrick?
Pedagang lilin: Model Penilaian Kirkpatrick adalah alat mendasar dalam bidang pelatihan dan desain instruksional. Pendekatannya membantu organisasi secara sistematis mengevaluasi efektivitas program pelatihan mereka, memastikan bahwa investasi dalam pengembangan karyawan menghasilkan peningkatan yang berarti dalam kinerja dan kesuksesan organisasi. Meskipun memiliki keterbatasan yang signifikan, bila digunakan secara hati-hati dan dikombinasikan dengan metode evaluasi lainnya, model ini memberikan wawasan berharga mengenai dampak inisiatif pelatihan, khususnya di sektor manajemen risiko bencana. Ini dikembangkan oleh Donald Kirkpatrick pada tahun 1950an, dan terdiri dari empat tahap, yang masing-masing merupakan lanjutan dari tahap sebelumnya, untuk memberikan penilaian komprehensif terhadap hasil pelatihan. Fokus kami kertas berada di Level 3, yang melibatkan transfer pengetahuan dari lingkungan pelatihan ke lingkungan dunia nyata.
Mengapa Model Kirkpatrick digunakan untuk mengevaluasi pelatihan?
Hendra: Model Kirkpatrick telah teruji oleh waktu karena pendekatannya dalam mengevaluasi pelatihan dalam kaitannya dengan keterampilan dan praktik sebenarnya. Hal ini berakar pada visi keberhasilan pelatihan, dan kita semua sepakat bahwa pelatihan profesional bukan hanya tentang pengalaman yang baik. Ini tentang mempelajari keterampilan-keterampilan penting, menerapkannya, dan mengubah hasil inti bagi orang-orang yang kami layani. Hal ini dapat mengungkap hambatan yang menghalangi peserta untuk menggunakan keterampilan atau pengetahuan baru, sehingga memungkinkan organisasi untuk mengatasi masalah seperti kurangnya sumber daya, ketidakmampuan untuk mempelajari konsep-konsep utama karena modalitas pelatihan atau tindak lanjut yang tidak memadai.
Level Kirkpatrick manakah yang digunakan untuk latihan penilaian?
Huang: Keempat tahapan Model Kirkpatrick memiliki tingkat kepentingan dan kompleksitas yang berbeda-beda. Tingkat 1 dan 2 relatif mudah diukur, dengan fokus pada reaksi langsung peserta terhadap pelatihan dan hasil pembelajaran jangka pendek. Namun, Level 3 lebih menantang dan bisa dibilang lebih penting, karena menilai bagaimana peserta menerapkan apa yang telah mereka pelajari di dunia nyata. Tingkat ini melampaui kesan subjektif dari pelatihan atau nilai pra/pasca tes untuk menguji perubahan perilaku yang signifikan di tempat kerja. Tingkat 4, meskipun merupakan tujuan yang mengagumkan, adalah yang paling sulit diukur karena memerlukan penentuan seberapa besar kontribusi program pelatihan tertentu terhadap peningkatan efektivitas organisasi secara keseluruhan, yang sering kali dipengaruhi oleh berbagai faktor eksternal.
Apa saja tantangan dalam menggunakan penilaian Kirkpatrick Level 3?
Pedagang lilin: Ketika siswa didekati untuk memikirkan bagaimana pelatihan dapat berdampak pada kinerja mereka, terdapat banyak tantangan dalam mengumpulkan dan menganalisis data. Responden dapat memberi tahu pewawancara apa yang ingin mereka dengar, yang disebut bias keinginan sosial. Mereka mungkin salah menggambarkan rangkaian peristiwa, yang disebut bias ingatan, atau mungkin tingkat responsnya sangat rendah. Dan, karena perubahan perilaku dapat terjadi setelah pelatihan, sulit untuk menentukan apakah pelatihan benar-benar penyebabnya atau apakah faktor sosial lain memainkan peran yang lebih besar. Misalnya, peralihan tenaga kerja ke pekerjaan jarak jauh selama dan setelah wabah COVID-19 mungkin berdampak lebih besar terhadap hasil perilaku karyawan dibandingkan dampak pelatihan yang diberikan. Pentingnya memperoleh analisis data yang tepat tidak dapat disangkal karena dapat memberikan justifikasi yang kuat terhadap pelaksanaan program pelatihan manajemen darurat dan menentukan apakah program tersebut benar-benar sepadan dengan waktu, tenaga dan biaya.
Apa sajakah cara untuk mengendalikan faktor-faktor seperti bias seleksi atau bias respons secara statistik?
Hendra: Di koran, kita berbicara tentang kerajinan menyeimbangkan kendala desain dan pengumpulan data untuk mencapai titik di mana kita dapat mengukur hasil Tingkat 3 Kirkpatrick dengan lebih andal. Sekalipun suatu olahraga tampaknya memberikan dampak positif, kita tidak dapat mengetahui secara pasti kecuali kita mempertimbangkan sebaliknya. Artinya, apa jadinya jika pelatihan tidak pernah dilakukan? Ini adalah masalah mendasar dalam evaluasi program. Idealnya, kita dapat membuat model statistik yang sempurna untuk menganalisis hal ini, termasuk semua perbedaan antara responden dan non-responden. Namun tidak mungkin mengukur semua faktor psikologis dan perilaku yang terlibat. Kita perlu menghubungkan dengan metode lain, termasuk uji coba terkontrol secara acak, yang ampuh namun terkadang sulit diterapkan, atau desain kuasi-eksperimental seperti rangkaian waktu terputus dan pencocokan, yang semuanya dijelaskan dalam makalah ini. Meskipun uji coba terkontrol secara acak adalah metode yang paling ketat, metode eksperimen semu relatif lebih mudah digunakan untuk organisasi pelatihan yang menghadapi tenggat waktu yang besar, kendala keuangan, dan pendaftaran yang tidak dapat diprediksi. Terdapat trade-off nyata antara ketelitian dan kelayakan untuk dipertimbangkan dalam desain dan pendekatan pengumpulan data ini.
Apa sajakah pendekatan untuk meningkatkan validitas dan partisipasi penilaian Kirkpatrick Level 3?
Huang: Seperti disebutkan sebelumnya, pandemi COVID-19 dan peningkatan pembelajaran jarak jauh telah menghasilkan peningkatan investasi dalam sistem manajemen pembelajaran di antara organisasi pelatihan. Sebagian besar sistem ini mampu mengotomatiskan penilaian Tingkat 3 secara online, sehingga memungkinkan penyebaran survei yang lancar ke sejumlah besar peserta. Otomatisasi ini tidak hanya meningkatkan tingkat respons tetapi juga mengurangi tantangan seperti penarikan kembali produk dan bias sosial. Dalam makalah ini, kami juga membahas bagaimana mengintegrasikan sistem manajemen pembelajaran dapat meningkatkan proses penilaian dengan menawarkan umpan balik yang dipersonalisasi, memperkuat legitimasi melalui komunikasi bermerek dan memungkinkan pengumpulan data yang dapat ditindaklanjuti secara tepat waktu. Peningkatan ini membantu organisasi untuk terus menyempurnakan program pelatihan mereka berdasarkan wawasan peserta yang komprehensif dan andal.
Apakah Anda mempunyai pemikiran terakhir tentang penggunaan Model Kirkpatrick?
Pedagang lilin: Model evaluasi Kirkpatrick telah digunakan secara luas dan efektif selama lebih dari 70 tahun karena model ini membantu kita menentukan dengan lebih baik apakah program pelatihan mempunyai dampak positif di dunia nyata, yang khususnya penting dalam bidang manajemen risiko bencana. Jika sebuah program pelatihan berfokus pada tindakan penyelamatan jiwa, misalnya, kita perlu melakukan segala yang kita bisa untuk memastikan bahwa program tersebut benar-benar memberikan nilai tambah. Namun ada juga beberapa batasan yang perlu dipertimbangkan. Ketika sampai pada evaluasi Tingkat 3, kami menyarankan agar manajer program dan perancang pembelajaran mempertimbangkan potensi bias dan tantangan pengumpulan data sambil juga merencanakan pendekatan yang paling sesuai dengan kebutuhan organisasi mereka. Untuk membantu pembaca mendapatkan hasil maksimal, kami telah menguraikan beberapa langkah penting untuk menggunakan model ini secara efektif. Anda bisa melihat kertas putih untuk informasi lebih lanjut.
Thomas Chandler adalah wakil direktur Pusat Kesiapsiagaan Bencana Nasional dan anggota fakultas di Columbia School of Climate. Dia juga seorang sutradara Pusat Kesiapsiagaan Bencana Nasional Proyek pelatihan FEMA.
Richard Hendra adalah pengajar Statistika dan Metode pada School of Public Engagement di Sekolah Baru. Dia baru-baru ini mengajar Metode Kuantitatif, Metode Kuantitatif Tingkat Lanjut, dan Desain Penelitian Kuantitatif.
Shuyang Huang adalah anggota staf asosiasi yang bekerja pada manajemen dan analisis data di Pusat Kesiapsiagaan Bencana Nasional. Dia saat ini memimpin upaya penilaian Kirkpatrick Level 3 atas nama pusat tersebut.
Tinggalkan Balasan