11 Teknik Menilai Keandalan Sebuah Instrumen atau Alat Ukur Psikologis

Saat ini organisasi dihadapkan pada berbagai pilihan alat ukur psikologis yang mengklaim dirinya sebagai yang terbaik dalam menilai aspek psikologis manusia. Apakah klaim tersebut benar? Ada baiknya Anda, sebagai HRD yang bertanggungg jawab terhadap masalah manusia di organisasi Anda, mencoba menilai keandalan alat ukur yang Anda beli dengan memegang 11 prinsip di bawah ini:

1. Reliabilitas : Dalam mengukur kapasitas seseorang, Anda hanya bisa yakin informasi yang diberikan benar, jika alat tersebut memiliki keandalan/dapat dipergunakan berulangkali dengan hasil yang mendekati sama seperti sebelumnya. Dalam psikologi, reliabilitas berarti sejauhmana alat ukur tersebut secara konsisten mengukur apa yang ingin diukur. Ada 4 tipe dari informasi mengenai reliabilitas; internal consistency, tes-retest, alternate form, dan inter-rater. Tanyakan informasi mengenai reliabilitas berdasarkan 4 tipe reliabilitas tersebut.

2. Validitas : Memberikan hasil yang konsisten belum cukup untuk membuat sebuah alat ukur efektif. Mungkin saja alat ukur tersebut reliabel — Anda tahu bahwa alat tersebut mengukur sesuatu — tapi apakah Anda tahu alat tersebut valid? Validitas berarti sejauhmana alat ukur tersebut mengukur apa yang ingin diukur. Sebuah alat ukur dikatakan valid jika, korelasi dengan baik dengan alat ukur lain yang mengukur hal yang sama (concurrent validity), dapat dikaitkan dengan rating atau kriteria lain yang mendukung hasil alat ukur tersebut (external validity), dapat membedakan antara kelompok (discriminant validity), dan tidak berkorelasi dengan konstruk yang secara teoritis memang tidak terkait (divergent validity). Ada banyak bentuk validitas lainnya, dan setiap tipe validitas memberikan informasi tentang bagaimana alat ukur tersebut didesain sehingga benar-benar mengukur apa yang ingin diukur dan dengan cara apa alat ukur tersebut digunakan dalam pengambilan keputusan. Index validitas yang bagus ditentukan oleh sekumpulan riset-riset validitas dengan menggunakan beragam metodologis. Sebuah alat ukur yang kaya dengan informasi validitas yang diterbitkan (terutama dalam jurnal-jurnal ilmiah) semakin membuat kita yakin bahwa alat tersebut memang benar-benar valid mengukur apa yang ingin kita ukur.

3. Sampel Normatif : Setiap survei selalu mengumpulkan data mentah dari sekumpulan orang. Tetapi bagaimana Anda menentukan apa sebenarnya dihasilkan dari data tersebut? Interpretasi atas skor tes seseorang memiliki arti jika dibandingkan dengan sebuah nilai kelompok yang lebih besar, dikenal dengan nama normatif population. Norma adalah satu set skor tes yang memberikan benchmark atas perbandingan ini. Contoh, banyak tes IQ memiliki nilai rata-rata 100; berdasarkan hal ini, memungkinkan untuk menentukan apakah seseorang berada di atas atau di bawah rata-rata. Untuk membangun norma, alat ukur tersebut harus diuji cobakan pada sampel yang sesuai dengan tujuan alat ukur tersebut. Tidak hanya jumlah sampelnya tapi pemilihan sampel juga harus dilakukan dengan hati-hati, termasuk gender, umur, etnis, dan geografi. Sebagai contoh, sebuah alat ukur yang mengukur sales profile, maka sebaiknya diujicobakan ke orang-orang sales dan bukan ke anak sekolah.

4. Bukti bahwa hasil tes berkaitan dengan realitas yang sebenarnya: pertanyaan penting yang perlu Anda tanyakan adalah bagaimana keterkaitan hasil tes dengan realitas sesungguhnya. Jika ada vendor yang mengklaim bahwa alat ukurnya dapat mengetahui orang yang perform dengan orang yang tidak sehingga hasil akhirnya adalah meningkatkan ROI Anda, tentunya Anda berminat dengan alat ukur tersebut bukan? Tetapi Anda perlu cari tahu dulu apakah hal tersebut benar, cek melalui informasi yang pernah mereka publikasikan bagaimana alat tersebut dapat dikaitkan dengan performance atau efektifitas.

5. Jaminan bahwa alat ukur tersebut didasarkan pada model teoritis yang telah diakui oleh ilmuwan psikologi ternama : Secara profesional mendesain alat ukur harus menggunakan metode empiris yang menguji sebuah teori yang sudah establish. Tanpa dasar teori yang jelas, maka arti skor dari alat ukur tersebut menjadi tidak jelas dan tidak berdasar. Cari alat ukur yang memiliki literatur yang lengkap, kombinasi teori yang padu, ada korelasi antara teori, dan cari bukti signifikan bahwa alat ukur tersebut memang bagus sehingga meningkatkan keyakinan Anda terhadap interpretasi hasil skor tes dari alat ukur tersebut.

6. Pilih alat tes yang sesuai dengan kebutuhan organisasi Anda: jika Anda ingin mengetahui kompetensi individu di organisasi, maka Anda jangan menggunakan alat ukur yang mengukur kepribadian atau minat. Jadi Anda perlu benar-benar menggali kebutuhan Anda dan cari tahu apakah alat ukur yang ditawarkan benar-benar memenuhi kebutuhan Anda.

7. Cari tahu riset-riset yang mendasari alat ukur tersebut : penyedia alat tes yang profesional selalu meng-up date alat ukurnya melalui riset-riset yang terus menerus mereka lakukan, sehingga merefleksikan bagaimana komitmen mereka terhadap alat yang mereka kembangkan. Cari tahu melalui web atau tanyakan langsung kepada penyedia alat ukur tersebut.

8. Tanyakan bagaimana aplikasi selanjutnya setelah alat ukur digunakan : setelah semua karyawan mengisi alat ukur tersebut. Selanjutnya apa? Apakah Anda yang mengerjakan sisanya? atau Anda hanya diberi hasil akhir saja? Jadi ada baiknya Anda membeli alat ukur yang memberikan training  atas materi tes dan apa yang bisa dilakukan selanjutnya dengan hasil tersebut, dengan demikian Anda menghemat waktu, biaya, dan tenaga Anda bahkan Anda bisa mendapati ilmu juga.

9. Yakinkan bahwa alat tersebut tidak melanggar peraturan pemerintah : Yakinkan diri Anda bahwa alat ukur yang Anda beli tidak melanggar pedoman-pedoman yang ada dalam industri alat ukur, peraturan-peraturan pemerintah, maupun asosiasi terkait lainnya. Cari penyedia alat ukur yang selalu meng-update informasi yang berkaitan dengan unsur legalnya.

10. Cek persyaratan kualifikasi pengguna : hal ini berkaitan dengan isu etis dan legal. Cari tahu siapa yang boleh menggunakan alat ukur tersebut, apakah diperlukan persyaratan khusus untuk menggunakan alat itu. Ada kalanya alat tes mensyaratkan kualifikasi pendidikan tertentu, namun ada juga yang tidak, hal tersebut seringkali tergantung dari proses membuat interpretasinya.

11. Berhati-hatilah dengan alat ukur yang merupakan adaptasi dari luar negeri : ini yang seringkali diabaikan oleh penyedia alat tes di dalam negeri, adakalanya mereka hanya melakukan translate bahasa namun tidak melakukan uji validitas dan reliabilitas lagi, padahal dimungkin ada item/pernyataan yang tidak sesuai dengan budaya/kepribadian dari orang-orang kita. Jadi cari tahu bagaimana alat tes tersebut diadaptasi, dan apakah melalui prosedur yang benar (psychometric approach) atau hanya melakukan translate saja.