Common Method Variance & Bias
Dalam Penelitian Psikologis
Juneman
Jurusan Psikologi, Fakultas Humaniora, Universitas Bina Nusantara
Jl. Kemanggisan Ilir III No. 45, Kemanggisan/Palmerah, DKI Jakarta 11480
E-mail: juneman@binus.edu
Abstract
The issue of common method variance and bias in Indonesia still has not gained much
attention; even the terminology is less popular, except among psychometric enthusiasts
and experts. In fact, the potential for common method variance and bias infiltrating in
research results is very high, especially in studies that use a single method, a single
source, and concurrent design, which are highly favored by psychological lecturers and
researchers in Indonesia. This paper is a critical review, exposing the debate and serious
impact regarding common method variance and bias, as well as procedures for detecting,
addressing and correcting its effects. The author hoped this paper contributes in filling the
gap in the literature, especially in Psychology Research Methodology text books in the
Indonesian language, so that psychological researches in Indonesia continue to increase
their quality and to have their better place in international publications.
Key words: CMV, psychological research, research methodology, journal editor
Abstrak
Persoalan common method variance & bias di Indonesia masih belum memperoleh
banyak perhatian; bahkan terminologinya pun kurang populer, kecuali di kalangan
peminat dan ahli psikometri. Padahal, potensi menyusupnya common method variance &
bias dalam hasil-hasil penelitian sangat tinggi, khususnya pada penelitian yang
menggunakan metode tunggal, sumber tunggal, dan desain konkuren, yang sangat
difavoritkan oleh para dosen dan peneliti psikologis di Indonesia. Tulisan ini merupakan
kajian kritis, yang memaparkan perdebatan dan dampak serius seputar common method
variance & bias, serta prosedur untuk mendeteksi, mengatasi dan mengkoreksi
dampaknya. Penulis berharap bahwa tulisan ini berkontribusi mengisi kesenjangan dalam
literatur, khususnya dalam buku-buku teks Metodologi Penelitian Psikologi berbahasa
Indonesia, sehingga penelitian psikologis di Indonesia semakin meningkat mutunya dan
semakin memperoleh tempat dalam publikasi internasional.
Kata-kata kunci: CMV, riset psikologi, metodologi penelitian, editor jurnal
I. Mendudukkan Persoalan Galat Dalam Penelitian
Dalam sebuah himpunan skor sebuah variabel, pada dasarnya ada dua jenis varians
yang dapat menjelaskannya, yakni varians sistematis (systematic variance) dan varians
galat (error variance). Apabila dilambangkan, pernyataan tersebut dapat dituliskan
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
sebagai Vt = Vs + Ve, di mana Vt adalah varians sistematis, Vs adalah varians sistematis,
dan Ve adalah varians galat.
Segala pengaruh, baik yang alami maupun yang buatan, yang membuat peristiwaperistiwa terjadi atau berlangsung menurut suatu arah tertentu yang dapat diramalkan
adalah pengaruh-pengaruh varians sistematis; sedangkan varians galat atau varians acak
adalah fluktuasi atau variasi ukuran yang terjadi karena kebetulan, yang muncul dari
ketidaktahuan peneliti, atau yang lolos dari identifikasi dan pengendalian peneliti
(Kerlinger, 2003). Analogi yang bagus untuk kedua varians in dinyatakan oleh Kerlinger
(2003, h. 130), sebagai berikut:
“Bayangkanlah sebuah kamus mahatebal yang menerangkan secara amat sangat rinci
segala sesuatu di dunia ini. Tiap kemunculan, tiap kejadian, tiap hal kecil, segala
ihwal besar, tercakup di situ. Untuk mengetahui dan memahami sebarang peristiwa
yang telah, sedang, dan akan terjadi, yang perlu kita lakukan hanyalah mencarinya di
kamus itu. Bagi kamus yang sesakti ini, jelaslah bahwa tidak ada kemunculan acak
(random) atau kemunculan karena kebetulan. Segala sesuatu dapat diterangkan.
Ringkasnya di sini tidak ada varians galat; semua varians bersifat sistematik.
Malangnya (atau, sebaliknya: mujurnya), kamus macam itu tidak ada. Banyak sekali
peristiwa dan kemunculan yang tidak dapat dijelaskan. Varians macam itulah yang
dinamakan varians galat.”
Dalam sebuah riset eksperimental, validitas internal (kekuatan hubungan sebab-akibat
antara variabel bebas dan variabel terikat) dapat terancam secara sistematis oleh antara
lain instrumentation effect (validitas dan reliabilitas alat ukur), experimenter effect
(atribut dan harapan eksperimenter), dan participant effect (atau demand characteristics,
yang membuat partisipan termotivasi untuk berespons tertentu) (Seniati, Yulianto, &
Setiadi, 2005).
Dalam psikometri, teori tes klasik, dikenal ekspresi X = T + E, di mana X adalah skor
tampak (observed score) partisipan, T adalah skor sesungguhnya dari partisipan (true
score), dan E adalah galat pengukuran (error score) (Azwar, 2003a). Sebagai contoh,
andaikata kita dapat mengetahui skor IQ si Ali yang sesungguhnya adalah T = 104,
sedangkan pada suatu tes inteligensi ia memperoleh angka X = 110, maka pengukuran
yang dilakukan oleh tes tersebut terhadap IQ Ali mengandung galat sebesar E = +6. Bila
pada kesempatan lain, Ali dites kembali dengan tes yang sama dan ternyata hasilnya
adalah X = 103, maka pada pengukuran yang kedua ini terjadi galat pengukuran sebesar E
= -1. Dapat pula terjadi, pada kesempatan lain, diperoleh X = 104, yang berarti galat
pengukuran terhadap IQ Ali adalah E = 0.
Pengukuran memang selalu mungkin mengandung galat (Azwar, 2003b). Pada
umumnya, pengukuran psikologis didasarkan pada sampel yang terbatas dan dilakukan
hanya sekali. Andaikata pengukuran dilakukan berulang kali, nampak bahwa hasilnya
tidak selalu konsisten dari waktu ke waktu dikarenakan berbagai faktor. Inkonsistensi
inilah yang merupakan sumber galat dalam pengukuran.
Viswanathan (2005) membuat Taksonomi Galat Pengukuran, sebagaimana nampak
dalam Lampiran 1. Pada dasarnya, galat dibagi menjadi dua macam, yakni, (1) galat acak
(random errors), dan (2) galat sistematis. Galat acak adalah jenis galat yang tidak
konsisten atau tidak berulang dengan magnitud atau arah yang sama kecuali oleh
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
kebetulan. Nunnally (1978, dalam Viswanathan, 2005) memberikan analogi seorang ahli
kimia yang mengalami penglihatan yang kabur. Ia membaca termometer secara tidak
tepat, dan sebagai konsekuensinya mencatat suhu agak lebih tinggi atau agak lebih
rendah sepanjang membaca termometer tersebut, yang menyusun sebuah distribusi galat.
Galat acak dapat bersifat (1) umum/generik (yang mempengaruhi sejumlah besar proporsi
partisipan penelitian), dan (2) idiosinkratik/khusus, yang mempengaruhi sejumlah kecil
proporsi partisipan.
Galat sistematis adalah setiap galat yang memiliki efek yang konsisten. Galat ini
dapat bersifat (1) aditif, dan (2) korelasional. Galat sistematis-aditif dapat disebabkan
sejumlah faktor, seperti pertanyaan yang mengarahkan (leading questions), bias
pewawancara, kategori respons yang tidak imbang, penilaian yang secara konsisten lunak
(lenient) atau keras (stringent) yang disebabkan pengkalimatan (wording) atau faktor lain,
atau kecenderungan untuk setuju atau tidak setuju. Faktor-faktor yang menyebabkan
respons secara konsisten cenderung ke satu arah pada lintas partisipan penelitian akan
menimbulkan galat sistematis aditif.
Yang lebih problematis daripada galat sistematis-aditif adalah galat sistematiskorelasional. Galat ini secara ajeg menurunkan (deflate) atau meningkatkan (inflate)
relasi antar dua atau lebih distribusi skor. Galat korelasional ini dibagi menjadi dua, yakni
(1) galat korelasional dalam-pengukuran (within measures), dan (2) galat korelasional
antar-pengukuran (across measures) (Viswanathan, 2005).
Galat pengukuran dalam-pengukuran merupakan galat sistematis-korelasional yang
terjadi antar butir-butir yang berbeda dalam sebuah pengukuran. Sebagai contoh galat
korelasional dalam-pengukuran: jika dalam sebuah skala, seluruh butirnya merupakan
butir favorable, responsnya dapat dipengaruhi oleh kecenderungan untuk setuju (Oleh
karena itu penting untuk menyeimbangkan jumlah butir favorable dan unfavorable).
Butir-butir sebuah skala nasionalisme seperti, “Saya mencintai barang-barang produksi
dalam negeri” juga dapat dipengaruhi oleh respons berdasarkan kecenderungan
merespons menurut norma sosial/kultural (social desirability). Galat korelasional dalampengukuran dapat dipengaruhi oleh “common method factor”, yang disebabkan oleh
penggunaan format respons skala yang serupa, atau penyelesaian butir-butir sebuah skala
yang letaknya berdekatan. Contoh dari galat korelasional dalam-pengukuran adalah galat
halo (halo error), yakni kecenderungan untuk memberikan respons yang serupa atau
konsisten antar butir dalam sebuah skala yang dianggap partisipan penelitian saling
berkaitan.
Galat korelasional antar-pengukuran merupakan galat sistematis-korelasional yang
terjadi antar pengukuran konstruk yang berbeda. Galat korelasional antar-pengukuran
dapat mengurangi atau meningkatkan korelasi antar variabel. Sejumlah faktor yang dapat
menyebabkan galat ini, antara lain penyelesaian sebuah skala yang dipengaruhi oleh
penyelesaian skala sebelumnya, yang disebabkan karena tebakan partisipan penelitian
(hypothesis guessing) mengenai hubungan antar skala pengukuran tersebut (“illusory
correlation”). Bahkan, serangkaian butir (sub-skala, bukan keseluruhan skala) dari skala
1 (misalnya skala kesadaran tentang nilai) dan serangkaian butir (sub-skala, bukan
keseluruhan skala) dari skala 2 (misalnya skala kesadaran tentang harga/price
consciousness) dapat “berbagi konteks yang sama” (share context), dan dengan demikian
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
meningkatkan galat korelasional antar-pengukuran. Teori implisit seseorang mengenai
dirinya (implicit theories about the self) juga dapat membuat partisipan berespons seturut
dengan asumsi-asumsinya mengenai dirinya, ketimbang menjawab berdasarkan diri
aktual mereka (Pace, 2010). Penggunaan metode yang sama antar pengukuran, misalnya
sama-sama skala yang pengisiannya secara tertulis (paper-and-pencil), juga dapat
meningkatkan korelasi antar variabel. Penggunaan instruksi yang sama untuk pengukuran
konstruk yang berbeda, atau penggunaan lembar halaman yang sama untuk dua konstruk
ukuran yang berbeda, juga dapat menyebabkan galat sistematis korelasional. Podsakoff,
MacKenzie, Lee, dan Podsakoff (2003) juga menjelaskan bahwa waktu dan lokasi dapat
menyebabkan kovariasi artifaktual. Pengukuran konkuren (concurrent), yang
berlangsung pada waktu dan tempat yang sama, untuk variabel prediktor dan variabel
kriteria dapat menyebabkan kovariasi sistematis karena konteks waktu dan lokasi itu
dapat meningkatkan kecenderungan respons berdasarkan memori yang muncul pada saat
itu. Keseluruhan contoh kasus yang dipaparkan di atas oleh penulis bukan hanya
merupakan spekulasi, melainkan telah dibuktikan melalui berbagai studi. Podsakoff,
MacKenzie, dan Podsakoff (2012), misalnya, melaporkan studi-studi meta-analisis yang
membuktikan eksistensi galat sistematis yang membiaskan hasil penelitian .
II. Kontroversi Seputar Common Method Variance (CMV)
Seluruh problem yang menyebabkan galat sistematis bersumber dari common method
variance (CMV) karena penggunaan metode yang bias. Faktor “metode” dalam hal ini
mengandung pengertian yang luas, mencakup medium, waktu, lokasi, setting penelitian,
format instrumen, dan prosedur pengukuran (Podsakoff, MacKenzie, & Podsakoff, 2012).
Seluruh uraian di atas menunjukkan adanya urgensi untuk mewaspadai galat
sistematis, karena di samping galat sistematis dapat menyebabkan perbedaan antara
korelasi yang tampak (observed correlation) dengan korelasi yang sesungguhnya (true
correlation), galat sistematis jelas lebih dapat diantisipasi dan/atau dikoreksi oleh peneliti
daripada galat acak. Kita patut mewaspadai dan menghindari common method variance
(CMV) yang sampai pada angka 20% sampai 40%, yang artinya korelasi yang ditemukan
20% sampai 40% lebih tinggi daripada korelasi yang sesungguhnya. Prevalensi metode
penelitian dalam psikologi yang berpotensi menimbulkan CMV diketahui cukup besar.
Bodner (2006) melakukan tinjauan literatur terhadap enam bidang psikologi dan
menemukan bahwa 76% dari studi yang ada hanya melibatkan metode pengukuran
tunggal (single measurement method). Ia juga menemukan bahwa dari studi-studi yang
melibatkan subjek manusia dan yang secara memadai menjelaskan prosedur
pengukurannya, 33% melibatkan kuesioner laporan diri (self report) sebagai satu-satunya
metode pengukuran.
Urgensi ini diperkuat lagi dengan kenyataan bahwa CMV telah banyak disepakati
sebagai ancaman terhadap validitas konstruk. Apabila validitas konstruk dari pengukuran
dalam sebuah penelitian psikologi dipertanyakan, maka relasi antar variabel atau teori
psikologi yang dibangun oleh peneliti juga layak dipertanyakan. Boleh jadi, karena tidak
konsen terhadap CMV, model-model teoretis yang nampaknya didukung oleh data
empiris sebenarnya tidak valid. Sebaliknya, teori-teori yang diabaikan karena tidak
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
didukung oleh data empiris justru bisa jadi merupakan teori yang baik, bahkan boleh jadi
yang terbaik di bidangnya.
Kendati demikian, para ahli tidak selalu sepakat mengenai efek CMV. Spector (1987,
h. 438, 442; 2006), misalnya, meninjau sepuluh penelitian untuk memeriksa efek CMV
dan menemukan bahwa terdapat sedikit bukti bahwa method variance merupakan sebuah
masalah yang membiaskan hasil penelitian. Jadi, menurutnya, masalah common methods
pada kenyataannya merupakan mitos. Williams dan Anderson (1994) menunjukkan
sebuah model variabel laten untuk menguji efek social desirability dan afektivitas negatif.
Meskipun mereka menemukan bukti adanya method effects, penelitian mereka
menyimpulkan bahwa hal tersebut tidak secara signifikan mempengaruhi parameterparameter model relasi struktural.
Reio (2010) juga mempertanyakan, apabila penelitian harus menggunakan multimetode (sebagai solusi atas metode tunggal), maka penelitian-penelitian kuantitatif
eksploratori dalam organisasi, di mana pertimbangan waktu dan biaya dapat secara serius
membatasi pilihan peneliti untuk metode pengumpulan data, dapat dipandang rendah
sebagai sebuah riset theory-building yang valid; meskipun peneliti telah mengambil
langkah untuk meminimalisasikan potensi bias CMV.
III. Efek CMV, Deteksinya, dan Implikasinya Bagi Riset Yang Baik
Terlepas dari kontroversinya, mayoritas peneliti dan reviewer jurnal memaklumi
bahwa CMV mengancam validitas penelitian. Oleh karena itu, berikut ini disajikan secara
lebih elaboratif efek CMV, bagaimana mendeteksinya, dan implikasinya.
Relasi atau hubungan yang sesungguhnya (true relationship) antar dua atau lebih
konstruk atau variabel tercermin dalam kovariasi antar “trait” yang dicakup oleh masingmasing konstruk tersebut. Namun demikian, sebagaimana diungkapkan di atas, hasil skor
sebuah skala atau tes tersusun atas varians galat acak dan varians galat sistematis. Varians
galat sistematis itu sendiri terdiri atas varians trait (yang apabila diketahui, merupakan
true score) dan varians metode. Hal-hal yang disebut sebagai galat sistematiskorelasional pada bagian sebelumnya itu tergolong dalam varians metode (method
variance). Sesuai dengan namanya, varians metode merupakan varians galat sistematis
yang berkaitan dengan pendekatan pengukuran (measurement approach) ketimbang
konstruk itu sendiri (Campbell & Fiske, 1959; Cronbach & Meehl, 1955). Apabila
varians galat sistematis ini membiaskan hasil penelitian, maka peneliti harus
mengeliminasinya, atau secara analitis mengontrol bias tersebut sebelum menarik
kesimpulan dari hasil penelitian mereka. Hubungan antara CMV dengan Common
Method Bias (CMB) adalah bahwa CMB merupakan magnitud diskrepansi
(kekuatan/besarnya kesenjangan) antara relasi yang tampak (observed correlation)
dengan relasi yang sesungguhnya (true correlation) antar konstruk/variabel yang
dihasilkan oleh CMV.
CMV dapat meningkatkan korelasi yang tampak dibandingkan dengan korelasi yang
sesungguhnya. Sebagai contoh, jika keyakinan populer menyatakan bahwa ketertarikan
sosial (social attraction) secara kuat berhubungan dengan frekuensi komunikasi yang
lebih tinggi; maka apabila metode penelitian kita memungkinkan social desirability dan
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
konsistensi kognitif menyusup, hal ini berarti CMB secara positif akan membiaskan
korelasi yang tampak. Wawancara tunggal yang mencoba menilai ketertarikan sosial dan
frekuensi komunikasi akan mendorong partisipan penelitian untuk memberikan respons
yang sesuai dengan kepercayaan populer itu (socially desirable) dan secara kognitif
konsisten, bahwa keduanya berkorelasi positif. Namun demikian, jika data ketertarikan
sosial dijaring dengan self-reports dan data frekuensi komunikasi dijaring melalui
wawancara, penggunaan metode ganda (multiple methods) seperti ini mengurangi
kemungkinan CMB, dan korelasi antar kedua variabel itu kemungkinan menjadi lebih
lemah.
Pertanyaan berikutnya adalah bagaimana mengetahui tingkat CMB (CMB level). Ada
beberapa cara yang dapat dilakukan (Doty & Glick, 1998). Cara pertama, variasi yang
tampak harus dipecah-pecah menjadi varians trait, metode, dan varians acak.
Sehubungan dengan cara pertama ini, ada tiga komplikasi: (1) Cara ini tidak dapat
dilakukan pada penelitian mono- atau single-method (metode tunggal) seperti pada
penelitian yang hanya menggunakan kuesioner Likert; (2) harus memilih teknik
pemecahan yang tepat; biasanya adalah analisis faktor konfirmatori (confirmatory factor
analysis/CFA) untuk studi multi-metode; (3) pilih model CFA; biasanya menggunakan
CFA multiplikatif karena dapat menguji efek pertumbuhan (incremental effects) dari
interaksi multiplikatif antara traits dengan methods dalam analisis MTMM (multi-traitmulti-method). Perlu diingat bahwa MTMM sendiri tidak menghilangkan methods
variance dalam pengukuran konstruk, melainkan MTMM menyediakan peneliti sebuah
mekanisme guna mengendalikan potensi CMB.
Cara kedua, menilai perubahan dalam korelasi antar konstruk dengan menghapus
komponen varians metode. Menurut Doty dan Glick (1998), meskipun CMB tidak dapat
terjadi tanpa CMV, adanya CMV tidak serta merta berarti ada CMB. Sayangnya, menurut
mereka, kebanyakan peneliti berfokus pada CMV, namun tidak mengetahui tingkat CMB.
Untuk menilai tingkat CMB, relasi antar konstruk/variabel harus diperiksa sebelum dan
sesudah pemecahan varians sistematis menjadi varians trait dan varians metode. CMB
adalah selisih antara relasi antar variabel sebelum dan setelah menghapus komponen
varians metode.
Magnitud atau besarnya CMB sesungguhnya merupakan fungsi dari (1) perbedaan
antar metode, dan (2) kekonkretan konstruk.
Sebagaimana diketahui sebelumnya, keserupaan antar metode dapat meningkatkan
kovariasi antar metode, dan dengan demikian meningkatkan kecenderungan hasil korelasi
yang bias. Metode yang berbeda mencakup tiga dimensi, yakni (Doty & Glick, 1998): (1)
perbedaan teknik pengukuran; (2) perbedaan sumber data; dan (3) jeda waktu. Perbedaan
dalam teknik pengukuran mencakup format respons yang berbeda-beda, perbedaan
jangkar skala (misalnya, antara cinta dan benci, antara suka dan tidak suka; dalam hal ini
cinta, benci, suka, tidak suka adalah jangkar skala), pengkalimatan butir dan penggunaan
prosedur pengumpulan data (kuesioner, atau wawancara) yang berbeda. Namun demikian,
semua hal ini sebaiknya sedapat mungkin dipandu oleh teori. Jangan mengubah makna
sebuah konstruk dan mengorbankan validitas alat ukur hanya demi mengurangi CMB
(Podsakoff, MacKenzie, Lee, & Podsakoff, 2003; Reio, 2010)
Kalau diurutkan nilainya; maka urutannya sebagai berikut:
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
0: Penelitian yang menggunakan metode tunggal (single method)
1: Penelitian yang menggunakan format-format respons yang berbeda atau jangkarjangkar skala yang berbeda, namun dengan pengkalimatan butir yang sama dan
prosedur pengumpulan data yang sama.
2: Penelitian yang menggunakan pengkalimatan butir yang berbeda namun dengan
prosedur pengumpulan data yang sama.
3: Penelitian yang mengandalkan prosedur pengumpulan data yang berbeda.
Perbedaan sumber data mencerminkan perbedaan dalam proses penilaian kognitif
dan/atau persepsi antar individu. Kalau diurutkan nilainya; maka urutannya sebagai
berikut:
0: penelitian yang menggunakan sumber data tunggal.
1: penelitian yang menggunakan sumber data majemuk (multiple raters), misalnya
kombinasi antara sejawat, pengamat, atau informan ganda yang memberikan
rating pada objek atau konstruk yang sama.
2: penelitian yang mengkonfrontasikan self reports (partisipan) dengan multiple
independent rater reports (di luar partisipan).
Perbedaan interval waktu dalam pengumpulan data merupakan dimensi ketiga. Waktu
yang lebih lama dalam pengumpulan data mengurangi kemungkinan partisipan secara
intensional (niatan) membiaskan respons untuk menjaga konsistensi kognitifnya dengan
jawaban-jawabannya sebelumnya. Jika pertanyaan yang sama ditanyakan dua bulan
kemudian, banyak partisipan lupa akan respons awalnya. Masalah terjadi jika ada suatu
intervensi atau treatment yang berlangsung antar waktu pengumpulan data (contoh di
atas: dalam dua bulan tersebut), baik intervensi yang disengaja maupun yang tidak
disengaja. Jadi, penggunaan interval waktu pengumpulan data hanya tepat apabila kita
dapat menjamin asumsi kita bahwa true score (skor sesungguhnya) dari konstruk itu pada
diri partisipan tidak berubah karena adanya periode intervensi tertentu.
Sehubungan dengan kekonkretan konstruk, terdapat bukti-bukti bahwa tingkat
methods variance itu bervariasi menurut kekonkretan konstruk yang diukur. Semakin
konkret sebuah konstruk, semakin kurang kerentanan mengalami CMB. Konstruk yang
konkret dan spesifik (misalnya: jumlah absensi karyawan) membutuhkan relatif kecil
unsur penilaian (judgment), sedangkan konstruk yang abstrak dan lebih umum (seperti
kepuasan hidup) membutuhkan penilaian yang lebih kompleks. Apabila penilaian yang
kompleks menghasilkan asesmen yang terdistorsi mengenai sebuah konstruk, maka
varians sistematis telah menyusup. Di samping itu, partisipan membutuhkan lebih banyak
pemrosesan kognitif dalam menilai sebuah konstruk yang abstrak. Hal ini memungkinkan
terjadinya proses sosial psikologis yang mempengaruhi laporan diri partisipan. Proses itu
misalnya menjaga konsistensi kognitif. Proses tersebut menyebabkan meningkatnya
kovariasi antar varians galat sistematis, sehingga meningkatkan bias dalam relasi yang
tampak antar konstruk.
Hal yang penting dijawab dari efek common methods adalah apakah ada interpretasi
atau teori substantif untuk menjelaskan efek CMV itu. Pada umumnya CMV dapat
dijelaskan sebagai proses sosial psikologis, seperti konsistensi kognitif, atau proses yang
diakibatkan oleh social desirability (yakni kebutuhan akan persetujuan dan penerimaan
sosial, dan keyakinan bahwa hal ini dapat dicapai dengan tingkah laku atau respons yang
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
secara kultural dapat diterima dan dianggap tepat; Crowne & Marlowe, 1964), leniency
(yakni menilai orang-orang yang dikenal baik dengan penilaian yang lebih tinggi/lebih
baik dari yang ada; Guilford, 1954), atau afektivitas negatif (negative affectivity).
Harrison, McLaughlin, dan Coalter (1996) pernah membuktikan adanya efek konteks
terhadap proses kognitif yang bias pada partisipan yang mengisi kuesioner self-report,
yakni dengan menggunakan protokol verbal “think aloud”.
Apabila ada interpretasi atau teori substantif yang mampu menjelaskan CMV, namun
tidak konsisten dengan model teoretis yang sedang dibangun oleh peneliti dan malah
justru konsisten dengan sebuah model teoretis tandingannya, maka model teoretis
tandingan itu lah yang memperoleh dukungan data empiris.
Di atas semua hal tersebut, perlu dipertimbangkan juga pernyataan Spector (2006)
bahwa tidak semua solusi untuk mengatasi CMV itu mungkin atau praktis dilaksanakan
dalam setiap kasus. Sebagai contoh, penelitian longitudinal (yang menggunakan jeda
waktu) dan multi-metode dapat menjadi sangat mahal; dan laporan diri (self-report)
kadang-kadang merupakan pilihan yang paling tepat, seperti misalnya ketika sedang
meneliti variabel-variabel afektif, sikap, dan perseptual.
IV. Efek CMV Dalam Model Regresi
Uraian di atas banyak membahas dampak CMV/CMB terhadap korelasi antar dua
variabel. Pertanyaan yang muncul adalah bagaimana efek CMV terhadap regresi.
Dalam sebuah model regresi berganda, galat sistematis dalam-pengukuran sebuah
variabel prediktor, apabila tidak dikontrol, juga dapat mendistorsi estimasi efek sejumlah
variabel prediktor lainnya yang sesungguhnya bebas galat terhadap variabel kriteria;
bahkan meskipun galat itu tidak “berbagi” dengan variabel kriteria atau dengan variabel
prediktor yang lain (Bollen, 1989).
Siemsen, Roth, dan Oliveira (2010) lebih rinci memberikan bukti-bukti statistik
mengenai dampak CMV pada model regresi, baik pada regresi linear, kuadratik, dan efek
interaksi regresi. Namun, analisis mereka dibatasi pada model regresi yang berasal dari
data yang diambil dengan metode tunggal. Dalam penelitian mereka ditemukan sejumlah
hal. Pertama, dalam model regresi linear sederhana bivariat, CMV menaikkan tingkat
relasi yang tampak (observed relationship) bilamana CMV memiliki efek yang simetrik
atau setara terhadap kedua variabel yang tampak (observed variables). Namun CMV
menurunkan tingkat relasi yang tampak bilamana CMB memiliki efek asimetrik terhadap
kedua variabel yang tampak.
Kedua, dalam relasi linear multivariat, CMB memberikan estimasi penurunan slope
regresi bilamana semakin banyak jumlah variabel yang diukur yang mengalami CMV
dimasukkan ke dalam estimasi. Ketiga, CMV menurunkan (atenuasi) estimasi efek
regresi kuadratik. Keempat, CMV juga menurunkan estimasi efek interaksi dalam regresi.
V. Pandangan Editor Jurnal Tentang CMV dan Pilihan Prosedur Remediasi
Studi yang dilakukan Pace (2010) sangat penting untuk diketahui oleh para peneliti
yang hendak mempublikasikan hasil penelitiannya dalam jurnal ilmiah bereputasi.
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
Penelitian tersebut dilakukan terhadap 225 anggota Dewan Editor Journal of Applied
Psychology (JAP), Journal of Organizational Behavior (JOB), dan Journal of
Management (JOM). Dalam melaksanakan perannya sebagai peninjau (reviewer),
sebanyak 49,5% dari editor menyatakan CMV sebagai masalah penelitian, sedikitnya
pada sebagian (50%) dari naskah penelitian yang ditinjau. Sebanyak 32,5% reviewer
menyatakan setuju atau sangat setuju bahwa mereka akan merekomendasikan penolakan
artikel yang memiliki masalah CMV; sedangkan 32,9% tidak setuju atau sangat tidak
setuju mengeluarkan rekomendasi itu. Sisanya, 34.7% menjawab netral (“Neither agree
nor disagree”). Artinya, memang ada penelitian tertentu yang lebih rentan terhadap efek
CMV ketimbang penelitian yang lain. Namun demikian, menurut mereka, CMV
bukanlah alasan semata-mata untuk menolak naskah; melainkan CMV berkombinasi
dengan faktor-faktor lain, seperti jumlah partisipan penelitian, level jurnal, ketersediaan
pengukuran dan metode lain yang seyogianya dapat digunakan untuk menghindari CMV
pada tahap desain penelitian, adanya tumpang tindih konseptual antar konstruk yang
berkaitan dengan validitas diskriminan yang tidak memadai, ukuran pengaruh (size of the
effects), dan kontribusi teoretis potensial dari naskah tersebut.
Mayoritas editor (84,6%) lebih menganjurkan para peneliti untuk proaktif
mengantisipasi CMV (dalam desain penelitian) sebelum data dikumpulkan daripada
secara reaktif mengkoreksi CMV (melalui remediasi statistik) setelah data penelitian
dikumpulkan.
Sebagaimana juga sudah dibahas sebelumnya, para editor sepakat bahwa solusi
rancangan/desain penelitian itu adalah dengan menggunakan sumber data yang beragam
(misalnya jika ingin mengetahui apakah ada hubungan antara kepuasan kerja dengan
kinerja; karyawan mengisi skala self-report tentang kepuasan kerja, dan
penyelia/supervisornya memberikan penilaian tentang kinerja), memisahkan waktu
pengumpulan data variabel independen dan variabel dependen (meskipun harus
mengantisipasi efek maturasi, dan mewaspadai meningkatnya Type II Error),
menggunakan diari dan teknik event sampling (penyampelan peristiwa) guna
mengumpulkan self-reports selekasnya, mempertimbangkan secara hati-hati
pengkalimatan dan format pertanyaan, mempertimbangkan penelitian laboratorium dan
kuasi-eksperimental bilamana tepat/sesuai, menggunakan rancangan cross-lagged, dan
secara khusus menghindari penggunaan dua atau lebih faktor yang dapat meningkatkan
korelasi (misalnya sumber data yang sama dan sekaligus metode yang sama). Reio
(2010) memberikan saran tambahan sehubungan dengan desain penelitian yang
mengurangi efek CMV, yakni (1) Pastikan bahwa semua pertanyaan atau pernyataan
yang harus direspons partisipan penelitian itu membutuhkan upaya yang setara (misalnya
dengan menghindari pengkalimatan pertanyaan yang kompleks atau double-barreled
questions), (2) berikan instruksi yang jelas dengan mencakup juga definisi-definisi
peristilahan guna menghindari ambiguitas atau kebingungan, dan (3) seimbangkan
(counterbalance) urutan pertanyaan untuk variabel prediktor dan variabel kriteria.
Nederhof (1985) memberikan saran untuk menggunakan rating untuk social desirability
atau demand characteristics untuk tiap-tiap pertanyaan guna mengenali butir-butir yang
harus dibuang atau dikalimatkan ulang. Tourangeau, Rips, dan Rasinski (2000)
menyarankan untuk menghindari penggunaan nilai skala numerik bipolar (misalnya, -3
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
sampai +3) dan menyediakan label verbal untuk titik tengah skala. Podsakoff, MacKenzie,
dan Podsakoff (2012) memunculkan istilah “psychological separation between predictor
and criterion”, yakni penggunaan pengantar atau cover story yang tepat untuk
mengurangi saliensi (kemenonjolan) hubungan antara variabel prediktor dan variabel
kriteria yang hendak diukur oleh peneliti; hal ini untuk melengkapi temporal separation
(pemisahan waktu pemberian pengukuran variabel prediktor dan variabel kriteria) yang
disebutkan Pace (2010).
Lebih lanjut, Kammeyer-Mueller, Steel, dan Rubenstein (2010) menunjukkan bahwa
penggunaan rancangan pengukuran dari sumber data yang berbeda (“distinct sources”
design/DS, misalnya sumber X/diri untuk pengukuran variabel prediktor, dan sumber
Y/orang lain untuk pengukuran variabel kriteria) guna mengatasi ancaman CMV justru
menimbulkan masalah baru, yang disebutnya sebagai “kontaminasi dan defisiensi
pengukuran”. Mereka menunjukkan dengan menggunakan data simulasi bahwa
penggunaan data dari sumber-sumber atau peristiwa pengukuran yang berbeda dapat
membiaskan estimasi prediktor, sedikitnya dengan bobot masalah yang sama dengan
CMV. Alasan yang diberikan Kammeyer-Mueller, dkk. adalah karena setiap sumber
memiliki sudut pandang sendiri-sendiri yang tidak dapat mencakup semua varians yang
relevan dalam konstruk yang sedang diteliti. Self-report (atau: common source
design/CS) memang memiliki kelemahan, khususnya bilamana partisipan secara sengaja
mempengaruhi skor-skornya agar konsisten satu sama lain, atau bilamana partisipan tidak
cukup tahu tentang bagaimana seyogianya menilai perilaku dan motif-motif mereka
sendiri secara akurat. Namun demikian, others-report juga memiliki bias-bias
atribusional dan kognitif yang sama dengan self-reports. Oleh karenanya, upaya untuk
mengkorelasikan kedua ukuran tersebut (dari self-report dan others-report) akan
mengandung kelemahan-kelemahan. Kammeyer-Mueller, dkk (2010). memberikan
sejumlah argumen atas hal ini (kelebihan dan kekurangan self-report dan others-report)
berdasarkan hasil-hasil penelitian empiris sebagai berikut:
Pertama, konstruk-konstruk yang menjadi dasar dalam penelitian kepribadian dan
sikap merupakan kombinasi dari keadaan-keadaan internal dan tingkah laku-tingkah laku
yang teramati secara eksternal. Self-report dipengaruhi oleh penyajian diri (selfpresentation) dan efek suasana hati; sedangkan other-report tidak dapat mencerminkan
perasaan individu yang tak terekspresikan.
Kedua, dalam bidang psikologi klinis, ketika melakukan diagnosis individual
terhadap anak-anak yang mengalami ADHD atau depresi, para ahli merekomendasikan
penggunaan informan ganda (multiple informants) lintas setting yang berbeda-beda, serta
metode ganda.
Ketiga, dalam bidang psikologi industri dan organisasi, studi-studi yang
menggunakan multi-pengamat terhadap konstruk kinerja (performance) memperlihatkan
tingkat kesepakatan (interobserver agreement) yang rendah. Hal ini berarti bahwa tiaptiap pengamat sangat mungkin tidak mampu menangkap seluruh aspek dari kinerja. Jadi
multiple longitudinal measures disarankan dalam hal ini.
Keempat, dalam praktik kedokteran, pengandalan pada laporan dokter semata-mata,
atau pengandalan pada laporan pasien semata-mata, atau pengandalan pada laporan
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
anggota keluarga semata-mata, dapat menimbulkan konsekuensi yang serius bagi
penilaian terhadap sistem medis, kinerja dokter, atau efektivitas sebuah terapi.
Kelima, dalam bidang psikologi pendidikan, asesmen terhadap proses belajar dan
kompetensi siswa seringkali dapat bervariasi seturut faktor-faktor situasional, format
respons, atau instruksi pembelajaran. Harapan-harapan tentang lingkungan belajar dapat
bervariasi antara siswa dengan orangtuanya. Oleh karena itu multi-perspektif dibutuhkan
daripada self-reports.
Sebagai solusinya, Kammeyer-Mueller, dkk. menyarankan untuk menggunakan
multisource design (MS), dalam hal mana semua variabel/konstruk, baik variabel
independen maupun variabel dependen, diambil datanya dari berbagai pihak (baik diri
sendiri maupun pengamat/informan lain), sebagaimana nampak dalam Gambar 1.
Meskipun para editor lebih memfavoritkan rancangan penelitian yang mampu
mengantisipasi dampak CMV, terdapat sejumlah peneliti, misalnya Richardson,
Simmering, dan Sturman (2009), juga menyarankan untuk menyediakan post hoc
evidence dengan teknik-teknik statistik setelah pengumpulan data (statistical correction),
karena (1) prosedur-prosedur dalam desain penelitian untuk menghindari CMV boleh jadi
bersifat a priori, atau karena (2) peneliti tidak dalam konteks tertentu tidak dapat
menghindari data dengan sumber yang sama dan dengan metode pengumpulan yang
sama.
Gambar 1. Desain Multisumber
Untuk remediasi statistik terhadap ancaman CMV, Podsakoff, MacKenzie, Lee, dan
Podsakoff (2003) memperlihatkan teknik-teknik statistik untuk melakukannya, yang
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
masing-masing memiliki kelebihan dan kekurangan. Teknik-teknik itu secara ringkas
adalah sebagai berikut:
(1) Harman’s single-factor test; prinsipnya adalah memasukkan semua butir dari semua
konstruk penelitian dalam sebuah analisis faktor guna menentukan apakah mayoritas
varians dapat dijelaskan oleh satu faktor umum.
(2) Korelasi parsial; prinsipnya adalah konstankan (partialling out, holding constant) (a)
social desirability atau afektivitas (positif maupun negatif), atau (b) unrelated
“marker variable”, atau (c) a general methods factor, sebagai wakil dari method
variance. Parameter struktural diperiksa baik dengan maupun tanpa ukuran-ukuran
social desirability dan afektivitas guna menentukan efek potensial dari keduanya
terhadap relasi yang tampak.
(3) Kontrol efek faktor metode laten yang terukur (Controlling for the effects of a directly
measured latent methods factor);
(4) Kontrol efek faktor metode laten yang tak terukur (Controlling for the effects of an
unmeasured latent methods factor);
(5) Multiple method factors (CFA of MTMM model). Hal ini sudah dibahas dalam uraian
Doty dan Glick (1998) di atas, mengenai pemecahan variasi respons yang tampak
menjadi varians trait, metode, dan varians acak.
Contoh visualisasi dari kelima model nampak pada Gambar 2, dari kiri-atas ke kananbawah. Apabila hendak mendalaminya, dipersilakan membaca artikel Podsakoff,
MacKenzie, Lee, dan Podsakoff (2003).
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
Gambar 2. Visualisasi teknik remediasi statistik terhadap ancaman CMV
VI. Penutup
Peneliti psikologi harus mewaspadai CMV dan mengatasinya sedapat mungkin guna
memperoleh hasil penelitian yang bertanggung jawab. Hal ini sesuai dengan Prinsip B
dalam Kode Etik Psikologi, yakni “Psikolog dan/atau Ilmuwan Psikologi senantiasa
menjaga ketepatan, kejujuran, kebenaran dalam keilmuan, pengajaran, pengamalan dan
praktik psikologi” (Himpunan Psikologi Indonesia, 2010). Strategi untuk mengatasi CMV
tetap harus bertujuan untuk menjawab pertanyaan penelitian. Tidak ada satu metode
tunggal untuk mengatasi masalah CMV dan CMB karena solusinya bergantung pada
jenis varians metode yang digunakan serta feasibility atau aplikabilitas dari solusi yang
ditawarkan.
Di samping faktor-faktor metode yang sudah diuraikan pada bagian sebelumnya,
penting untuk menilai kemampuan (abilitas) dan motivasi partisipan penelitian dalam
merespons. Dalam hal ini, kita patut memperhatikan pendapat Podsakoff, MacKenzie,
dan Podsakoff (2012), bahwa dapat terjadi kondisi-kondisi di mana partisipan penelitian
lebih bertindak “satisficing” (sekadar memenuhi “tugas” merespons pengukuran)
daripada “optimizing” (berupaya sebaik mungkin untuk merespons pengukuran sesuai
dengan keadaan dirinya). Kondisi-kondisi itu adalah bilamana partisipan memang tidak
dapat memberikan respons yang akurat (sebagai fungsi dari abilitas yang mereka miliki
dan kesulitan tugas pengukuran itu sendiri) dan/atau partisipan tidak berkehendak
merespons pengukuran (sebagai fungsi dari motivasi; misalnya responden merasa
terancam self-esteem-nya oleh isi alat ukur, atau karena ragu mengenai privasi data
mereka). Dalam kondisi-kondisi seperti ini, CMB mudah menyusup, dan langkahlangkah mengatasinya perlu diambil, baik selama prosedur pengukuran (khususnya
mengenai masalah motivasi) maupun dengan menggunakan remediasi statistik
(khususnya mengenai masalah abilitas).
Potensi dan estimasi efek common method variance and bias dalam pengukuran
psikologi yang menggunakan kuesioner daring (online questionnaire) dapat menjadi
bahan studi metodologis.
Daftar Rujukan
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
Azwar, S. (2003a). Reliabilitas dan validitas. Yogyakarta: Pustaka Pelajar.
Azwar, S. (2003b). Dasar-dasar psikometri. Yogyakarta: Pustaka Pelajar.
Bodner, T. E. (2006). Designs, participants, and measurement methods in psychological
research. Canadian Psychology, 47(4), 263–72.
Bollen, K. A. (1989). Structural equations with latent variables. New York: Wiley.
Campbell, D. T., & Fiske, D. (1959). Convergent and discriminant validation by the
multitrait-multimethod matrix. Psychological Bulletin, 56, 81–105.
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests.
Psychological Bulletin, 52, 281-302.
Crowne, D., & Marlowe, D. (1964). The approval motive: Studies in evaluative
dependence. New York: Wiley.
Doty, H., & Glick, W. H. (1998). Common methods bias: Does common methods
variance really bias results? Organizational Research Methods, 1(4), 374-406.
Guilford, J. P. (1954). Psychometric methods (2nd ed.). New York: McGraw-Hill.
Harrison, D. A., McLaughlin, M. E., & Coalter, T. M. (1996). Context, cognition, and
common method variance: Psychometric and verbal protocol evidence.
Organizational Behavior and Human Decision Processes, 68(3), 246-261.
Himpunan Psikologi Indonesia. (2010). Kode etik psikologi Indonesia. Jakarta: Pengurus
Pusat HIMPSI.
Kammeyer-Mueller, J., Steel, P. D. G., & Rubenstein, A. (2010). The other side of
method bias: The perils of distinct source research designs. Multivariate Behavioral
Research, 45, 294–321.
Kerlinger, F. N. (2003). Asas-asas penelitian behavioral (Landung R. Simatupang,
Penerjemah). Yogyakarta: Gadjah Mada University Press.
Nederhof, A. J. (1985). Methods of coping with social desirability bias: A review.
European Journal of Social Psychology, 15, 263–280.
Pace, V. L. (2010). Method variance from the perspectives of reviewers: Poorly
understood problem or overemphasized complaint? Organizational Research
Methods, 13(3), 421-434.
Podsakoff, P M., MacKenzie, S. B., & Podsakoff, N. P. (2012). Sources of method bias in
social science research and recommendations on how to control it. Annual Review of
Psychology, 63, 539-569.
Podsakoff, P. M., MacKenzie, S. B., Lee, J-Y., & Podsakoff, N. P. (2003). Common
method biases in behavioral research: A critical review of the literature and
recommended remedies. Journal of Applied Psychology, 88(5), 879-903.
Reio, T. G. (2010). The threat of common method variance bias to theory building.
Human Resource Development Review, 9(4), 405-411.
Richardson, H. A., Simmering, M. J., & Sturman, M. C. (2009). A tale of three
perspectives: Examining post hoc statistical techniques for detection and correction of
common method variance. Organizational Research Methods, 12(2), 762-800.
Seniati, L., Yulianto, A., & Setiadi, B. N. (2005). Psikologi eksperimen. Jakarta: Indeks.
Siemsen, E., Roth, A., & Oliveira, P. (2010). Common method bias in regression models
with linear, quadratic, and interaction effects. Organizational Research Methods,
13(3), 456-476.
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
Spector, P. E. (1987). Method variance as an artifact in self-reported affect and
perceptions at work: Myth or significant problem? Journal of Applied Psychology, 72,
438-443.
Spector, P. E. (2006). Method variance in organizational research: Truth or urban legend?
Organizational Research Methods, 9, 221-232.
Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The psychology of survey response.
Cambridge, England: Cambridge University Press.
Viswanathan, M. (2005). Measurement error and research design. London: SAGE
Publications.
Williams, L. J., & Anderson, S. E. (1994). An alternative approach to methods effects by
using latent-variable models: Applications in organizational behavior research.
Journal of Applied Psychology, 79, 323-331.
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
Lampiran 1: Taksonomi Galat (Viswanathan, 2005)
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.
___________________________
Cara mengutip artikel lengkap:
Juneman. (2013). Common method variance & bias dalam penelitian psikologis. Jurnal
Pengukuran Psikologi dan Pendidikan Indonesia, 2(5), 364-381.