Membaca Riset Pendidikan: Pelajaran dari PISA Soal Kesenjangan Pendidikan

Kemarin Prof. Klieme, advisor postdoc saya, mengirimkan email yang merujuk pada sebuah artikel berjudul "Inequity and Excellence in Academic Performance: Evidence From 27 Countries." Artikel ini mencerminkan best practice dalam analisis data asesmen internasional skala besar seperti PISA, tulisnya di email. Tentu saja ini kode agar saya bukan hanya membaca, tapi juga mempelajari lebih dalam metode yang digunakan penelitian tersebut.

Berikut beberapa hal menarik yang saya dapatkan dari pembacaan awal:

1.HIPOTESIS: HARUSKAH SELALU SEJALAN DENGAN TEORI?

Penelitian yang baik selalu merujuk pada teori yang relevan. Dalam hal ini, teori yang dirujuk berbicara mengenai perbaikan mutu pendidikan pada level sistem/negara. (Mutu di sini diartikan secara sempit sebagai rata-rata prestasi akademik siswa di sebuah negara.) Menurut teori tersebut, proses belajar-mengajar perlu disesuaikan dengan kebutuhan dan kemampuan siswa. Untuk siswa yang lebih berbakat akademik (berpikir abstrak, konseptual, dst.), sekolah perlu memberi tantangan akademik yang tinggi. Siswa yang kurang berbakat akademik sebaiknya fokus pada bidang-bidang yang lebih praktis. Dalam praktik, gagasan ini kerap diterjemahkan menjadi pemisahan jalur sekolah akademik dan vokasi.

Yang menarik, artikel tidak menyajikan penelitian yang hendak mencari bukti pendukung bagi teori tersebut. Sebaliknya, penelitian dalam artikel ini dilakukan untuk menggugurkan teori tersebut. Ini dilakukan dengan "menembak" salah satu asumsi kunci yang melandasi teori tersebut, yakni asumsi adanya trade off antara mutu/excellence (prestasi rata-rata) dan kesenjangan (variasi prestasi antar siswa). Prestasi akademik yang tinggi mau tak mau harus dicapai dengan berfokus pada siswa yang memang punya potensi akademik baik. Dengan demikian, peningkatan prestasi akademik akan meningkatkan kesenjangan alias jarak antara kelompok siswa yang berprestasi tinggi dengan kelompok di bawahnya. Asumsi inilah yang diuji, dan diharapkan (dihipotesiskan) keliru. 

Jadi, riset tidak selalu harus berupaya mengkonfirmasi teori. Niat untuk menggugurkan teori itu sah-sah saja sebagai tujuan penelitian. Justru di sinilah kekhasan ilmu pengetahuan (sains). Dalam sains, teori memang harus bisa dibuktikan keliru, dan penelitian ilmiah justru perlu membuka kemungkinan terjadinya falsifikasi. Ketika ini terjadi, maka tugas selanjutkan adalah mengembangkan teori baru yang dapat menjelaskan data dan fenomena.

2. DATA SEKUNDER LEBIH RENDAH DERAJATNYA DIBANDING DATA PRIMER?

Artikel ini menganalisis data dari PISA (Program for International Student Assessment), survei tiga-tahunan yang dilakukan pada siswa kelas 9-10 di puluhan negara sejak tahun 2000. Indonesia termasuk negara yang menjadi peserta setia survei PISA. Untuk artikel ini, para peneliti menggunakan data PISA tahun 2000, 2003, 2006, 2009, dan 2012 dari 30 negara maju. Data PISA disediakan oleh OECD (penyelenggara PISA) secara daring di laman yang bisa diakses oleh siapa pun. Artinya, para penulis artikel ini menggunakan data yang dikumpulkan oleh peneliti/lembaga lain, alias data sekunder.

Apakah penggunaan data sekunder mengurangi nilai penelitian dan artikel ini? Menurut saya sih, tidak serta merta demikian. Penelitian dengan data sekunder memiliki plus dan minus, tapi demikian juga dengan penelitian data primer. Yang jelas, disertasi doktor berbagai universitas top dunia cukup banyak yang menggunakan data sekunder. Jurnal-jurnal ilmiah kelas dunia tidak alergi dengan penelitian data sekunder (artikel ini contohnya). Ini berbeda dengan praktik banyak program studi di perguruan tinggi Indonesia yang kerap mengharuskan mahasiswanya menggunakan data primer untuk riset akhir mereka.

3.  METODE ANALISIS 

Ini bagian yang paling sulit dipahami dari artikel ini. Analisis data skala besar seperti PISA, apalagi jika melibatkan perbandingan puluhan negara dan beberapa periode waktu, menuntut statistik yang canggih. Ini sebagian saja dari metode dan teknik statistik tersebut: item-response theory untuk mendapatkan skor laten, sampling weight untuk mengkoreksi bias pengambilan sampel, pemodelan multi-jenjang (multilevel modelling) untuk data yang memang terklaster (siswa dalam sekolah, dan sekolah dalam negara), dll. Saya sendiri baru mulai belajar dan hanya menguasai sebagian kecil dari teknik yang digunakan artikel ini. Kompleksitas teknik statistik ini yang menjadi penghalang utama penggunaan data survei internasional seperti PISA. Meski bebas diakses siapa pun, tak semua orang punya keahlian yang diperlukan untuk mengolahnya.

Pada level yang lebih umum, pelajaran yang saya petik dari artikel ini adalah soal penggunaan beragam analisis untuk menjawab pertanyaan (menguji hipotesis) yang sama. Para penulis artikel ini berpandangan bahwa sebuah hipotesis perlu diuji dengan berbagai cara. Misalnya, salah satu hipotesis mereka adalah bahwa peningkatan kesenjangan TIDAK berhubungan positif dengan peningkatan prestasi. Hipotesis ini diuji dengan merumuskan 3 indikator kesenjangan dan 3 indikator prestasi (yang masing-masing diwakili oleh 10 skor). Mengapa tidak cukup satu indikator saja? Sebagaimana semua variabel dalam riset, "kesenjangan" adalah konstruk teoretis. Barang gaib, nggak kelihatan. Ia bisa mewujud dalam berbagai bentuk (inilah yang kita sebut sebagai indikator). Pengujian dengan 1 indikator mungkin menghasilkan pola yang berbeda dari indikator lain. Jika hasil pengujian dengan berbagai indikator yang berbeda mengarah pada simpulan yang sama, ketika itulah temuannya disebut "robust" alias kokoh, memiliki derajat kepercayaan yang tinggi.

4. TEMUAN SOAL KESENJANGAN MUTU 

Analisis yang super rumit dalam artikel ini menghasilkan temuan yang konsisten dan simpel. Peningkatan kesenjangan justru berkorelasi dengan penurunan prestasi. Negara-negara yang prestasinya meningkat justru sekaligus mengalami penurunan kesenjangan. Dengan kata lain, peningkatan prestasi dan pengurangan kesenjangan berjalan beriringan.

Studi kasus pada negara-negara yang paling besar peningkatan prestasinya, seperti Jerman dan Polandia, menunjukkan bahwa perubahan tersebut dicapai dengan cara menaikkan prestasi siswa yang tadinya berprestasi rendah. Bukan dengan cara membantu siswa yang sudah berpotensi menjadi semakin tinggi prestasinya (seperti diprediksi oleh teori yang hendak digugurkan oleh artikel ini). Di sisi lain, penurunan prestasi rata-rata seperti yang terjadi di Swedia dan Islandia terjadi karena turunnya skor siswa yang tadinya memang lemah. Siswa pada persentil atas tetap menunjukkan prestasi yang tinggi.

Implikasi praktis temuan ini sangat jelas. Jika ingin meningkatkan prestasi, fokus pada mereka yang tadinya berprestasi rendah. Program-program seperti sekolah unggulan, perlombaan antar sekolah, dan pembinaan tim-tim elit untuk mengikuti olimpiade internasional tidak akan efektif untuk mengangkat prestasi secara keseluruhan.

5. TEKNIK PENULISAN   

Artikel ini tidak hanya kuat secara metodologis. Penulisannya pun ciamik. Mengingat kompleksitas data dan analisis yang digunakan, sebenarnya tak mudah untuk menuliskan hasilnya agar bisa dipahami pembaca. Para penulisnya berhasil menyajikan temuan dengan sederhana. Abstraknya pun sangat singkat, tidak berpanjang-panjang dengan jargon teknis yang takkan dimengerti 99% pembacanya:

"Research suggests that a country does not need inequity to have high performance. However, such research has potentially suffered from confounders present in between-country comparative research (e.g., latent cultural differences). Likewise, relatively little consideration has been given to whether the situation may be different for high- or low-performing students. Using five cycles of the Programme for International Student Assessment (PISA) database, the current research explores within-country trajectories in achievement and inequality measures to test the hypothesis of an excellence/equity tradeoff in academic performance. We found negative relations between performance and inequality that are robust and of statistical and practical significance. Follow-up analysis suggests a focus on low and average performers may be critical to successful policy interventions." (Parker et al., 2018, p.836-7)

Cara penulisan bagian pengantarnya juga bisa menjadi model untuk ditiru:

"Educational policy aims to maximize educational excellence and reduce inequity. The need to balance these demands is an ongoing concern in social mobility (Burger, 2016), educational attainment (Goldthorpe, 2007), and to a lesser degree, concerns about performance in standardized tests (Checchi, 2006). Our paper is primarily concerned with issues relating to the association between national performance in standardized tests (educational excellence) and the degree of variation in performance within a nation (our measure of educational inequity). It is our hypothesis that greater variance in test scores—greater inequality—will be negatively associated with higher average educational achievement—or higher excellence. We seek to directly challenge views that a country’s educational policies must incorporate some inequality to produce higher average test scores. To test this hypothesis, we consider a range of inequality measures. Unlike previous research, we focus on (a) changes that occur within countries over time and (b) where in the academic achievement distribution the changes occur. In the following sections, we first position our research within the broader domain of educational inequity before outlining competing positions on the excellent/equity tradeoff in educational ability. Finally, we consider what empirical research currently suggests about this debate and the limitations with the existing evidence base that we seek to overcome." (Parker et al., 2018, p.837)

Untuk mengapresiasi cara penulisan paragraf pengantar ini, silakan bandingkan dengan bagian pengantar kebanyakan artikel di jurnal dan tugas akhir yang pernah anda baca.


Ini tautan menuju artikelnya: https://doi.org/10.3102/0002831218760213

Ingin baca tapi tidak punya akses? Be creative :D

Debat Medsos dan Karakter Intelektual

Media sosial memang penuh kegaduhan. Kapan lalu ribut soal drama hoaks Ratna Sarumpaet. Lalu soal gempa Palu dan pertemuan IMF. Kemarin tentang dukungan Gojek terhadap karyawan LGBT-nya. Dan karena ini tahun politik, kita akan terus disuguhi berbagai isu panas yang pasti "maknyus" dijadikan bahan keributan baru. 

Apakah ini hal yang buruk? Perdebatan di medsos memang kerap menguras energi. Berita bohong, separuh bohong, dan teori-teori konspirasi tak jarang disebarkan di medsos. Dicampur dengan fakta, dibumbui narasi masuk akal, membuat kita mudah percaya. Demikian juga dengan rasisme dan ujaran kebencian, bebas diumbar. Pertengkaran di kolom komentar bisa berlanjut di lapangan atau kamar tidur  

Tapi di sisi lain, kegaduhan medsos juga bisa menjadi sarana belajar yang luar biasa. Dari debat tentang penyebab gempa, kita bisa belajar tentang apa itu sesar bumi, tentang kaitan gempa dan tsunami, tentang kearifan lokal dan mengapa hal itu banyak dilupakan. Dari gaduh soal LGBT, kita bisa belajar tentang perbedaan L, G, B, dan T, tentang apa itu orientasi seksual, tentang mengapa homoseksualitas tak lagi digolongkan sebagai gangguan. Dari geger hoaks Ratna Sarumpaet, kita jadi tahu bahwa oplas itu singkatan dari operasi plastik dan biayanya enggak murah  

Persoalannya memang harus diakui bahwa berbagai debat seringkali sekedar memuaskan ego dengan mengejek mereka yang pendapatnya tak kita sukai. Kalau pun belajar, maka itu belajar dalam arti menambah informasi yang menguatkan pandangan kita saja. Tidak benar-benar belajar dalam arti menjadi punya cara pandang yang berbeda dan lebih kaya tentang apa yang diperdebatkan. 

Ini tidak mengherankan sebenarnya. Belajar dari guru yang memberikan pelajaran terstruktur saja kadang sulit, apalagi dari medsos yang chaotic dan barbar.

Untuk bisa benar-benar bisa belajar dari medsos, salah satu yang mutlak diperlukan adalah apa yang disebut karakter intelektual. Ini adalah sifat-sifat terkait cara menyikapi informasi dan pengetahuan. Misalnya, salah satu karakter intelektual yang penting adalah keinginan mencari dan mempertimbangkan informasi yang bertentangan dengan pendapat kita. Karakter lainnya adalah toleransi terhadap ketidakpastian dan ambiguitas. Karakter lain lagi adalah kemauan mencermati sesuatu sebelum mengambil simpulan.

 

Perlu tulisan panjang tersendiri untuk menjabarkan masing-masing karakter intelektual. Yang ingin saya sampaikan di sini adalah bahwa karakter intelektual ini bukan sifat alami manusia. Manusia tidak terlahir dengan sifat-sifat tersebut. Kita mungkin punya bahan-bahan dasarnya, tapi jika tidak diasah dan dilatih lebih lanjut, karakter intelektual tidak akan terbentuk.

 

Pertanyaannya, apakah sekolah mengajarkan karakter intelektual? Apakah pelajaran sains, ilmu sosial, sejarah, bahasa, agama, dll. secara sengaja dirancang untuk membiasakan siswa menghargai opini yang berseberangan, membuat dan mengakui kesalahan, menganalisis argumen tanpa menyerang pribadi? Sepertinya jarang. Demikian juga dengan institusi sosial lain seperti keluarga dan media.

 

Untuk mengembangkan karakter intelektual, kita perlu perubahan paradigma. Saat ini sekolah masih menjadi tempat di mana siswa diharapkan untuk belajar menyerap apa yang dikatakan guru dan buku teks, atau bisa meniru dan melakukan apa yang diajarkan oleh sumber-sumber tersebut. Berbagai metode pengajaran dan strategi belajar dirancang untuk membuat proses tersebut lebih efektif. Tapi pada dasarnya sekolah masih menjadi sarana untuk membentuk isi pikiran alias keyakinan siswa. Selama itu tujuannya, sulit berharap siswa memiliki karakter intelektual.

 

Untuk mulai menumbuhkan karakter intelektual, kita perlu melihat sekolah sebagai tempat untuk melatih siswa mengevaluasi dan membentuk keyakinannya secara mandiri. Hanya dengan begitu mereka akan mampu untuk benar-benar belajar dari belantara medsos dan Internet secara lebih luas.

Ilustrasi: beberapa teknik mengenali hoaks. Karakter intelektual menjadi penentu apakah seseorang mau dan mampu menerapkan masing-masing teknik tersebut.

 

 

Mengapa Riset Pendidikan Kita Minimalis?

Beberapa hari ini saya membaca ulang dengan lebih cermat kuesioner-kuesioner PISA dan TIMSS. Keduanya merupakan studi internasional di untuk mengukur hasil belajar siswa di berbagai negara, termasuk Indonesia.

Selain mengukur hasil belajar (prestasi atau literasi) siswa di berbagai negara, studi-studi tersebut juga mengumpulkan data yang sangat kaya mengenai berbagai dimensi siswa, guru, orangtua, dan sekolah. Karena sampelnya mewakili populasi nasional, data yang dihasilkan bisa memberi gambaran berharga tentang pendidikan dan pembelajaran di masing-masing negara peserti studi. Data tersebut tersedia secara daring di situs masing-masing studi. Data ronde terbaru PISA, misalnya, bisa diakses di sini: http://www.oecd.org/pisa/data/2015database/.

Saya menjadi teringat dengan keheranan saya akan minimnya publikasi ilmiah mengenai pendidikan Indonesia berdasarkan data-data tersebut. Indonesia secara rutin menjadi peserta rutin sejak awal diselenggarkannya TIMSS (tahun 1995) dan PISA (tahun 2000). Keikutsertaan negara kita bisa terlihat dari catatan National Center for Education Statistics berikut:

https://nces.ed.gov/surveys/pisa/countries.asp
https://nces.ed.gov/timss/countries.asp
https://nces.ed.gov/surveys/pirls/countries.asp

Dan itu baru sebagian saja. Ada studi-studi internasional lain yang juga pernah diikuti Indonesia. Artinya, ada data yang sangat kaya dan berkualitas tentang berbagai aspek pendidikan di Indonesia. Data yang terbuka untuk umum. Tinggal mengunduh saja, tanpa perlu repot-repot menyusun instrumen dan turun lapangan!Mengapa tidak banyak peneliti kita yang memanfaatkannya untuk riset? Atau jangan-jangan saya saja yang tidak tahu?

Untuk mengecek, iseng-iseng saya mencoba mencari jumlah publikasi ilmiah yang terfokus pada Indonesia berdasarkan data studi internasional tersebut. Saya melakukan pencarian di database Springer dengan kata kunci nama studi dan "Indonesia". Hasilnya, hanya muncul 14 judul. Sedikit? Sulit memaknainya tanpa pembanding. Saya pun melakukan pencarian untuk dua tetangga dekat kita, Malaysia dan Singapura. Juga dengan beberapa negara lain. Hasilnya sebagai berikut:

Malaysia 17, Singapura 101, Taiwan/Taipei 57, Jepang 95, Cina 143, Finlandia 83, dan Jerman 175.

Meski ini pencarian sepintas lalu, bolehlah saya simpulkan sementara bahwa jumlah publikasi kita lebih sedikit dibanding negara-negara lain. Itu dari jumlah absolut. Apalagi kalau mempertimbangkan jumlah peneliti dan dosen pendidikan dan ilmu sosial yang saya duga jauh lebih banyak di Indonesia daripada negara-negara tersebut.

Pertanyaannya, mengapa demikian? Kemungkinan pertama yang terlintas adalah soal akses. Meski tersedia untuk umum, struktur data hasil studi-studi internasional ini cukup kompleks. Perlu sedikit keterampilan teknis dan metodologis yang mungkin dikuasai hanya sedikit peneliti di Indonesia. Tapi setahu saya Puspendik-Balitbang Kementrian Pendidikan dan Kebudayaan secara rutin menyelenggarakan workshop untuk melatih peneliti agar bisa memanfaatkan data-data ini. Sudah ada ratusan peneliti yang mengetahui cara mengakses dan mengolahnya.

Kemungkinan kedua, ini hanya bagian dari gejala umum terkait lemahnya kapasitas riset pendidikan kita. Ini persoalan yang kompleks. Tanpa berpura-pura memahaminya secara mendalam, saya hanya ingin mengatakan bahwa ini bukan semata-mata soal buruknya kemampuan para individu penelitinya. Ini persoalan kebudayaan yang lebih mendasar, soal alam pikir dan sistem yang belum memberi ruang memadai untuk ilmu pengetahuan.

Produk dari riset adalah pengetahuan. Karena itu, riset hanya akan maju di masyarakat yang menghargai dan haus akan pengetahuan. Di bidang pendidikan, terutama, penghargaan tersebut mungkin lebih jauh tertinggal dibanding bidang lain. Kalau kebijakan sepenting kurikulum nasional dan sistem seleksi masuk sekolah saja bisa dibuat tanpa merujuk pada hasil penelitian, sulit berharap bahwa riset pendidikan akan maju.

Peran Teori dalam Merancang Penelitian Kuantitatif

Langkah awal merancang riset kuantitatif adalah mempelajari teori. Bukan memilih variabel-variabel penelitian dan mencari-cari hubungannya. Ini penting untuk diperhatikan, karena riset kuantitatif yang diawali dari upaya menghubung-hubungkan variabel biasanya hanya akan menghasilkan angka-angka yang tidak bermakna. Angka-angka tersebut mungkin saja signifikan secara statistik. Tapi signifikansi statistik jelas beda dari signifikansi alias arti penting secara substansi.

Demikian intisari tulisan (bahan kuliah) minggu lalu. Dalam tulisan kali ini, saya akan mencoba memberi gambaran lebih jelas tentang tahap awal perancangan riset kuantitatif. Contoh-contoh yang akan saya paparkan terbatas pada bidang keahlian saya, ilmu kognitif dan psikologi pendidikan. Namun sebagian yang saya sampaikan seharusnya masih relevan untuk bidang lain, setidaknya dalam ranah ilmu-ilmu sosial empiris.

Nah, mengapa teori? Jawaban singkatnya, teori menyediakan konsep-konsep yang bisa menjelaskan apa, bagaimana, dan mengapa sesuatu terjadi. Sebagai ilustrasi, katakanlah anda tertarik meneliti mengapa sebagian siswa gagal sedangkan sebagian yang lain berhasil di sekolah. Variasi antar individu (individual differences) semacam ini adalah fenomena yang sering menarik perhatian ahli psikologi. Dari pengalaman, kita bisa menduga bahwa kegagalan dan keberhasilan di sekolah terkait dengan malas-rajin atau kepintaran/kebodohan. Siswa yang malas dan bodoh akan terancam gagal, sedangkan mereka yang rajin dan pintar akan berhasil di sekolah.

Malas, rajin, pintar, dan bodoh sebenarnya juga konsep, tapi konsep-konsep awam. Konsep yang kita kenal dari percakapan dan pengalaman sehari-hari. Karena bukan hasil pemikiran yang sistematis, makna konsep awam biasanya tidak presisi. Maknanya kabur dan seringkali tumpang tindih. “Rajin belajar”, misalnya, bisa punya beragam makna. Apakah siswa yang selalu mengerjakan PR pelajaran bahasa Indonesia, tapi jarang membaca novel dan puisi, bisa dikatakan rajin belajar bahasa?

Konsep “pintar” juga demikian. Kepintaran sering dilihat dari prestasi sekolah. Siswa yang pintar adalah mereka yang nilainya bagus atau juara kelas. Tapi ini mengacaukan antara dua hal yang berbeda: atribut individu (tingkat “kepintaran”) dan keberhasilan akademik (“prestasi”). Pintar kadang disamakan dengan inteligensi yang dilihat dari tes IQ. Tapi apa arti inteligensi? Orang awam akan menjawab, inteligensi ya kepintaran atau kecerdasan. Definisinya menjadi circular alias hanya berputar-putar saja.

Di sinilah kita mulai perlu bantuan teori ilmiah. Dengan teori “determinasi diri” (self determination theory), misalnya, kita bisa membedakan antara motivasi intrinsik dan ekstrinsik. Motivasi ekstrinsik pun masih bisa dibagi menjadi empat jenis berdasarkan sumbernya. Teori ini juga mendefinisikan tiap jenis motivasi secara eksplisit. Dengan begitu, peneliti tidak mudah mencampuradukkan hal-hal yang sebenarnya berbeda. Makna temuan penelitian pun akan lebih jernih.

Selain menyediakan cara mendefinisikan hal-hal yang akan kita teliti, teori ilmiah juga menguraikan mekanisme yang memunculkan fenomena. Untuk fenomena perilaku belajar, misalnya, teori determinasi diri akan menjelaskan bahwa jenis motivasi yang diadopsi seorang siswa akan tergantung pada lingkungan. Lebih spesifiknya, teori tersebut menjelaskan bahwa manusia punya tiga kebutuhan psikologis mendasar: kebutuhan akan otonomi, kebutuhan mengembangkan kompetensi, dan kebutuhan untuk merasa menjadi bagian berharga dari sebuah komunitas. Dalam lingkungan kelas/sekolah memenuhi kebutuhan-kebutuhan tersebut, siswa akan terdorong untuk belajar secara intrinsik, tanpa perlu diberi janji-janji hadiah atau ancaman.

Singkat kata, teori ilmiah menyediakan definisi dan penjelasan tentang sebuah fenomena. Dalam konteks metodologi kuantitatif, teori ilmiah menyediakan variabel-variabel yang bisa kita pilih sebagai fokus penelitian. Dengan memahami teori, secara otomatis kita akan disodorkan pada pilihan variabel penelitian beserta penjelasan teoretis mengenai dinamika yang menghubungkan variabel-variabel tersebut.

Karena realitas sosial cenderung kompleks, berlapis-lapis, dan dipengaruhi subjektivitas, biasanya ada banyak teori yang saling berkompetisi untuk menjelaskan sebuah fenomena. Untuk fenomena perilaku belajar dan keberhasilan akademik, misalnya, ada teori determinasi diri dari Ryan dan Deci, teori sosial kognitif-nya Albert Bandura, teori sosial-kognitifnya Carol Dweck, teori orientasi tujuan, dll. Itu baru rumpun teori yang berfokus pada dinamika motivasional. Ada lagi rumpun teori yang berfokus pada proses kognitif, termasuk berbagai turunan dari teori konstruktivisme Piaget dan turunan teori konstruktivisme-sosialnya Vygotsky.

Banyaknya pilihan ini memang bisa menjadi masalah juga, terutama bagi pemilih pemula. Bagi peneliti pemula, dunia teori bisa terlihat seperti hutan belantara yang mengerikan. Tapi bagaimanapun, mengenali teori adalah langkah awal untuk meneliti. Anggap saja beragam teori itu sebagai pilihan sajian di meja buffet. Pilih saja yang paling menarik bagi anda dan mulailah mengunyah!

(Materi kuliah Metode Riset Kuantitatif, oleh Anindito Aditomo, Fakultas Psikologi Universitas Surabaya)

Meluruskan Konsepsi tentang Penelitian Kuantitatif

“Saya sudah dapat satu variabel untuk proposal skripsi/tesis, tapi masih bingung mencari variabel lainnya. Kalau saya tertarik meneliti variabel X, sebaiknya dihubungkan dengan variabel apa ya?”

Banyak mahasiswa yang menulis proposal skripsi/tesis dipandu oleh konsepsi yang keliru mengenai penelitian kuantitatif. Konsepsi salah kaprah tersebut tercermin pada kutipan di atas. Pernah kan, mendengar mahasiswa berkata demikian? Atau mungkin pernah mengalaminya sendiri? 

Pada intinya, kutipan di atas menunjukkan bahwa penelitian kuantitatif dianggap bertujuan mencari hubungan antar variabel. Berbekal pandangan seperti ini, mahasiswa biasanya mulai merancang proposal dengan mencari sebuah variabel. Setelah menemukan satu variabel - yang biasanya dipilih berdasar minat pribadi - mahasiswa kemudian berusaha mencari variabel lain yang bisa dihubungkan. Dengan demikian, perancangan proposal tesis menjadi proses menghubung-hubungkan variabel. 

Pada akhirnya nanti, penelitian kuantitatif semacam ini hanya akan menghasilkan beberapa angka korelasi atau koefisien regresi. Jika korelasinya signifikan dan sesuai teori, penelitian seolah berhasil. Bab 5 alias Diskusi dan Simpulan menjadi lebih mudah ditulis, karena bisa mengambil saja dari teori yang sebagian sudah dituliskan di Bab II alias Kajian Pustaka. Tapi jika korelasi atau regresinya tidak signifikan, penelitian kerap dianggap gagal. Atau setidaknya, mahasiswa akan kesulitan menulis bagian diskusi dan simpulan. 

Ketika menyajikan penelitiannya dalam “sidang” tesis, mahasiswa yang menjalani proses seperti ini biasanya tidak terlalu memahami fenomena yang ia teliti. Diskusi selama sidang seringkali terjebak pada kritisisme soal teknis terkait penulisan maupun analisis data. Diskusi jarang menyentuh substansi penelitian, soal kontribusi ilmiah dan insight konseptual mengenai topik yang dibahas. 

Proses seperti ini sering membuat saya sedih. Bayangkan, setelah satu, dua, atau tiga semester (atau bahkan lebih) mengerjakan sebuah project, yang dihasilkan sekedar simpulan ada tidaknya hubungan antar variabel. Problemnya, persepsi semacam ini sudah mengakar kuat. Meski sudah diberitahu, mahasiswa sering takut keluar dari pakem sebenarnya keliru ini.

Lantas, seperti apa seharusnya kita memahami penelitian kuantitatif? Pada level yang paling mendasar, penelitian adalah upaya untuk memahami sebuah fenomena. Dalam penelitian kuantitatif, upaya memahami ini dipandu secara ketat oleh teori. Teori inilah yang menentukan apanya (bagian mana saja) dari sebuah fenomena yang penting untuk ditelaah dan bagaimana hal itu diobservasi/diukur. 

Jika fenomenanya adalah perilaku belajar, misalnya, teori self-determination akan mengarahkan peneliti pada apa yang disebut “regulasi motivasi”. Dari teori tersebut, kita bisa mendefinisikan jenis-jenis regulasi motivasi, cara mengukurnya, dan apa saja yang terkait dengannya. Fenomena yang sama (perilaku belajar) akan terlihat berbeda jika kita memilih teori lain sebagai acuan penelitian.

Dengan demikian, langkah awal dalam merancang penelitian kuantitatif adalah mempelajari teori. Bagi peneliti pemula, ini memang tidak mudah. Di sinilah peran pembimbing atau mentor akademik. Pembimbing seharusnya membantu mahasiswa mengarungi medan teori. Menunjukkan alternatif-alternatif teori yang relevan dengan fenomena yang hendak ditelaah. Memberi petunjuk tentang plus minus tiap opsi. Memperingatkan mahasiswa tentang jalan buntu atau opsi yang terlalu terjal. 

Yang jelas, penelitian kuantitatif tidak diawali dari memilih variabel-variabel penelitian. Variabel tak lain adalah cara sebuah teori mendefinisikan atau mendekati sebuah fenomena. Karena itu, variabel seharusnya lahir dari pemahaman teoretis. Penelitian kuantitatif yang diawali dengan menghubung-hubungkan variabel terancam menghasilkan angka-angka yang tak bermakna.

Agar Riset Pendidikan lebih Berdampak

Oleh: Anindito Aditomo

 

 

Kemarin beruntung bisa mendengarkan presentasi menarik Profesor Catherine Snow dari Harvard Graduate School of Education yang sedang menjadi peneliti tamu di Goethe-Universität. Prof. Snow seorang pakar multi (atau lintas?) disiplin. Ia belajar psikologi eksperimen di Amerika, sebelum mendalami psikologi perkembangan di Kanada, dan kemudian mengajar linguistik di Amsterdam. Sekembali ke Amerika, ia berganti haluan menjadi peneliti pendidikan. Ia tergolong penulis yang amat produktif. 20 halaman tidak cukup untuk mencetak daftar publikasi ilmiahnya!

 

Kemitraan Riset-Praktik

Kemarin Prof. Snow membagikan pengalamannya melakukan "research-practice partnership" (RPP) atau, kalau dialihbahasakan, Kemitraan Riset-Praktik (KRP). Gagasan ini relatif baru, dikembangkan awal 2000an untuk mengatasi problem minimnya dampak riset pendidikan terhadap praktik.

 

Menurut Prof. Snow, riset pendidikan di Amerika tidak memberi dampak signifikan pada perbaikan praktik pendidikan. Salah satu penyebabnya adalah soal relevansi. Kebanyakan riset dilakukan untuk menjawab pertanyaan ilmiah yang seringkali penting/menarik bagi peneliti, namun terasa tak relevan bagi praktisi. KRP digagas untuk meningkatkan relevansi riset pendidikan terhadap praktik.

 

Pendidik di Indonesia sebenarnya sudah mengenal konsep yang mirip dengan KRP, yaitu Penelitian Tindakan Kelas (PTK) yang merupakan terjemahan dari “action research”. Dalam PTK, guru diposisikan menjadi peneliti yang mengeksplorasi kelasnya sendiri sebagai kancah riset. Dengan demikian, guru diharap menjadi lebih reflektif dan bisa menerapkan inovasi berbasis risetnya sendiri. 

 

Terdengar ideal, bukan?

 

Tapi menurut Prof. Snow, PTK adalah konsep yang terbukti gagal. Sebagian besar PTK gagal menghasilkan pengetahuan yang bermutu, atau pun inovasi yang berkelanjutan. Dan ini wajar saja. Tak masuk akal berharap guru untuk merangkap sebagai peneliti. Ini seperti meminta guru melakukan dua pekerjaan kompleks pada saat yang sama. Ibarat mengharap seorang pemain sepakbola untuk merangkap sebagai staf litbang klub tempatnya bekerja.

 

Tidak seperti PTK, dalam konsep KRP guru tetap berposisi sebagai praktisi. Peran sebagai peneliti dipegang oleh akademisi yang ahli meneliti. Yang membedakan dengan riset akademik adalah KRP menempatkan guru sebagai pemegang otoritas yang setara dengan peneliti. Misalnya, KRP mengutamakan problem yang dianggap urgen oleh praktisi. Pertanyaan riset dirumuskan bersama-sama dari problem tersebut. Pemaknaan terhadap data juga dilakukan bersama-sama. Selain itu, orientasi utama KRP bukan untuk menghasilkan publikasi ilmiah. Orientasinya lebih untuk menghasilkan knowledge-based tools: perangkat praktis yang bisa memperbaiki pengajaran atau kebijakan secara langsung.

 

Kurikulum “Word Generation”

Contoh KRP yang diuraikan Prof. Snow kemarin adalah proyek “Word Generation” (WG). Proyek ini berawal dari problem rendahnya literasi siswa SMP-SMA di seputar Boston. Siswa di sana bukannya tidak bisa membaca. Yang mereka sulit lakukan adalah membaca secara kritis dan mendalam, untuk kemudian belajar dari bacaan tersebut. Menurut survei PISA, hanya sekitar 8% siswa kelas 9/10 di Amerika yang memiliki kemampuan literasi tingkat tinggi. [Di Indonesia, angkanya sekitar 2% atau malah kurang!]

 

 

Karena proyek WG dilakukan dalam paradigma KRP, yang dikerjakan pertama adalah menggali masalah literasi dari perspektif guru. Bukan hanya guru bahasa, tapi guru berbagai mata pelajaran. Ternyata, para guru tidak berbicara tentang literasi tingkat tinggi, melainkan soal kosakata. Banyak siswa yang tidak paham makna berbagai kosakata penting yang digunakan di pelajaran dan buku teks. Karena itu, agenda pertama tim WG adalah membuat kurikulum yang memberi kesempatan siswa untuk menggunakan kosakata akademik secara otentik, dalam konteks yang bermakna.

 

Selama 3 tahun kemudian, Prof. Snow bersama tim kecilnya (ia menyebut 2 staf peneliti, plus mahasiswa) bekerjasama dengan guru dari 3 atau 4 sekolah untuk membuat sebuah kurikulum baru. Kurikulum yang kemudian mereka namai “Word Generation” ini tidak semata-mata terfokus pada membaca. Intisari dari kurikulum WG justru pada aktivitas diskusi dan argumentasi. Konsep dasarnya adalah siswa diberi pertanyaan besar tentang isu kontroversial. Pertanyaan ini harus terbuka dan kompleks, dalam arti tidak ada jawaban tunggal yang benar secara absolut, semacam “Siapa yang berkewajiban melindungi remaja dari predator online?” atau “Apakah dokter seharusnya diperbolehkan membantu pasien sekarat yang ingin mengakhiri hidupnya?”

 

Topik semacam ini tentu menuntut waktu. Dalam kurikulum WG, tiap topik dibahas selama 1 sampai 2 minggu, pada berbagai mata pelajaran. Contoh tipikalnya begini: pada hari Senin, topik diperkenalkan di kelas bahasa. Siswa diberi bacaan inti yang menyampaikan pendapat dan bukti dari berbagai sisi (1-2 jam pelajaran). Pada hari Selasa, pelajaran matematika disampaikan menggunakan soal-soal cerita yang memuat kosakata kunci dari bacaan kemarin. Hari Rabu, dalam konteks pelajaran IPS, siswa berdebat tentang pro dan kontra tiap posisi mengenai isu minggu itu. Hari Kamis, hal yang sama diulang dalam konteks pelajaran IPA. Hari Jumat, siswa diminta menulis esai berisi argumentasi pribadinya tentang isu tersebut.

 

Relevansi dan dampak praktis

Data evaluasi randomised control trial menunjukkan efektivitas kurikulum WG dibanding kurikulum konvensional. Ini tidak mengherankan, karena riset sebelumnya secara konsisten menunjukkan bahwa diskusi antar rekan (peer discussion) adalah metode yang sangat potensial. 

 

Masalahnya, seberapa banyak guru dan sekolah yang mau menerapkan kurikulum WG? Dari yang mau, berapa yang bisa menerapkannya dengan baik? Dampak praktis inilah yang menjadi tujuan utama proyek KRP seperti WG.

Riset Pendidikan Berbasis Data Tes Internasional (Annotated Bibliography)

Tulisan ini berisi catatan bacaan alias reading notes. Semacam annotated bibliography tentang studi-studi pendidikan, khususnya yang didasarkan pada tes-tes internasional berskala besar seperti PISA, TIMSS, dan PIRLS. Tulisan saya perbarui secara periodik (yang artinya, belum tentu secara rutin!).

The Role of Schooling in Perpetuating Educational Inequity: An International Perspective (Schmidt, dkk., 2015).

Artikel ini mengkaji peran "kesempatan belajar" (opportunity to learn, OTL) sebagai variabel perantara yang menjelaskan kaitan antara status ekonomi sosial (SES) dengan prestasi matematika. Para penulis menyatakan bahwa kaitan antara SES dan prestasi akademik sudah bisa dianggap sebagai fenomena yang well-established. Secara rata-rata, siswa dari keluarga kaya cenderung lebih tinggi prestasinya di sekolah. Dalam artikel ini, Schmidt dkk ingin menunjukkan bahwa salah satu mekanisme pengaruh SES terhadap prestasi adalah melalui kesempatan belajar yang tersedia bagi siswa.

Metode. Schmidt dkk memanfaatkan data PISA 2012 untuk menjawab pertanyaan penelitiannya. OTL dioperasionalkan sebagai "intensitas paparan (exposure) terhadap topik-topik matematika", yang diukur pada level individu siswa. Dalam bahasa yang lebih sederhana, OTL dalam riset ini adalah apakah siswa pernah diperkenalkan pada topik-topik matematika (khususnya aljabar dan geometri). SES dioperasionalkan sebagai komposit (paduan) dari tiga indikator: profesi orangtua, tingkat pendidikan orangtua, dan harta benda di rumah. Beberapa variabel juga dimasukkan untuk dikontrol secara statistik: gender, usia, kelas, dan apakah siswa mengerjakan tes dalam bahasa ibunya. Analisis dilakukan dengan berbagai teknik, termasuk regresi multijenjang dan pemodelan struktural.

Temuan. Secara keseluruhan, hasil analisis menunjukkan adanya kaitan erat antara SES, OTL, dan prestasi matematika. Pemodelan struktural menunjukkan bahwa OTL menjadi variabel perantara bagi kaitan antara SES dan prestasi. Ini terjadi pada level individu, sekolah, maupun negara.

• Pada level individu, siswa dari keluarga SES tinggi cenderung lebih sering diperkenalkan pada berbagai topik matematika, dan cenderung lebih tinggi pula prestasi matematikanya (dibanding siswa SES rendah di sekolah yang sama). 
• Pada level berikutnya, siswa yang bersekolah di sekolah ber-SES tinggi cenderung lebih banyak mendapat paparan pada berbagai topik matematika, dan cenderung lebih tinggi pula prestasinya (dibanding siswa dari latar belakang keluarga yang mirip, tapi bersekolah di sekolah dengan SES rendah). 
• Pada level negara, kesenjangan OTL berasosiasi dengan kesenjangan prestasi. Dengan kata lain, semakin besar kesenjangan OTL (antar sekolah di sebuah negara), semakin besar pula kesenjangan prestasi (antar sekolah di negara itu).

Sumber: Schmidt, Burroughs, Zoido, dan Houang (2015), halaman 375.

Selain itu, ada temuan menarik tentang perbedaan antar negara. Kesenjangan kesempatan belajar (dan kesenjangan prestasi) paling besar ada di negara-negara seperti Belanda dan Jerman yang menerapkan pemisahan jalur sekolah (tracking, misalnya akademik vs. vokasional). Tapi kesenjangan cukup besar juga terlihat di negara-negara yang secara formal ingin memberi kesempatan belajar yang sama pada semua siswa (seperti di Amerika, Inggris, Selandia Baru, dan Australia). Kesenjangan ini muncul karena di dalam sekolah yang sama, siswa cenderung mendapat kesempatan belajar yang berbeda, yang sebagian tergantung pada latar belakang SES siswa tersebut.

Implikasi. Temuan-temuan Schmidt dkk menunjukkan bahwa kesenjangan prestasi (matematika) mungkin bisa dikurangi melalui pemberian kesempatan belajar yang lebih setara/seragam. Schmidt dkk mengatakan bahwa mengubah kebijakan pendidikan (untuk mengurangi kesenjangan kesempatan belajar) relatif lebih mudah dibanding intervensi untuk mengurangi SES secara langsung. Tapi saya kok tidak sepakat, mengingat sistem pendidikan tidak kalah kompleksnya dibanding sistem ekonomi. In any case, artikel ini cukup meyakinkan dalam argumen utamanya: perbedaan SES berujung pada kesempatan belajar yang berbeda, yang kemudian membuahkan prestasi yang berbeda pula. 

Asingnya Dunia Ilmu Pengetahuan: Obrolan Sabtu Pagi

"Why Schools Matter. Ini buku apa, Daddy?" tanya Little A ketika melihat buku yang tergeletak di meja dapur.

Buku yang ia baca judulnya ini adalah salah satu referensi klasik mengenai pengaruh kurikulum terhadap hasil belajar siswa. Terbit tahun 2001 dan ditulis oleh pakar-pakar pendidikan dari Michigan State University (Schmidt dan kawan-kawan), "Why School Matters" didasarkan pada analisis dokumen kurikulum serta hasil tes matematika dan sains pada siswa dari hampir 50 negara.

Merangkumkan isi buku semacam ini untuk siswa kelas 4 bukan hal mudah. Tapi saya juga tidak ingin membuang kesempatan ngobrol tentang buku ini. Karena itulah saya bertanya balik: "What do you think? Menurutmu apa kira-kira isinya?"

Analisis Data dengan MPlus: Menyiapkan Data dari SPSS

Catatan: tulisan ini adalah bagian materi kuliah saya di program S2 dan S3 Fakultas Psikologi Universitas Surabaya. Jika anda ingin mengutip atau mereproduksinya, jangan lupa menyertakan sitasi dan link ke halaman blog ini. Terima kasih dan selamat membaca!

__________________________________________

MPlus perlu file data dalam bentuk "Tab Delimited" (ekstensinya .dat). [Baca pengantar tentang MPlus di sini.] Seperti saya tulis di posting sebelumnya, file data ini bisa disiapkan menggunakan spreadsheet editor seperti Open Calc atau Excel.

Bagaimana jika anda sudah memiliki data yang tersimpan dalam format SPSS (.sav)? Mudah saja. Di SPSS, cukup gunakan perintah "Save As" di sebagai file .dat. Seperti terlihat di gambar, klik menu File, kemudian cari tombol Save As ...

Analisis Data dengan MPlus: Menyiapkan Data dari Excel

Catatan: tulisan ini adalah bagian materi kuliah saya di program S2 dan S3 Fakultas Psikologi Universitas Surabaya. Jika anda ingin mengutip atau mereproduksinya, jangan lupa menyertakan sitasi dan link ke halaman blog ini. Terima kasih dan selamat membaca!

__________________________________________

OK, anda sudah menginstal MPlus di komputer. Jika belum, baca posting saya sebelumnya.

Hal berikutnya yang perlu dilakukan adalah menyiapkan file data yang hendak dianalisis. Ada beberapa cara untuk menyiapkan file data. Bagi yang terbiasa menggunakan SPSS, penyiapan file data agar sesuai permintaan MPlus ini terasa sedikit "ribet".

Jika data anda masih berupa kuesioner tertulis yang harus diinput ke bentuk digital, maka cara paling mudah barangkali adalah menggunakan aplikasi spreadsheet seperti Open Office Calc (gratis!) atau MS Excel. Berikut langkah-langkahnya: