Dunia Publikasi Ilmiah Tidak Sehitam-putih SCOPUS dan Daftar Beall

Behind the scenes proses editorial sebuah jurnal abal-abal. Image source: https://peregrinationsdeso.files.wordpress.com

Menanggapi tulisan saya sebelumnya, ada yang bertanya tentang cara mengenali jurnal predator alias abal-abal. Cara paling gampang tentu dengan menengok daftar hitam yang ada di blog Scholarly Open Access milik Dr. Jeffrey Beall (https://scholarlyoa.com). Blog ini tersebut memuat daftar penerbit dan judul jurnal yang dianggap “meragukan”. Kalau jurnal dan/atau penerbit yang anda ingin tuju ternyata ada di daftar Beall, sebaiknya kaji ulang rencana anda!

Tapi apakah pengecekan di daftar hitam Jeffrey Beall sudah cukup untuk menilai kredibilitas sebuah jurnal? Sayangnya tidak sesederhana itu. Untuk menyiapkan materi workshop di Universitas Diponegoro minggu lalu, saya kembali belajar tentang daftar hitam dan daftar putih publikasi ilmiah. Dan semakin banyak saya membaca, semakin kabur pula gambaran hitam-putih yang awalnya ada di kepala. Simak, misalnya, cerita tentang percobaan nakal yang dilaporkan di majalah Science berikut (Bohannon, 2013).

Tampilan laman blog scholarlyoa.com.

Awal 2013, Dr. Bohannon menulis sebuah artikel tentang penelitian fiktif, atas nama penulis yang juga fiktif, ke lebih dari 300 jurnal open access. Penelitian fiktif itu sengaja dibuat seolah-olah menggunakan metode yang jelas-jelas keliru. Kalau ada jurnal yang sampai menerima artikel tersebut, bisa dibilang jurnal itu tidak punya proses yang baik untuk menyaring kualitas ilmiah artikel-artikelnya. (Ini mengingatkan saya akan sebuah eksperimen di Amerika yang, pada tahun 1960an, mengirim orang-orang sehat yang berpura-pura “mendengar suara-suara” di hadapan psikiater-psikiater berbagai rumah sakit, untuk melihat apakah para psikiater bisa membedakan antara pasien asli dan palsu.)

Hasilnya, ternyata lebih dari separuh jurnal sasaran percobaan Bohannon menerima artikel fiktif tersebut. Sebagian besar menerima begitu saja, tanpa peer review. Sebagian lagi berpura-pura melakukan peer review, namun masukan yang diberikan bersifat basa-basi belaka (terkait format dan tampilan). Secara total, hanya 36 jurnal yang reviewer-nya mengomentari substansi artikel yang dikirim. Dari jumlah itu pun, editor di 16 jurnal pada akhirnya menerima artikel tersebut! 

Beberapa temuan menarik lain dari percobaan Bohannon (2013):

a) Sekitar 45% jurnal yang terdaftar di Directory of Open Access Journals (DOAJ) menerima artikel palsu Bohannon.

b) Beberapa jurnal milik penerbit mainstream (seperti Elsevier, Sage, dan Wolters Kluwer) ternyata juga menerima artikel palsu Bohannon.

c) Sekitar 20% jurnal yang ada dalam daftar Jeffrey Beall menolak artikel palsu Bohannon. Sebagai contoh, dua jurnal dari penerbit Hindawi – yang ketika itu masuk dalam daftar hitam Beall – ternyata melakukan peer review dan menemukan kesalahan metodologis fatal yang ada dalam artikel Bohannon. 

Seperti saya bahas di tulisan sebelumnya, temuan (a) dan (b) di atas menunjukkan bahwa daftar putih seperti DOAJ, Scopus, dan Web of Science pun bisa kebobolan jurnal abal-abal. Sebaliknya, temuan (c) menunjukkan bahwa sebagian jurnal yang ada dalam daftar hitam (seperti milik Beall) bisa jadi merupakan jurnal yang kredibel. Sebagai catatan, Jeffrey Beall tampaknya sudah menghapus penerbit Hindawi dari daftar hitamnya. Artinya, mutu sebuah jurnal bisa berubah seiring waktu. Jurnal yang bagus bisa menjadi buruk. Jurnal yang dulu buruk bisa saja memerbaiki mutunya.

It was hard work then, and it sure still is now.
Image source: kmh-lanl.hansonhub.com/writinghardwork.jpg

Apa yang bisa kita simpulkan? Bagi saya, pelajarannya adalah bahwa daftar putih maupun hitam hanya bisa dijadikan salah satu sumber informasi dalam membuat keputusan tentang publikasi. Daftar-daftar tersebut bisa menjadi salah satu indikasi mutu, tapi peneliti/penulis harus mencermati sendiri sebuah jurnal dan kecocokannya dengan naskah yang hendak ia terbitkan. 

Hal yang sama berlaku untuk penilaian kredibilitas rekam jejak akademis seseorang (seperti dalam proses kenaikan pangkat dosen). Bahwa seseorang pernah menerbitkan artikelnya di jurnal yang ada dalam daftar hitam belum tentu seorang peneliti yang buruk. Judgment semacam itu hanya bisa dilakukan dengan memeriksa kualitas akademik artikelnya itu sendiri. Dan ini berarti pekerjaan asesor tidak bisa di-outsource-kan pada para pembuat daftar hitam dan putih.

Dengan kata lain, sebenarnya tidak ada pengganti dari dialog ilmiah antar akademisi. Kalau berniat mengembangkan ilmu, semata-mata mengandalkan daftar hitam dan putih publikasi ilmiah adalah jalan pintas yang sebaiknya dijauhi.

Referensi: 

Bohannon, J. (2013). Who’s afraid of peer review? Science 04 Oct 2013: Vol. 342, Issue 6154, pp. 60-65. DOI: 10.1126/science.342.6154.60 http://science.sciencemag.org/content/342/6154/60.full