Workshop Statistik Prakerja: Cerita di Balik Layar Metodologi dan Implementasi Evaluasi Dampak

Program Kartu Prakerja telah bergulir sejak April 2020 menjaring 11,4 juta orang penerima manfaat dari 514 kabupaten dan kota di Indonesia melalui 22 gelombang yang berbeda. Memiliki basis data yang berasal dari data administrasi pendaftar serta hasil survei evaluasi, Program Kartu Prakerja memiliki data yang sangat kaya. Namun, dengan struktur data dan proses bisnis yang berbeda dari pengumpulan data-data statistik yang umumnya ada di Indonesia, kerap membuat peneliti masih belum memahami proses bisnis dari Program Kartu Prakerja. 

Untuk itu, melalui acara Workshop Statistik Program Kartu Prakerja: Metodologi dan Implementasi Evaluasi Dampak, Manajemen Pelaksana Program Kartu Prakerja mengedukasi para peneliti dan mahasiswa untuk memahami lebih lanjut bagaimana proses bisnis dan metode evaluasi dampak yang tepat khususnya pada Program Kartu Prakerja.

“Dalam mengevaluasi sebuah program diperlukan serangkaian pemahaman untuk menjawab dampak pelayanan program. Bagaimana metodologi yang paling tepat, apa saja faktor yang harus dilihat untuk evaluasi, dan tentu dengan memperhatikan ekosistem serta pendekatan digital yang ada di Kartu Prakerja,” kata Direktur Pemantauan dan Evaluasi Manajemen Pelaksana Program Kartu Prakerja Cahyo Prihadi. 

Head Evaluasi dan Riset Manajemen Pelaksana Program Kartu Prakerja Romora Sitorus menambahkan informasi dari sisi proses bisnis dan keunikan dari program Kartu Prakerja yang menjadi diferensiasi program ini.

“Program Kartu Prakerja tak hanya memberikan beasiswa pelatihan tapi juga bantuan pasca pelatihan sebagai bantalan saat pandemi. Alur Perjalanan program ini panjang, ada beberapa perubahan tata kelola. Hal ini perlu diperhatikan ketika mengevaluasi Kartu Prakerja,” urainya. 

Ia menekankan, untuk mengevaluasi dampak dari program atau kebijakan, seseorang harus mengerti timeline dan bisnis proses sebuah program.

“Kartu Prakerja dibuka per gelombang, tujuannya agar lebih memberikan akses dengan jeda tertentu. Keunikan lain program ini yakni karena orang yang belum diterima bisa mendaftar program Kartu Prakerja lagi di gelombang berikutnya,” jelas Romora. 

Selain data administrasi dari penerima Kartu Prakerja, ada data eksternal yang bisa diakses untuk riset Prakerja, seperti Data Sakernas dan Data Susenas yang bersumber dari Badan Pusat Statistik (BPS). Namun, data-data tersebut terbatas jumlahnya dan cara pengumpulan data berbeda. 

“Data administrasi Kartu Prakerja tersedia per gelombang, sedangkan data Sakernas dikumpulkan dua kali setahun yaitu bulan Februari dan Agustus, sedangkan data Susenas dikumpulkan pada bulan Maret dan September. Jumlah sampel Penerima Kartu Prakerja pada data Sakernas dan Susenas BPS juga lebih sedikit dibandingkan dengan data administrasi Program Kartu Prakerja,” ungkapnya. 

Oleh karena itu, Romora menekankan jika ingin menganalisis Program Kartu Prakerja, seorang peneliti perlu melihat konteks waktu pelaksanaan survei dan konteks representativenes dari sampel dengan populasi yakni data administrasi Kartu Prakerja. 

Workshop ini juga mengundang Kepala Tim Kebijakan Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K) Elan Satriawan serta Manajer Pemantauan dan Evaluasi TNP2K Rizal Adi Prima untuk menjelaskan metodologi-metodologi apa saja yang bisa digunakan untuk evaluasi dampak. 

Elan Satriawan menekankan bahwa dalam evaluasi yang diperhatikan adalah outcome dengan masalah fundamental adalah bias seleksi (selection bias) saat pemilihan objek yang disampel. 

“Pemilihan kelompok perlakuan (treatment) dan kelompok pembanding (control) ini harus comparable dan memiliki karakteristik semirip mungkin,” tegasnya. 

Dalam paparannya bertajuk ‘Doing impact evaluation using Propensity Score Matching (PSM) dan Difference in Differences (DiD)’, Elan juga menekankan penggunaan metode yang tepat dalam mengevaluasi dampak. Banyak metode yang bisa dipakai untuk evaluasi dampak seperti dengan eksperimen maupun non-eksperimen, dan peneliti harus mengetahui alasan pemilihan metode, kelebihan dan kekurangan dari metode tersebut, serta juga memperhatikan kondisi data dan problem yang dihadapi saat mengevaluasi. 

“Perlu juga memahami kapan metode itu diaplikasikan dengan situasi program, apakah masih berlangsung atau sudah selesai programnya,” katanya.

Rizal Adi Prima juga mengapresiasi data Kartu Prakerja yang meskipun sebagai program baru namun akses data sudah tersedia serta menarik atensi banyak peneliti untuk mengevaluasi.

“Selain selection bias, hati-hati juga dalam isu memahami counterfactual. Jangan lupakan golden standard metodologi untuk evaluasi yakni Randomized Control Trials (RCT),” ingatnya.