Pengembang platform Probator.ai membagikan pendekatan teknis yang digunakan dalam melatih model pendeteksi teks buatan kecerdasan buatan (AI) untuk enam bahasa yang kini beroperasi di balik setiap proses pemeriksaannya. Melalui keterbukaan ini, pihak pengembang memaparkan metodologi pelatihan secara rinci sembari tetap merahasiakan sejumlah elemen penting, seperti model AI spesifik yang digunakan untuk memproduksi teks pelatihan, total volume data, arsitektur jaringan secara persis, serta nilai ambang batas (threshold). Informasi-informasi tersebut sengaja dirahasiakan agar sistem deteksi tidak mudah dimanipulasi atau diakali oleh pihak luar, sementara rincian metodologis lainnya dibuka kepada publik.
Prinsip Berpasangan dalam Penyusunan Data Latih
Langkah awal dalam perancangan model ini didasarkan pada prinsip mengajarkan identitas pembuat teks dan bukan topik pembahasannya. Kesalahan umum dalam pembuatan alat pendeteksi teks AI adalah mengambil korpus teks manusia dari satu sumber tertentu dan teks AI dari sumber lain, yang mengakibatkan model salah mengasosiasikan gaya tertentu—seperti artikel ensiklopedia sebagai tulisan manusia dan format blog sebagai keluaran AI. Akibatnya, model dapat memperoleh nilai pengujian yang tinggi pada data internalnya sendiri namun gagal saat dihadapkan pada dokumen nyata. Untuk mengatasinya, data pelatihan disusun secara berpasangan, yakni teks manusia dan teks AI yang membahas topik yang sama, serta menggunakan bahasa dan genre yang identik, sehingga satu-satunya perbedaan yang tersisa adalah siapa yang menulisnya.
Guna memastikan keaslian teks manusia, seluruh data bersumber dari publikasi yang terbit sebelum maraknya chatbot kecerdasan buatan, yakni sebelum tahun 2022. Sumber teks manusia ini mencakup artikel ensiklopedia, perayapan halaman web bertahun-tahun sebelumnya, artikel berita, dan abstrak akademis yang telah melewati penyaringan kualitas. Materi tersebut mencakup enam bahasa, yaitu bahasa Inggris, Portugis, Spanyol, Prancis, Jerman, dan Italia. Keragaman genre menjadi perhatian utama sebanding dengan volume data, terutama untuk tulisan formal, teknis, dan hasil terjemahan, mengingat jenis tulisan tersebut merupakan area di mana pendeteksi teks AI paling sering membuat kesalahan dengan menuduh tulisan manusia sebagai teks AI.
Variasi Sumber dan Karakteristik Teks AI
Di sisi lain, kumpulan teks AI diproduksi menggunakan berbagai model mutakhir dengan instruksi cepat (prompt) yang bervariasi dalam hal genre, panjang tulisan, dan nada bicara. Pelatihan yang hanya mengandalkan satu model akan membuat pendeteksi mempelajari kebiasaan spesifik model tersebut, sedangkan penggunaan banyak model memaksa sistem mengenali karakteristik umum teks AI. Dua jenis teks AI yang lebih menantang juga disertakan ke dalam data latih, yaitu draf tulisan manusia yang dipoles atau ditulis ulang oleh AI (AI-polished human text), serta teks yang sengaja diinstruksikan kepada AI agar terdengar dan bergaya alami selayaknya tulisan manusia (humanized text).
Dalam evaluasi data, pengembang membagi dataset berdasarkan pasangan topik secara utuh dan bukan secara acak per kalimat atau per bagian. Penilaian dilakukan dari bagian ke bagian (passage by passage), sehingga pembagian acak berisiko menempatkan potongan dari dokumen yang sama ke dalam data latih dan data uji sekaligus, yang dapat menimbulkan ilusi akurasi yang lebih tinggi karena model telah melihat bagian dokumen tersebut. Setiap pasangan topik diberi kode hash yang stabil dan ditempatkan secara utuh ke dalam salah satu dari tiga kelompok: kelompok latih (train) untuk pembelajaran model, kelompok validasi (validation) untuk kalibrasi, dan kelompok uji (test) untuk pelaporan performa tanpa pernah disentuh selama proses pembelajaran.
Arsitektur Model Ringkas dan Representasi Teks
Struktur model yang dibangun mengubah setiap bagian teks menjadi multilingual sentence embedding serta sejumlah fitur gaya sederhana. Jaringan saraf tiruan (neural network) berukuran kecil kemudian mengolah representasi tersebut menjadi nilai probabilitas bahwa teks ditulis oleh mesin, sebelum skor setiap bagian digabungkan menjadi skor keseluruhan dokumen. Pemilihan arsitektur yang sengaja dibuat ringkas bertujuan agar pemeriksaan hanya menambah latensi dalam hitungan milidetik dan tetap hemat biaya saat perlu dilatih ulang seiring kemunculan model-model AI baru. Nilai probabilitas ini juga terkalibrasi secara presisi, sehingga nilai 0,8 benar-benar mencerminkan probabilitas 80 persen, bukan sekadar indikasi nilai di atas 0,6.
Strategi Kalibrasi Menekan Angka Positif Palsu
Proses kalibrasi dirancang khusus untuk meminimalkan kerugian akibat kesalahan tuduhan terhadap dokumen yang ditulis manusia (false positive). Mengingat tuduhan palsu terhadap esai seorang siswa jauh lebih berdampak buruk dibandingkan ketidaksengajaan melewatkan teks AI, ambang batas keputusan diatur per bahasa pada set validasi dengan standar ketat, yaitu maksimal hanya satu dari 100 dokumen manusia yang terpicu alarm deteksi. Sistem juga dilengkapi tiga lapis pelindung tambahan: pembatasan vonis teks AI untuk dokumen di bawah 80 kata kecuali ada bukti nyata seperti sisa teks chatbot atau tanda tersembunyi; kewajiban kesepakatan dari minimal dua sinyal verifikasi independen (termasuk pembacaan ahli oleh model bahasa, uji penulisan ulang, dan pemeriksaan forensik); serta transparansi laporan yang mencatat secara terbuka ketika suatu pelindung mengubah hasil analisis.
Penyempurnaan model turut dilakukan dengan secara aktif menelusuri hasil positif palsu dari laporan pengguna nyata. Sebagai contoh, pengembang pernah menerima masukan dari pengguna yang dokumen buatannya sendiri memperoleh indikasi kemungkinan AI sebesar 9 persen. Meskipun nilai tersebut masih di bawah batas vonis AI, pengembang menganalisis karakteristik tulisan tersebut yang bersifat formal, terstruktur rapi, dan minim sentuhan personal. Berdasarkan temuan tersebut, tim memasukkan lebih banyak data tulisan manusia dengan karakteristik serupa ke dalam kumpulan data latih sebelum melakukan pelatihan ulang. Kasus ini menegaskan bahwa teks yang paling rentan disalahpahami justru merupakan jenis data yang paling berharga untuk dikumpulkan.
Infrastruktur Pelatihan Serverless yang Modular
Infrastruktur pelatihan dirancang secara modular dan dapat dilanjutkan (resumable) di atas arsitektur serverless tanpa mengandalkan kluster GPU atau mesin komputasi yang beroperasi terus-menerus. Setiap tahapan, mulai dari pengumpulan data, pembuatan teks AI, embedding, hingga pelatihan, dijalankan dalam langkah-langkah kecil yang menyimpan status dan bobot model (checkpoint) ke penyimpanan objek (object storage). Alur kerja digerakkan oleh antrean tugas dengan mekanisme pemantau (watchdog) yang bertugas memulai ulang langkah yang mengalami hambatan, serta mendukung proses penambahan data baru (additive runs) secara langsung tanpa harus mengulang proses pelatihan dari awal.
Pada pengujian menggunakan dokumen uji terpisah (held-out test) untuk keenam bahasa, model ini mencatatkan tingkat akurasi sebesar 98,4 persen dan skor AUROC sebesar 0,998, yang menunjukkan kemampuan pemeringkatan teks AI di atas teks manusia mendekati nilai sempurna 1,0. Pengembang menegaskan bahwa alat deteksi bukanlah bukti mutlak, sehingga hasil analisis selalu disajikan bersama alasan pendukung agar keputusan akhir tetap berada di tangan manusia. Akses terhadap sistem deteksi ini disediakan melalui editor web gratis dengan kuota 5.000 kredit per bulan tanpa memerlukan kartu pembayaran, serta melalui REST API dan server remote Model Context Protocol (MCP) untuk integrasi langsung ke basis kode atau agen AI.