Klik di sini untuk melihat video penelitian

Artificial Intelligence (AI) semakin banyak dimanfaatkan untuk merangkum berita secara otomatis. Namun, kemampuan menghasilkan ringkasan yang lancar dan mudah dipahami tidak selalu menjamin bahwa informasi yang disampaikan sesuai dengan fakta dalam teks sumber. Ketidaksesuaian informasi atau kesalahan faktual dalam ringkasan dapat memengaruhi keandalan AI, terutama ketika digunakan untuk memahami berita dan memperoleh informasi secara cepat.

Menjawab tantangan tersebut, Made Dwiki Budi Laksana, mahasiswa Magister Teknik Informatika BINUS Graduate Program, di bawah bimbingan Prof. Benfano Soewito, M.Sc., Ph.D., melakukan penelitian mengenai peningkatan konsistensi faktual pada ringkasan berita berbahasa Indonesia. Penelitian ini berfokus pada upaya meningkatkan kesesuaian isi ringkasan dengan teks sumber tanpa harus melatih ulang model peringkas yang digunakan.

Penelitian ini memanfaatkan model BART yang dilatih menggunakan dataset berita Liputan6 untuk menghasilkan empat kandidat ringkasan dari setiap teks sumber. Selanjutnya, pendekatan Natural Language Inference (NLI) digunakan untuk mengevaluasi hubungan antara teks sumber dan setiap kandidat ringkasan, kemudian memilih ringkasan yang paling didukung oleh informasi dalam sumber aslinya.

Dengan pendekatan tersebut, proses peringkasan tidak hanya mempertimbangkan kelancaran bahasa, tetapi juga kesesuaian informasi yang disampaikan dengan teks sumber. Metode ini diterapkan tanpa memerlukan pelatihan ulang model peringkas, sehingga menawarkan alternatif untuk meningkatkan konsistensi faktual melalui proses seleksi ringkasan.

Pengujian terhadap 10.971 berita menunjukkan bahwa metode yang diusulkan meningkatkan skor dukungan fakta sebesar 50,5% dan menurunkan tingkat kontradiksi sebesar 18,8%, sementara kualitas bahasa yang diukur menggunakan metrik ROUGE relatif tidak berubah. Hasil ini menunjukkan bahwa pemilihan kandidat ringkasan berdasarkan dukungan faktual dapat meningkatkan kesesuaian isi tanpa mengurangi kualitas ringkasan secara signifikan menurut metrik tersebut.

Untuk menguji konsistensi hasil, penelitian ini juga menggunakan model NLI kedua yang independen. Pengujian tambahan tersebut menunjukkan peningkatan sebesar 8,7%. Meskipun peningkatannya lebih kecil dibandingkan evaluasi awal, hasil ini tetap menunjukkan arah perbaikan yang konsisten ketika metode diuji menggunakan model evaluasi yang berbeda.

Penelitian ini menunjukkan potensi integrasi BART dan Natural Language Inference dalam meningkatkan keandalan sistem peringkasan berita berbahasa Indonesia. Pendekatan ini dapat menjadi salah satu alternatif untuk mengurangi kesalahan faktual dalam ringkasan yang dihasilkan AI, sekaligus mempertahankan kualitas bahasa yang mudah dipahami.

Melalui penelitian ini, pengembangan AI untuk pemrosesan bahasa alami tidak hanya diarahkan pada kemampuan menghasilkan teks yang lancar, tetapi juga pada pentingnya memastikan bahwa informasi yang disampaikan tetap didukung oleh sumber aslinya.

Lihat video penelitian selengkapnya di Instagram:
https://www.instagram.com/reel/DeQ7p8YFDVf/?utm_source=ig_web_copy_link&mdxt=MzRlODBiNWFlZA==&srtk=MzRlODBiNWFlZA==