Review: Agreement Prediction of Arguments in Cyber Argumentation for Detecting Stance Polarity and Intensity

Paper Review oleh William Harly, Hansen Riady Kwee, Nathan Priyasadie

Editor: Amalia Zahra, S.Kom., Ph.D.

Referensi: Sirrianni, J., Liu, X., & Adams, D. (2020, July). Agreement prediction of arguments in cyber argumentation for detecting stance polarity and intensity. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 5746-5758).

Gambar 1 menunjukkan sebuah contoh struktur pohon yang digunakan dengan nilai yang tercantum merepresentasikan nilai persetujuannya (i.e. agreement value).

Gambar 1. Contoh Struktur Pohon yang Merupakan Representasi Nilai Persetujuan terhadap Suatu Isu

Pada diskusi online dengan struktur pohon, hubungan antar argumen memiliki nilai persetujuan yang melambangkan seberapa setuju argumen tersebut terhadap argumen yang sudah ada sebelumnya. Penulis menemukan bahwa nilai tersebut memberikan informasi yang lebih banyak tentang hubungan antar argumen dibandingkan dengan nilai boolean berupa setuju atau tidak setuju dan dapat membantu proses NLP lain seperti opinion polarization dan identifikasi outlier opinion. Penulis mengumpulkan dataset dari mahasiswa sosiologi pada platform yang dibuat sendiri dalam beberapa topik kontroversial. Platform tersebut memungkinkan responden untuk membalas argumen beserta nilai persetujuan mereka. Pada penelitian ini, penulis memodifikasi beberapa model stance detection yang sudah ada dengan mengganti layer output menjadi layer yang menghasilkan nilai regresi. Gambar 2 menunjukkan arsitektur CNN sebelum dimodifikasi di mana model digunakan untuk melakukan klasifikasi terhadap pendirian seseorang terhadap suatu isu, apakah setuju, netral, atau tidak setuju.

Gambar 2. Arsitektur CNN untuk Klasifikasi Pendirian/Stance (Setuju, Netral, atau Tidak Setuju)

Gambar 3 menunjukkan hasil modifikasi CNN di mana model menghasilkan luaran berupa nilai persetujuan antara -1 (tidak setuju) hingga +1 (setuju), tidak lagi berupa klasifikasi secara diskret, melainkan sudah berupa regresi..

Gambar 3. Arsitektur CNN Setelah Modifikasi untuk Regresi Nilai Persetujuan (antara -1 hingga +1)

Hasil dari penelitian tersebut menunjukkan adanya peningkatan akurasi sekitar 1-2% pada klasifikasi menggunakan threshold terhadap nilai regresi. Selain itu, nilai root-mean-squared error yang dihasilkan sebesar 0.596. Tabel 1(a) dan (b) menampilkan akurasi dan F1-Score dari hasil pengujian yang dilakukan.

Tabel 1.(a). Akurasi dan (b). F1-Score dari Model Klasifikasi Persetujuan

(a).

(b).

Untuk ide penelitian di masa mendatang, penerapan metode augmentasi data memiliki potensi mengatasi ukuran dataset yang kecil, sehingga berkesempatan untuk meningkatkan akurasi model.