Klik di sini untuk melihat video penelitian⁠

Penelitian mengenai analisis sentimen pada teks code-mixed Indonesia–Jawa menghadapi tantangan tersendiri karena penggunaan lebih dari satu bahasa dalam sebuah teks dapat menghasilkan pola bahasa yang kompleks. Di sisi lain, pengembangan model berbasis Deep Learning dan Transformer membutuhkan sumber daya komputasi yang cukup besar, terutama ketika proses pelatihan dilakukan melalui metode Full Fine-Tuning.

Menjawab tantangan tersebut, Marwah Inas Rabbani melakukan penelitian yang membandingkan metode Full Fine-Tuning dengan pendekatan Parameter-Efficient Fine-Tuning (PEFT) menggunakan teknik (IA)³. Penelitian ini menggunakan dua model berbasis Transformer, yaitu IndoBERTweet dan XLM-RoBERTa, untuk menganalisis sentimen pada teks code-mixed Indonesia–Jawa.

Hasil eksperimen menunjukkan bahwa IndoBERTweet menghasilkan akurasi tertinggi sebesar 82,33%. Sementara itu, penerapan PEFT dengan teknik (IA)³ menunjukkan keunggulan dari sisi efisiensi penggunaan sumber daya. Pendekatan ini mampu mengurangi kebutuhan penyimpanan model dari sekitar 3 GB menjadi 6 MB, dengan tetap mempertahankan performa yang kompetitif, yaitu mencapai akurasi sebesar 81,08%.

Perbandingan tersebut menunjukkan bahwa peningkatan efisiensi tidak selalu harus mengorbankan performa model. Dengan jumlah parameter yang perlu diperbarui lebih sedikit, PEFT dapat menjadi alternatif untuk mengembangkan model AI yang lebih ringan dan membutuhkan sumber daya yang lebih rendah.

Temuan penelitian ini menunjukkan adanya peluang untuk menerapkan pendekatan Parameter-Efficient Fine-Tuningdalam pengembangan sistem analisis sentimen berbasis Transformer, khususnya pada data multibahasa atau code-mixed. Pendekatan tersebut dapat mendukung pengembangan sistem AI yang lebih efisien tanpa mengurangi kualitas hasil secara signifikan.

Lihat video penelitian selengkapnya di Instagram:
https://www.instagram.com/reel/DW0TDvOERfO/?utm_source=ig_web_copy_link&stkn=MzRlODBiNWFlZA==