Klik di sini untuk melihat video penelitian⁠

Pengenalan emosi manusia merupakan salah satu tantangan dalam pengembangan sistem Artificial Intelligence (AI), terutama ketika sistem harus memahami emosi melalui berbagai jenis informasi. Penggunaan data multimodal berupa ucapan dan teks dapat memberikan informasi yang lebih beragam, tetapi juga menghadirkan ambiguitas yang dapat memengaruhi ketepatan prediksi model.

Menjawab tantangan tersebut, Daniel Yohanes melakukan penelitian mengenai penerapan pendekatan berbasis ketidakpastian (uncertainty) dalam sistem pengenalan emosi multimodal. Penelitian ini berfokus pada bagaimana sistem AI dapat mengenali dan mempertimbangkan tingkat keraguan terhadap setiap prediksi yang dihasilkan, khususnya ketika informasi dari ucapan dan teks memberikan sinyal emosi yang berbeda atau ambigu.

Penelitian ini mengacu pada dua jenis ketidakpastian, yaitu aleatorik dan epistemik. Ketidakpastian aleatorik berkaitan dengan ambiguitas atau variasi yang terdapat pada data, sedangkan ketidakpastian epistemik berkaitan dengan keterbatasan pengetahuan model. Dengan mempertimbangkan kedua aspek tersebut, sistem diharapkan dapat menghasilkan prediksi yang lebih terukur dan dapat diandalkan.

Untuk mengimplementasikan pendekatan tersebut, penelitian ini menggunakan metode Uncertainty-Aware Dynamic Late Fusion yang didukung oleh Monte Carlo Dropout. Pendekatan ini memungkinkan sistem mengevaluasi tingkat ketidakpastian secara dinamis pada setiap prediksi dan menentukan bagaimana informasi dari modalitas ucapan dan teks dapat dikombinasikan.

Hasil penelitian menunjukkan adanya peningkatan dalam stabilitas dan keandalan proses pengenalan emosi. Dengan mempertimbangkan tingkat ketidakpastian pada setiap prediksi, sistem dapat menangani ambiguitas multimodal dengan lebih baik sehingga menghasilkan prediksi yang lebih akurat dan dapat dipercaya.

Temuan ini menunjukkan bahwa pendekatan berbasis uncertainty dapat menjadi salah satu strategi untuk meningkatkan keandalan sistem AI dalam memahami emosi manusia. Penerapan metode tersebut juga membuka peluang pengembangan sistem pengenalan emosi multimodal yang lebih adaptif terhadap variasi dan ambiguitas pada data ucapan maupun teks.

Lihat video penelitian selengkapnya di Instagram:
https://www.instagram.com/reel/DXGKtlLkRmR/?utm_source=ig_web_copy_link&stkn=MzRlODBiNWFlZA==