Menilai kepribadian seseorang tidak lagi hanya dengan menggunakan perasaan. Artikel ini secara singkat akan menjelaskan penggunaan aplikasi pendeteksi kepribadian menggunakan teknologi multimedia retrieval (video) dan deep learning.

Disusun oleh: Made Dhanar I. Yoga (200184789), Clarissa E. Amos Pah (2001848064), Anditika Maulida P (2001847995).

Pengenalan

First Impression merupakan salah satu faktor yang cukup penting dalam beberapa situasi, misalnya saat melakukan penerimaan tenaga kerja baru. Pengaruh first impression pelamar pada proses rekrutmen cukup besar untuk menentukan diterima atau tidaknya pelamar, selanjutnya, beberapa tes kepribadian dan psikotes akan dilakukan untuk secara objektif menilai kepribadian pelamar yang layak diterima. Proses ini biasanya membutuhkan waktu yang cukup lama dan tenaga kerja khusus yang menanganinya, oleh karena itu para peneliti dari University of Tartu dan University of Barcelona merancang sebuah aplikasi yang dapat mengenali perilaku manusia dari tiga data yang dapat diperoleh, yakni audio, video dan teks yang kemudian diolah menggunakan deep learning – Long Short-Term Memory.

Mendeteksi Kepribadian

Indikator yang paling sering digunakan untuk menentukan perilaku manusia adalah Big Five Personality Traits yang ditemukan oleh ahli psikolog Oliver P.Jhon dan Sanjay Srivastava. Indikator ini terdiri dari:

• Extroversion: menilai kemampuan sosialisasi dan komunikasi asertif,
• Agreeableness: menilai tingkat keramahan orang,
• Concientiouness: menilai disiplin,
• Neuroticism: menilai kestabilan emosi, dan
• Openness: menilai tingkat intelektual.

Selanjutnya, indikator ini dijadikan acuan penelitian aplikasi pendeteksi kepribadian. Penelitian ini menggunakan dataset ChaLearn’s job candidate screening competition speed interviews project yang terdiri dari 10.000 cuplikan video yang berisi cuplikan orang-orang sedang berbicara menggunakan bahasa Inggris dalam posisi duduk dengan kondisi pencahayaan serta latar belakang yang berbeda-beda. Setiap video diberikan 1 label dari 6 total label. 5 label masing-masing untuk melambangkan kepribadian orang dalam video tersebut menggunakan acuan Big Five Personality Traits dan 1 label untuk melambangkan orang dalam video tersebut layak untuk diundang interview kerja atay tidak.

Gambar 1 – Proses Aplikasi Deteksi Kepribadian

Gambar 1 mengilustrasikan cara kerja dari metode penelitian yang digunakan. Setiap video terdiri dari 3 komponen yang akan diekstrak masing-masing dalam database yang terpisah yakni sinyal suara, urutan gambar dan teks. Ketiga komponen ini kemudian masing-masing akan diproses pada machine learning menggunakan metode Long Short-Term Memory (LSTM).

Gambar 2 – Contoh Video yang Telah Diberi Label

Gambar 2 mengilustrasikan pemberian label untuk masing-masing video yang sangat positif dan sangat negative dari setiap kepribadian. Sample ini menunjukan pentingnya aspek visual terhadap first impression seseorang saat melakukan interview pekerjaan sebagaimana kepribadiannya.

AUDIO, VIDEO DAN NLP

Audio dari setiap video awalnya diterjemahkan ke dalam time-series, kemudian diekstrak menggunakan Librosa, salah satu library Python. Ekstraksi ini secara otomatis menghasilkan emotion dan speech recognition. Untuk mengenal fitur wajah, peneliti menggunakan Open Face, yang memiliki 416 fitur untuk setiap frame video. Fitur-fitur ini dapat secara 2D menandai keunikan wajah dalam pixel, secara 3D menandai titik koordinat wajah, orientasi kepala, vector pergerakan bola mata, rotasi kepala dan fitur lainnya. Untuk teks processing/NLP menggunakan data mining dari SentiWordNet yang memiliki sejumlah besar kata-kata yang sudah diberi nilai dan apakah termasuk kata-kata yang negatif atau positif.  Hasil dari ekstraksi audio, video dan teks ini akan diproses menggunakan LSTM pada deep learning.

HASIL PENELITIAN

Data dibagi menjadi 3 set yakni data training, data validasi dan data test. Data training dan validasi digunakan untuk mengetahui dan memilih model terbaik. Testing ini menggunakan TensorFlow untuk mengetahui keakuratan atau Loss dari deep learning. Gambar 3 menunjukan perbandingan akurasi model antara penelitian ini dengan hasil penelitian partisipan lainnya.

Gambar 3 – Perbandingan Akurasi Penelitian Serupa

KESIMPULAN

Dengan adanya aplikasi deteksi kepribadian ini, kita dapat mengetahui kepribadian seseorang dengan memproses video saat orang tersebut sedang berbicara di depan kamera. Cara kerja aplikasi ini adalah dengan mengekstrak video ke dalam 3 komponen yakni audio, urutan gambar dan teks yang dibicarakan (speech recognition) dengan bantuan fitur-fitur dari Librosa, OpenFace, SentiWordNew, selanjutnya diproses menggunakan LSTM pada deep learning.