Transfer Learning

Salah satu penyebab popularitas dari deep learning adalah ketersediaan data dalam jumlah besar seperti ImageNet. Namun pada umumnya sulit untuk memiliki dataset dalam jumlah besar seperti itu. Oleh sebab akan sulit ketika proses training terhadap sebuah model dilakukan dari awal. Salah satu alternatif untuk mengatasi keadaan tersebut adalah transfer learning. Transfer learning merujuk pada sebuah cara training dengan menggunakan model yang sudah dilatih sebelumnya dan selanjutnya menggunakan model tersebut untuk sebuah dataset baru (Goodfellow et al., 2016; Patterson & Gibson, 2017)

Meskipun transfer learning memberikan solusi salah satunya terhadap permasalahan ketersediaan jumlah dataset, namun sangat penting juga ditentukan berapa jumlah dataset yang diperlukan supaya proses transfer learning memberikan akurasi yang tetap terjaga atau bahkan meningkat dari skor akurasi model asalnya. Soekhoe dkk (Soekhoe et al., 2016) melakukan penelitian terkait bagaimana cara transfer learning dan berapa jumlah dataset yang cocok untuk sebuah proses transfer learning dengan menggunakan dua jenis dataset yakni tiny-imagenet dan multiplaces2. Dilakukan beberapa percobaan dengan menurunkan jumlah dataset yakni untuk tiny-imagenet dari 500 sampai paling rendah 50 dan untuk multiplaces2 dari 1000 sampai terendah adalah 500.

Pada penelitian tersebut disajikan berbagai hasil untuk serangkaian percobaan seperti pelatihan target kelas yang baru dari awal, pelatihan terhadap semua layer, atau pembekuan terhadap beberapa layer pada jaringan. Temuan dari penelitian ini menunjukkan bahwa untuk dataset target yang kecil, pembekuan bobot beberapa layer awal (3 layer awal) jaringan memberikan hasil yang lebih baik. Selain itu jumlah dataset yang kecil yakni 300 setiap kelas dari tinyimagenet dan 900 setiap kelas dari multiplaces2 memberikan hasil terbaik.

Teknik transfer learning yang akan digunakan pada penelitian ini adalah dengan menggunakan sebagian layer yang sudah dilatih menggunakan dataset ImageNet, kemudian di transfer dan proses fine-tuning dilakukan terhadap model yang digunakan untuk permasalahan baru yakni klasifikasi usia berdaarkan foto wajah, pada penelitian (Tan et al., 2018) menyebut hal ini dengan networkbased deep transfer learning. Gambar 1  menunjukkan diagram untuk networkbased deep transfer learning.

Gambar 1 Diagram Network-based Deep Transfer Learning (Tan et al., 2018)

Referensi

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.

Patterson, J., & Gibson, A. (2017). Deep learning: A practitioner’s approach. “ O’Reilly Media, Inc.”

Soekhoe, D., Van Der Putten, P., & Plaat, A. (2016). On the impact of data set size in transfer learning using deep neural networks. International Symposium on Intelligent Data Analysis, 50–60.

Tan, C., Sun, F., Kong, T., Zhang, W., Yang, C., & Liu, C. (2018). A survey on deep transfer learning. Lecture Notes in Computer Science (Including Subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 11141 LNCS, 270–279. https://doi.org/10.1007/978-3-030-01424-7_27