Trik Kernel

Dewasa ini, banyak metode-metode nonlinear untuk regresi, klasifikasi dan klastering yang dikembangkan dengan menggunakan pendekatan kernel. Biasanya metode-metode tersebut menggunakan metode-metode klasik standar sebagai basis penyusunannya. Perlu diketahui bahwa metode-metode klasik itu menghasilkan model-model linear. Untuk membuat menjadi model model non linier, seperti kernel principal component analysis, kernel principal component regression, kernel ridge regression, kernel partial least square regression, support vector machine atau lainnya; maka langkah yang dilakukan adalah dengan melakukan transformasi original dataset dari ruang input berdimensi p ke suatu ruang fitur F yang mempunyai dimensi yang lebih tinggi, katakanlah q, melalui suatu fungsi yang tidak selalu eksplisit diketahui seperti yang ditunjukan pada Gambar 1 dibawah ini.

Gambar 1: Transformasi data dari ruang input ke ruang fitur.

Selanjutnya dibentuk model linear di ruang fitur tersebut dengan menggunakan metode klasik. Bisa ditebak bahwa, metode klasik di ruang fitur tersebut akan terkendala dengan adanya fungsi tersebut. Untuk mensiasati kendala ini, bisa dilakukan dengan menggunakan ‘trik kernel’ dengan menggunakan teorema mercer di bawah ini.

Teorema Mercer: