Search Engine Optimization dan Feature Signature pada multimedia

03 Sep 2020

SEO (Search Engine Optimization) diantaranya terdiri dari penelusuran pencarian Text dan Multimedia, dimana Multimedia terdiri dari penelusuran pencarian Audio, Image, dan Video. Kami akan membahas tentang penelusuran audio (Voice search).

Saat ini, penelusuran suara (voice search) menunjukkan perubahan dalam landscape SEO yang tidak dapat dianggap kecil, karena optimisasi voice search semakin banyak dan beragam. Sebenarnya, aplikasi voice search ini masih relatif baru, namun voice search telah banyak mengalihkan perhatian publik dan meramaikan dunia SEO dengan performa dan fiturnya nya yang cukup handal.

Siapapun yang memiliki smartphone maupun perangkat smart home, kini tidak lagi memanfaatkan perangkat itu diujung jarinya, tetapi sudah beralih keujung lidahnya. Dari hasil penelitian di Universitas Stanford baru-baru ini, menemukan bahwa teknologi voice search/voice recognizer kini lebih cepat dibandingkan mengetik. Untuk dunia bisnis, voice search merupakan salah satu SEO yang dapat memberikan layanan baru yang inovatif dan menawarkan kenyamanan dan kemudahan.

Dari laporan data terkini, Microsfot juga menyatakan bahwa voice search memiliki tingkat kesalahan lebih kecil yaitu sekitaar 5,1% dibandingkan dengan pengetikan (text search).

Grafik dari Google Machine Learning berikut ini menunjukkan bahwa voice search menampilkan hasil yang sangat luar biasa, dengan tingkat ketepatan 95%, dan kesalahan 5% dari ambang batas ketepatan manusia.

Manakah dari aplikasi berikut yang telah Anda kontrol dengan suara?

Data menunjukkan bahwa :

55% orang telah melakukan Texting/pengetikan dengan suara
51% orang telah melakukan panggilan dengan suara
39% orang telah melakukan pencarian online
32% orang telah memainkan musik
24% orang telah melakukan setting reminder / membuat catatan
19% orang belum pernah menggunakan aplikasi dengan perintah suara
13% orang melakukan posting di media sosial

Pada tahun 2017, penggunaan voice search mengalami pertumbuhan yang mengejutkan sebesar 178%, dan kemungkinan di tahun-tahun mendatang angka itu akan semakin meningkat.

Gambar berikut menunjukkan bahwa waktu load (time to load page) dengan menggunakan voice search memerlukan waktu yang lebih cepat dibandingkan dengan rata-rata webpage dan sangat memengaruhi kinerja secara signifikan:

30 kata teratas yang paling sering ditemui dalam kueri penelusuran dengan cuplikan pilihan

menurut jenis kelamin: di lingkungan apa orang menggunakan penelusuran suara?

Feature Signature pada Content-Based Multimedia Search Engine

Peningkatan pertumbuhan konten digital pada lingkungan internet yang sangat pesat membuat kebutuhan akan pencarian berbasis multimedia menjadi tantangan tersendiri. Bagaiman cara mengindeks dan mengquery terkait mesin pencarian dengan waktu respon yang dapat diterima. Kesulitan akan terjadi misalnya pada pencarian terkait gambar / video, akan banyak tedapat kesamaan antar konten untuk suatu query.

Pada umumnya, mesin pencarian hanya menggunakan query berbasis text dan hanya mempertimbangkan hal-hal terkait metadata, seperti: judul, teks deskripsi, atau tag yang telah ditentukan. Namun konten itu sendiri tidak dilakukan query karena keterbatasan resource dan belum dimungkinkannya hal tersebut dengan teknologi yang ada.

Salah satu metode yang dapat digunakan terkait multimedia search adalah menggunakan feature signatures, bagaimana membuat sebuah ringkasan dari objek multimedia yang secara ringkas dapat mewakilkan konten multimedia aslinya sehingga memungkinkan perbandingan antar objek.

Quantifying Similarity

Pendekatan matematis digunakan untuk menyatakan nilai persamaan dari sebuah objek. Cara paling umum adalah menggunakan model fungsi jarak. Bila nilai yang dihasilkan besar artinya persamaan antar dua objek adalah rendah dan sebaliknya. Bila nilai yang dihasilkan adalah 0, artinya kedua objek sama persis.

Misal adalah sebuah himpunan, disebut fungsi jarak jika semua :

(reflexivity)
(symmetry)
(non-negativity)

Untuk melakukan proses kueri secara efisien, fungsi jarak ini perlu dinyatakan dalam metrik.

Misal adalah fungsi jarak. disebut metrik jika semua :

(identity of indiscernibles)
(triangle inequality)

Alternative lain untuk memodelkan kesamaan antara dua objek adalah menggunakan rata-rata dari fungsi similarity, dimana nilai yang kecil mengartikan objek yang berbeda dan nilai yang besar adalah semakin mirip.

Misal adalah sebuah himpunan, disebut fungsi similarity jika semua dimana (maximum self-similarity)

Query Types

Setelah kedua objek dimodelkan dengan persamaan tadi, dapat dibentuk fungsi range-query untuk menghasilkan bobot jarak dari masing-masing objek pada database saat mencari kesamaan objek. Tentunya dengan beberapa kriteria yang harus dipenuhi.

Misal adalah himpunan objek, adalah fungsi jarak, adalah objek-objek dalam database, adalah objek yang diquery dan adalah radius pencarian. Range query didefinisikan sebagai:

Pada range kueri ini, terdapat kesulitan untuk menentukan nilai untuk menghasilkan ukuran yang sesuai. Ketika bernilai terlalu kecil, hasil akan lebih sedikit atau malah kosong. Sebaliknya, bila nilai diberikan terlalu besar, hasil dapat sebesar database yang ada. Masalah ini dapat diselesaikan dengan menggunakan k-Nearest Neighbor Query. Nilai objek yang akan dikembalikan ditentukan dari awal. Persamaan yang telah disesuaikan menjadi:

Misal adalah himpunan objek, adalah fungsi jara, database objek, adalah objek yang dikueri dan . K-Nearest Neighbor dari w.r.t. sebagai set terkecil dari dengan sehingga berlaku:

Extracting Feature Vectors

Setiap objek memiliki nilai karakteristik tersendiri, hal ini dapat diekstrak dari objek tersebut menjadi suatu vector objek yang dapat mewakili objek itu. Ilustrasinya adalah sebagai berikut:

Langkah awal adalah memilih beberapa sampel frame dari sebuah video (misalnya 10 frame/detik). Untuk setiap frame, akan ditentukan sebuah nilai sampel equidistant pixel. Setiap sampel pixel, akan dibentuk vector Euclidean 8 dimensi sebagai perwakilan pixel dari konten tersebut. Atribut pada vector ini dapat disesuaikan kebutuhan.

x dan y merupakan pixel koordinat pada sebuah frame. 3 atribut selanjutnya adalah berkaitan dengan warna dari pixel dalam , tingkat kecerahan, nilai antara merah dan hijau dan nilai antara biru dan kuning. Pemilihan color space dibandingkan dengan nilai RGB dikarenakan Euclidean space memiliki korelasi yang yang lebih baik untuk mencapai ketidaksamaan dengan color space lain. Untuk menghitung nilai kontras dari 12×12 pixel yang bertetanggaan yang dimana merupakan jarak dinamis antar warna. Selanjutnya coarseness dihitung yang merupakan besaran nilai untuk pixel sekelilingnya. Kemudian t adalah waktu pada frame tersebut.

Semua vektor telah mewakilkan karakteristik dari objek, x dan y merupakan lebar dan tinggi image, L* color coordinat antara 0 – 100 per 100. a* dan b* color coordinat antara -128 – 127, akan ditambahkan dengan 128 lalu dibagi 255. Nilai kontras antara 0 – 128 dan akan dibagi dengan 128. Nilai coarseness antara 0 – 5 dan akan dibagi dengan 5. Nilai waktu akan dibagi dengan durasi video. Hal ini kan menghasilkan nilai masing-masing dimensi memilki rentang dari 0 – 1.

Feature Signatures

Vector yang telah diekstrak pada tahap sebelumnya, sebenarnya tidak perlu dilakukan secara lengkap semua, karena banyak informasi yang berulang tersimpan dalam vector-vektor tersebut yang tidak berpengaruh drastis terhadap proses pembandingan objek. Oleh karena itu, dibentuk sebuah struktur baru yang disebut feature signature.

Bila adalah fungsi feature signature dimana (nilai hanya akan berisi bilangan real, dan 0 untuk sebaliknya). Representasi dari X akan dibentuk oleh

Untuk menghitung feature signature dilakukan menggunakan algoritma clustering

Vektor-vektor akan dikelompokan seperti ilustrasi diatas, kelompok merah, biru dan hijau. Titik tengah dari cluster tersebut akan menjadi representasi dari feature signature S.

sebagai kluster feature vector. Clustering-induced normalized feature signature didefinisikan sebagai , dimana:

Ilustrasi diatas menggambarkan sebuah objek 3D dan feature signatures nya dengan k = 100.

Kluster direpresentasikan dengan gelembung. Posisinya pada koordinat 3D merupakan pemetaan nilai x,y dan waktu. Warna yang ditunjukkan merupakan korespondensi dari L*a*b* dimensi warna. Volume dari gelembung merupakan bobot yang diberikan oleh feature signature.

Referensi:

Anggota kelompok:

Nama	NIM
Budiutama	2140032976
Filbert	2140032995
Kuri Asih	2140033013

M. Sani Isa