Klik di sini untuk melihat video penelitian

Analisis log web server merupakan salah satu aspek penting dalam pemantauan dan pengelolaan sistem. Data log dapat digunakan untuk mendeteksi anomali, mengevaluasi performa sistem, serta mendukung proses investigasi ketika terjadi insiden. Namun, karakteristik log yang semi-terstruktur dan jumlah data yang besar dapat membuat proses analisis secara manual menjadi tidak efisien serta meningkatkan risiko kesalahan dalam mengidentifikasi informasi yang relevan.

Menjawab tantangan tersebut, Beny Ibrani melakukan penelitian mengenai pengembangan chatbot asisten cerdas yang dapat membantu proses analisis log web server secara otomatis. Penelitian ini memanfaatkan Large Language Model (LLM) yang diperkuat dengan pendekatan Retrieval-Augmented Generation (RAG) agar sistem dapat memberikan jawaban yang lebih kontekstual berdasarkan data log dan dokumentasi teknis yang tersedia.

Dalam sistem yang dikembangkan, data log NGINX dan dokumentasi teknis diproses untuk menjadi sumber informasi yang dapat digunakan oleh chatbot. Data tersebut direpresentasikan dalam bentuk vektor menggunakan teknik embedding, sehingga informasi yang relevan dapat ditemukan berdasarkan pertanyaan pengguna. Hasil pencarian kemudian digunakan oleh model LLM sebagai konteks dalam menghasilkan jawaban.

Penelitian ini juga menerapkan mekanisme re-ranking untuk meningkatkan relevansi informasi yang digunakan sebelum menghasilkan jawaban. Dengan pendekatan tersebut, sistem tidak hanya mengandalkan kemampuan generatif LLM, tetapi juga memanfaatkan informasi yang relevan dari sumber data untuk memberikan respons yang lebih sesuai dengan konteks pertanyaan.

Hasil penelitian menunjukkan bahwa penerapan RAG dengan re-ranking mampu meningkatkan kualitas jawaban dibandingkan dengan pendekatan RAG tanpa re-ranking. Temuan ini menunjukkan bahwa integrasi mekanisme pencarian informasi dan pemeringkatan ulang dapat membantu menghasilkan respons yang lebih relevan dalam proses analisis log web server.

Pengembangan chatbot berbasis LLM dan RAG ini memiliki potensi untuk mendukung proses monitoring dan investigasi sistem secara lebih efisien. Dengan memungkinkan pengguna berinteraksi dengan data log melalui pertanyaan dalam bahasa yang lebih natural, pendekatan ini dapat menjadi salah satu alternatif untuk membantu mengurangi kompleksitas analisis log dalam lingkungan web server dengan volume data yang besar.


Lihat video penelitian selengkapnya di Instagram:
https://www.instagram.com/reel/DWYT8TiEdvF/?utm_source=ig_web_copy_link&stkn=MzRlODBiNWFlZA==