ADITYA PERMANA, 5302417027 (2022) PERBANDINGAN TINGKAT AKURASI ALGORITMA CONVOLUTIONAL NEURAL NETWORK, K-NEAREST NEIGHBOR DAN RANDOM FOREST PADA PENGENALAN ANGKA BAHASA ISYARAT INDONESIA BERBASIS VIDEO. Under Graduates thesis, UNIVERSITAS NEGERI SEMARANG.

PDF - Published Version Restricted to Repository staff only Download (0B) | Request a copy

Abstract

Bahasa isyarat adalah metode komunikasi yang digunakan oleh tunarungu dan tunawicara. Indonesia memiliki 2 bahasa isyarat yaitu Sistem Isyarat Bahasa Indonesia (SIBI) dan Bahasa Isyarat Indonesia (BISINDO). Akan tetapi 91% tunarungu dan tunawicara di Indonesia menggunakan BISINDO untuk berkomunikasi di lingkungan masyarakat. Penelitian ini mencoba untuk mengembangkan sebuah model penerjemah BISINDO berupa angka 1-10 menggunakan algoritma CNN, KNN dan random forest. Proses konvolusi pada algoritma CNN akan diterapkan pada algoritma KNN dan random forest sebagai feature extraction yang mampu mereduksi jumlah piksel pada gambar. Model konvolusi dirancang sebanyak 9 kali menggunakan metode multi convolutional layers dengan menyusun 1-5 convolutional layers dalam satu set layer. Proses pengumpulan data dilakukan dengan melakukan segmentasi warna kulit menggunakan ruang warna YCbCr. Dari proses pengumpulan data dihasilkan 1000 gambar berupa gestur tangan yang terbagi dalam 10 kelas. Proses pelatihan algoritma CNN, KNN dan random forest dilakukan sebanyak 9 kali dengan menerapkan 9 model konvolusi menggunakan data yang telah dikumpulkan. Proses uji coba dilakukan menggunakan 10 video berisi pemeragaan bahasa isyarat BISINDO berupa angka 1-10. Uji coba yang dilakukan pada algoritma CNN, KNN dan random forest menghasilkan nilai f1 score tertinggi sebesar 0,90-1,00 pada model ke-4, 0,78-1,00 pada model ke-3 dan 0,80-1,00 pada model ke-2. Selain itu proses uji coba menghasilkan nilai accuracy tertinggi pada algoritma CNN, KNN dan random forest sebesar 97% pada model ke-4, 95% pada model ke-3 dan 94% pada model ke-2. Sehingga diperoleh algoritma CNN sebagai algoritma terbaik dengan nilai f1 score dan accuracy tertinggi sebesar 0,90-1,00 dan 97% sesuai dengan standar dari Recivier Operating Characteristic (ROC) yaitu sebesar 0,80 atau 80%. Oleh karena itu algoritma CNN direkomendasikan untuk diterapkan pada pengenalan bahasa isyarat BISINDO berupa angka 1-10 karena menghasilkan performa yang lebih baik dari algoritma KNN dan random forest.

Actions (login required)

View Item