Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time - Oky Dwi Nurhayati; Dania Eridani; Muhammad Hafiz Tsalavin (Jurnal Teknologi Informasi dan Ilmu Komputer)
Bahasa isyarat dengan menggunakan gerakan tangan biasanya dilakukan oleh tuna rungu dan tuna wicara. Bahasa isyarat yang digunakan di Indonesia adalah SIBI (Sistem Isyarat Bahasa Indonesia). Namun, penggunaan bahasa isyarat tangan tidak selalu di mengerti oleh manusia normal sehingga dibutuhkan perangkat tambahan yang dapat mempermudah dalam menerjemahkan suatu isyarat. Perangkat tambahan yang dikembangkan dalam penelitian ini melibatkan teknologi visi komputer deep learning sehingga menghasilkan tools untuk menerjemahkan bahasa isyarat tangan. Dalam penelitian ini, gambar isyarat tangan di capture menggunakan webcam kemudian dilakukan pre-processing dengan mengubah gambar ke dalam bentuk HSV. Gambar yang digunakan dalam penelitian berupa citra sebanyak 26 kelas huruf alfabet SIBI dan 3 kelas tambahan, dengan masing-masing kelas memiliki 1000 gambar. Kemudian dilakukan cropping dan thresholding dengan menempatkan isyarat tangan yang berbentuk huruf  kedalam kotak yang merupakan area ROI untuk memudahkan pengenalan. Teknologi visi komputer deep learning convolutional neural network (CNN) digunakan untuk feature learning dan mengklasifikasi isyarat tangan pada sebuah obyek. Untuk menguji metode CNN, digunakan berbagai variasi cahaya sebesar 10-200 lux, serta jarak dari tangan ke webcam 50-200 cm. Hasil penelitian dengan metode CNN pada citra isyarat tangan memberikan akurasi sebesar 92%, presisi 91,96%, sensitivitas 91,9%, spesivisitas 91,96% dan f1 score 91,9%.