Penerapan Computer Vision Dengan Gesture Recognition Pada Aplikasi Penerjemah Bahasa Isyarat Indonesia (Bisindo) Berbasis Mobile Untuk Meningkatkan Komunikasi Efektif Pada Teman Tuli

Abstract

Adanya hambatan komunikasi anatar teman Tuli dan masyarakat umum yang kurang atau bahkan tidak menguasai Bahasa Isyarat Indonesia (BISINDO) masih menjadi tantangan besar. Penelitian ini bertujuan untuk membuat aplikasi mobile penerjemah BISINDO secara real-time menggunakan teknologi computer vision dan Gesture Recognition. Sistem ini menggunakan algoritma Convolutional Neural Network (CNN) dengan model YOLO V8 untuk mengenali pola gerakan tangan yang membentuk alfabet Bahasa isyarat. Metedologi yang digunakan dalam pengembangan sistem ini adalah metode agile. Hasil penelitian menunjukkan bahwa aplikasi berhasil mendeteksi dan menerjemahkan gerakan isyarat abjad tunggal menjadi teks secara akurat dengan kecepatan respon yang stabil. Berdasarkan pengujian pada 2182 citra validasi, model mencapai nilai mean Average Precision (mAP50) sebesar 0,995, tingkat Precision sebesar 0,989, dan Recall sebesar 0,99. Selain itu, sistem menunjukkan performa komputasi yang sangat efisien dengan kecepatan inference sebesar 3,1 ms per citra. Hal ini membuktikan bahwa model memiliki keandalan tinggi dalam mengklasifikasikan abjad BISINDO sehingga dapat meningkatkan efektivitas komunikasi bagi teman Tuli dalam interaksi sehari-hari.