Penerjemahan Ucapan Bahasa Sunda Menggunakan Augmentasi Visual dengan Convolutional Neural Network Berbasis Web
DOI:
https://doi.org/10.32493/joaiia.v7i1.56485Keywords:
Bahasa Sunda, Pengenalan Suara, NLLB-200, Metode CNNAbstract
Riset ini mengembangkan sistem penerjemahan ucapan Sunda berbasis web yang mengintegrasikan peningkatan visual melalui Convolutional Neural Network (CNN). Tantangan utama adalah akurasi tidak memadai pada Automatic Speech Recognition (ASR) berbasis audio untuk bahasa dengan sumber daya terbatas pada kondisi bising. Solusi mengombinasikan Whisper Medium teroptimasi untuk transkripsi, pembacaan bibir berbasis CNN, dan fusi audio-visual berbobot atensi. Pelatihan memanfaatkan korpus OpenSLR36 dengan ~35.000 sampel dari 175.324 instans tersedia (subset karena keterbatasan memori). Optimasi dijalankan pada RunPod menggunakan GPU NVIDIA RTX 4090 (24GB VRAM) selama 5.000 iterasi (~11 jam). Hasil menunjukkan model teroptimasi mencapai Word Error Rate (WER) 2,45% pada checkpoint optimal (iterasi 3500), meningkat 7,37 poin persentase dari baseline (9,82% pada iterasi 500). Performa ini mendekati hasil mutakhir Raharjo & Zahra (2025) melaporkan WER 2,03% menggunakan Whisper Small. Modul visual terdiri dari CNN tiga lapis menghasilkan fitur 512 dimensi dengan deteksi wajah MediaPipe. Pengujian black-box memvalidasi kesesuaian fungsional, sedangkan antarmuka responsif menjamin kompatibilitas lintas perangkat.
References
[1] N. Aini, L. Asri, R. I. Adam, dan B. A. Dermawan, “Speech recognition untuk klasifikasi pengucapan nama hewan dalam bahasa Sunda menggunakan metode Long Short-Term Memory,” *JATI (Jurnal Mahasiswa Teknik Informatika)*, vol. 7, 2023, doi: 10.36040/jati.v7i2.6744.
[2] Y. K. Aini, T. B. Santoso, dan D. T. Dutono, “Pemodelan CNN untuk deteksi emosi berbasis speech bahasa Indonesia,” *Jurnal Komputer Terapan*, vol. 7, pp. 143–152, 2021.
[3] K. Arya, B. Wirya Kesuma, Y. Anggara Wijaya, dan J. E. Putra, “Implementasi Next.js, TypeScript, dan Tailwind CSS untuk pengembangan aplikasi frontend sistem inventory perusahaan APAR (studi kasus: CV Indoka Surya Jaya),” *JIKOM: Jurnal Informatika dan Komputer*, vol. 14, pp. 95–108, 2024.
[4] J. Friadi, D. P. Yani, M. Zaid, dan A. Sikumbang, “Perancangan pemodelan Unified Modeling Language sistem antrian online kunjungan pasien rawat jalan pada puskesmas,” *Jurnal Ilmu Siber dan Teknologi Digital*, vol. 1, pp. 125–133, 2023.
[5] R. Gunawan dan A. Rahmatulloh, “JSON Web Token (JWT) untuk authentication pada interoperabilitas arsitektur berbasis RESTful web service,” *Jurnal Edukasi dan Penelitian Informatika (JEPIN)*, vol. 5, pp. 74–80, 2019.
[6] M. Iqbal dan R. L. Andharsaputri, “Implementasi UML untuk perancangan sistem informasi pengadaan barang pada RSUD Kota Bogor,” *Jurnal Teknik Informatika (JEKIN)*, vol. 4, 2024, doi: 10.58794/jekin.v4i2.727.
[7] D. Ivanko, D. Ryumin, dan A. Karpov, “A review of recent advances on deep learning methods for audio-visual speech recognition,” *Mathematics*, vol. 11, 2023, doi: 10.3390/math11122665.
[8] A. J. Jaelani, A. Hikmat, dan I. Safi’i, “Preservation of the Sundanese Wewengkon Kuningan language through Android-based educational games,” *Journal of Ecohumanism*, vol. 3, 2025, doi: 10.62754/joe.v3i8.5692.
[9] M. Santoni, N. Chamidah, D. S. Prasvita, H. N. Irmanda, dan R. A. Prayoga, “Penerapan convolutional neural networks untuk mesin penerjemah bahasa daerah Minangkabau berbasis gambar,” *Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi)*, vol. 5, pp. 1153–1160, 2021.
[10] S. Novitasari, A. Tjandra, S. Sakti, dan S. Nakamura, “Cross-lingual machine speech chain untuk Javanese, Sundanese, Balinese, dan Bataks speech recognition dan synthesis,” dalam *Proceedings of the European Language Resources Association*, 2020.
[11] M. A. Nurwicaksono, I. N. Lisa, A. R. Tiara, dan R. Sidik, “Optimasi sistem informasi konsultasi hukum melalui pendekatan pengujian kombinasi white-box dan black-box,” *Jurnal Manajemen Informatika (JAMIKA)*, vol. 14, pp. 1–15, 2023.
[12] D. R. Pawar dan P. Yannawar, “Recent advances in audio-visual speech recognition: Deep learning perspective,” dalam *Proceedings of ACVAIT 2022*, pp. 409–421, 2024.
[13] Y. Pratiwi dan L. W. Widianti, “Implementasi white-box testing dengan teknik basis path pada pengujian halaman pencarian program promo,” *Jurnal Kecerdasan Buatan dan Teknologi Informasi*, vol. 4, pp. 173–180, 2025.
[14] S. M. Pulungan, R. Febrianti, T. Lestari, N. Gurning, dan N. Fitriana, “Analisis teknik entity-relationship diagram dalam perancangan basis data,” *Jurnal Ekonomi Manajemen dan Bisnis*, vol. 1, pp. 143–147, 2022.
