Pengembangan Model CNN-LSTM Berbasis MobileNetV2 untuk Pengenalan Kosakata Bahasa Isyarat Indonesia (BISINDO) Tingkat Kata pada Sistem AIGLASS 36 14
DOI:
https://doi.org/10.26623/jprt.v10i1.15528Keywords:
Bahasa Isyarat Indonesia, CNN-LSTM, MobileNetV2, Pengenalan Bahasa Isyarat, AIGLASSAbstract
Komunikasi antara penyandang tunarungu dan masyarakat umum masih menghadapi hambatan akibat rendahnya pemahaman terhadap Bahasa Isyarat Indonesia (BISINDO). Penelitian ini bertujuan mengembangkan model pengenalan kosakata BISINDO tingkat kata menggunakan arsitektur CNN-LSTM berbasis MobileNetV2 sebagai fondasi kecerdasan buatan pada sistem AIGLASS. Penelitian menggunakan metode CRISP-DM yang meliputi Business Understanding, Data Understanding, Data Preparation, Modeling, dan Evaluation. Dataset yang digunakan adalah Word-Level Bahasa Isyarat Indonesia (WL-BISINDO) yang terdiri atas 1.600 video dengan 32 kosakata. Hasil penelitian menunjukkan model memperoleh training accuracy sebesar 99,22%, validation accuracy terbaik sebesar 96,48%, serta accuracy, precision, recall, dan F1-score pada data pengujian masing-masing sebesar 94,69%, 95,25%, 94,69%, dan 94,66%. Hasil tersebut menunjukkan bahwa model mampu mengenali kosakata BISINDO tingkat kata secara efektif dan berpotensi menjadi fondasi sistem AIGLASS untuk mendukung penerjemahan bahasa isyarat menjadi audio secara real-time.
References
Agata, A. W., Saputra, W. S. J., & Putra, C. A. (2024). Pengenalan Bahasa Isyarat Indonesia (Bisindo) Menggunakan Algoritma Scale Invariant Feature Transform (SIFT) Dan Convolutional Neural Network (CNN). In Jurnal Mahasiswa Teknik Informatika (Vol. 8, Number 1). https://doi.org/https://doi.org/10.36040/jati.v8i1.8917
Andanitya, A. P., & Azizah, R. (2024). Deaf Culture Center Sebagai Pusat Pelatihan Kreativitas Dan Terapi Untuk Penyandang Tunarungu Kota Surakarta Dengan Pendekatan Deaf Space Design Guide (DSDG). http://eprints.ums.ac.id/id/eprint/128523
Arifuddin, N. A., Capri, H., Setiawan, D., Amalia, R. D., & Gusti, K. W. (2025). Optimizing Road Safety with MobileNet-Based Classification of Over-dimensioned Trucks. 10(2), 2477–5126. https://doi.org/10.30591/jpit.v9ix.xxx
Damayanti, M. M., Putri, K., & Yolla, Y. (2025). Hambatan yang Dihadapi Anak Tunarungu dalam Proses Pembelajaran Anak Tunarungu. In JOECES Journal of Early Childhood Education Studies (Vol. 2, Number 2). https://doi.org/https://doi.org/10.54180/joeces.v5i1.481
Hidayat, N., Fernanda, Y., & Uman, K. (2025). Dampak Keterlambatan Bicara dan Kurangnya Penguasaan Bahasa Isyarat Pada Anak Tuna Rungu. Jurnal Studi Pendidikan Dasar, 3. https://doi.org/https://doi.org/10.54180/jsped.v3i1.550
Irchamna, A. M., Amira, V. N. F., Oktavianti, N., & Mintowati, M. (2025). Pengaruh Bahasa Isyarat Terhadap Pembelajaran Komunikasi Lisan Tunaganda (Tunarungu dan Tunawicara). 5(1), 40–49. https://doi.org/http://dx.doi.org/10.30821/eunoia.v5i1.4200
Khoeriyah, I. M., Winarsih, M., & Kasirah, I. (2026). Persepsi Guru terhadap Penggunaan SIBI dan BISINDO di SLB. https://doi.org/https://doi.org/10.21009/jpk.v3i2.58518
Kindy, G. O., Leonali, G., & Lucky, H. (2025). Word-Level BISINDO: A Novel Video Indonesian Sign Language Dataset and Baseline Methods. Procedia Computer Science, 269, 249–258. https://doi.org/10.1016/j.procs.2025.08.277
Lemmuela, I. V., Ayub, M., & Karnalim, O. (2025). Dynamic Sign Language Recognition in Bahasa using MediaPipe, Long Short-Term Memory, and Convolutional Neural Network. Journal of Information Systems Engineering and Business Intelligence, 11(1), 17–29. https://doi.org/10.20473/jisebi.11.1.17-29
Mahaputra, I. G. A. M. Y., Santiary, P. A. W., & Sawardika, I. K. (2025). Analisis Temporal Gerakan Kata BISINDO Menggunakan Landmark Tangan dan LSTM dengan Keluaran Suara Berbasis ESP32 Secara Real-time., 18(2). https://journal.stekom.ac.id/index.php/elkom
Rianti, A., Majid, N. W. A., & Fauzi, A. (2023). CRISP-DM: Metodologi Proyek Data Science. https://ojs.udb.ac.id/index.php/Senatib/article/view/3015
Rohmah, T. N., Purnamasari, D., Kurniawati, Herlinudinkhaji, D., Arif, Y. M., & Criollo-C, S. (2025). Deepfake Image Detection Using Transfer Learning Method. https://doi.org/https://doi.org/10.18860/ijeie.v1i2.40796
Santika, E. F. (2024, July 16). Ini Prevalensi Disabilitas Indonesia pada 2023. Https://Databoks.Katadata.Co.Id/Layanan-Konsumen-Kesehatan/Statistik/66a13e9eb02df/Ini-Prevalensi-Disabilitas-Indonesia-Pada-2023.
Saraswati, E. R. A., & Muljono. (2026). Deteksi Emosi Pada Twitter Berbasis Fasttext: Evaluasi Performa Arsitektur Cnn Dan Gru. Rabit : Jurnal Teknologi Dan Sistem Informasi Univrab, 11(1), 1175–1186. https://doi.org/10.36341/rabit.v11i1.7252
Savitri, D. I., Bua, M. T., Adiasti, N., Mas’an, S. M. Al, & Rhamdan, D. (2026). Menjembatani Sunyi: Bahasa Isyarat Sebagai Upaya Membangun Komunikasi Inklusif Penyandang Tuli. 8(1). https://doi.org/10.70095/dimasejati.51.000
Therry, R. W. L., Junaidi, A., & Sihananto, A. N. (2024). Program Penerjemah Bahasa Isyarat Indonesia (Bisindo) Secara Real Time Menggunakan Convolutional Neural Network Dan Mediapipe. In Jurnal Mahasiswa Teknik Informatika (Vol. 8, Number 6). https://doi.org/https://doi.org/10.36040/jati.v8i6.11582
Ulfah, S. M., & Ubaidah, S. (2023). Penerapan Bahasa Isyarat dalam Pembelajaran bagi Anak Berkebutuhan Khusus Tuna Rungu. In Journal Of Disability Studies And Research (Vol. 2023, Number 1). JDSR. https://doi.org/DOI:https://doi.org/10.30631/jdsr.v2i1.1764
