Implementasi Computer Vision untuk Terjemahkan Abjad Bahasa Isyarat SIBI pada Aplikasi Android
Abstract
This research is motivated by the constraints of the community when communicating with people with disabilities, with the aim of implementing computer vision to translate SIBI sign language to text through Android applications. Data collection involved interviews and literature studies, as well as system development using agile methods. The front-end was created with Kotlin and Jetpack Compose, while the back-end used TensorFlow models in .tflite format. The model training results alone achieved 88% accuracy. The application was tested by comparing the results of manual translation. The test showed 81.48% accuracy in bright rooms, 76.92% in dim rooms, and 80.77% outdoors. Suggestions for future research to improve accuracy in dimly lit places by processing images into negatives or adding features to turn on the flashlight.
Downloads
References
A. N. A. Putri dan I. Irwansyah, “Efektivitas Komunikasi Dalam Pembelajaraan Online,” Jurnal Teknologi Dan Sistem Informasi Bisnis, vol. 3, no. 1, Jan 2021, doi: 10.47233/jteksis.v3i1.184.
G. R. Nurazizah, “Pelatihan Pemanduan Wisata Berbahasa Isyarat melalui Video Virtual Tour bagi Kelompok Penggerak Pariwisata Desa Wisata Alamendah,” Dinamisia: Jurnal Pengabdian Kepada Masyarakat, vol. 5, no. 4, 2021.
I. N. T. A. Putra, K. S. Kartini, Y. K. Suyitno, I. M. Sugiarta, dan N. K. E. Puspita, “Penerapan Library Tensorflow, Cvzone, dan Numpy pada Sistem Deteksi Bahasa Isyarat Secara Real Time,” Jurnal Krisnadana, vol. 2, no. 3, hlm. 412–423, 2023.
M. F. Naufal dkk., “Analisis Perbandingan Algoritma Klasifikasi MLP dan CNN pada Dataset American Sign Language,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 5, no. 3, hlm. 489–495, Jun 2021, doi: 10.29207/resti.v5i3.3009.
L. Arisandi dan B. Satya, “Sistem Klarifikasi Bahasa Isyarat Indonesia (Bisindo) Dengan Menggunakan Algoritma Convolutional Neural Network,” Jurnal Sistem Cerdas, vol. 5, no. 3, hlm. 135–146, 2022.
A. P. Afrianto dan I. Irwansyah, “Eksplorasi Kondisi Masyarakat Dalam Memilih Belanja Online Melalui Shopee Selama Masa Pandemi Covid-19 Di Indonesia,” Jurnal Teknologi Dan Sistem Informasi Bisnis, vol. 3, no. 1, Jan 2021, doi: 10.47233/jteksis.v3i1.181.
M. Ardabili dan M. Fachrie, “Pengembangan Sistem Pemesanan Jasa Fotografi dengan Integrasi Payment Gateway Berbasis Android,” Jurnal Teknologi Dan Sistem Informasi Bisnis, vol. 6, no. 1, Jan 2024, doi: 10.47233/jteksis.v6i1.1095.
A. Azis dan I. Rahim, “Analisis Penggunaan Bahasa Isyarat Indonesia (BISINDO) pada Siswa SLB,” Jurnal Onoma: Pendidikan, Bahasa, dan Sastra, vol. 9, no. 2, hlm. 1396–1402, 2023.
Vadisa dan Indria Flowerina, “Analisis Proses Komunikasi Interpersonal Guru dan Siswa Tunarungu dalam Penggunaan Komunikasi Verbal dan Nonverbal di SLB Negeri 1 Padang,” Jurnal Ilmu Komunikasi Dan Media Sosial (JKOMDIS), vol. 3, no. 1, hlm. 146–152, Mar 2023, doi: 10.47233/jkomdis.v3i1.587.
R. K. Siregar, A. Anton, dan W. Widiastuti, “Perancangan Aplikasi Bahasa Isyarat ‘Isyaratku’ Dengan Deep Learning Serta Google Cloud Platform,” Simpatik: Jurnal Sistem Informasi dan Informatika, vol. 1, no. 2, hlm. 90–97, Des 2021, doi: 10.31294/simpatik.v1i2.630.
M. F. Naufal dan S. F. Kusuma, “Analisis Perbandingan Algoritma Machine Learning dan Deep Learning untuk Klasifikasi Citra Sistem Isyarat Bahasa Indonesia (SIBI),” Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK), vol. 10, no. 4, hlm. 873–882, 2023.
R. H. Alfikri, M. S. Utomo, H. Februariyanti, dan E. Nurwahyudi, “Pembangunan Aplikasi Penerjemah Bahasa Isyarat Dengan Metode Cnn Berbasis Android,” Jurnal Teknoinfo, vol. 16, no. 2, hlm. 183–197, 2022.
N. H. Ae dan M. I. Zul, “Aplikasi Penerjemah Bahasa Isyarat Indonesia menjadi Suara berbasis Android menggunakan Tensorflow,” Jurnal Komputer Terapan, vol. 7, no. 1, hlm. 74–83, 2021.
M. Susanty, R. Z. Fadillah, dan A. Irawan, “Model Penerjemah Bahasa Isyarat Indonesia (BISINDO) Menggunakan Pendekatan Transfer Learning,” PETIR, vol. 15, no. 1, hlm. 1–9, Des 2021, doi: 10.33322/petir.v15i1.1289.
O. C. Resmi Rachmawati, Deyana Kusuma Wardani, Wifda Muna Fatihia, Arna Fariza, dan Hestiasari Rante, “Implementing Agile Scrum Methodology in The Development of SICITRA Mobile Application,” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 7, no. 1, hlm. 41–50, Feb 2023, doi: 10.29207/resti.v7i1.4688.
Z. Noori dan C. Eriksson, “UI Performance Comparison of Jetpack Compose and XML in Native Android Applications.” 2023.
J. Chen dkk., “Wireframe-based UI design search through image autoencoder,” ACM Transactions on Software Engineering and Methodology (TOSEM), vol. 29, no. 3, hlm. 1–31, 2020.
T. Lou, “A comparison of Android native app architecture MVC, MVP and MVVM,” Eindhoven University of Technology, 2016.
A. Azis, A. T. Zy, dan A. S. Sunge, “Prediksi Penjualan Obat Dan Alat Kesehatan Terlaris Menggunakan Algoritma K-Nearest Neighbor,” Jurnal Teknologi Dan Sistem Informasi Bisnis, vol. 6, no. 1, Jan 2024, doi: 10.47233/jteksis.v6i1.1078.
F. Ramadhani, A. Satria, dan S. Salamah, “Implementasi Algoritma Convolutional Neural Network dalam Mengidentifikasi Dini Penyakit pada Mata Katarak,” sudo Jurnal Teknik Informatika, vol. 2, no. 4, hlm. 167–175, Des 2023, doi: 10.56211/sudo.v2i4.408.
A. J. Rozaqi, M. R. Arief, dan A. Sunyoto, “Implementation of transfer learning in the convolutional neural network algorithm for identification of potato leaf disease,” Procedia of Engineering and Life Science, vol. 1, no. 1, 2021.
N. S. Sibarani, G. Munawar, dan B. Wisnuadhi, “Analisis performa aplikasi android pada bahasa pemrograman java dan kotlin,” dalam Prosiding Industrial Research Workshop and National Seminar, 2018, hlm. 319–324.
H. N. Irmanda dan R. Astriratma, “Klasifikasi Jenis Pantun Dengan Metode Support Vector Machines (SVM),” Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), vol. 4, no. 5, hlm. 915–922, 2020.
This work is licensed under a Creative Commons Attribution 4.0 International License.
Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under an Attribution 4.0 International (CC BY 4.0) that allows others to share — copy and redistribute the material in any medium or format and adapt — remix, transform, and build upon the material for any purpose, even commercially with an acknowledgment of the work's authorship and initial publication in this journal.
