Evaluasi Multimodal Gemini Model dalam Menganalisis Informasi Nilai Gizi Produk untuk Pencegahan Diabetes
Keywords:
Diabetes, Model Gemini, Analisis Kandungan Gula, Foto Informasi Gizi, Large Language ModelAbstract
Prevalensi diabetes di Indonesia diperkirakan akan meningkat jika program pencegahan dan pengendalian tidak dilaksanakan. Kebiasaan mengonsumsi minuman manis yang mengandung gula dikaitkan dengan kejadian diabetes tipe 2 yang lebih tinggi. Penelitian ini bertujuan untuk mengevaluasi output multimodal model Gemini dalam menganalisis kandungan gula dari foto informasi nilai gizi produk minuman. Penelitian ini menggunakan Large Language Model (LLM) Gemini 1.5 Flash untuk menganalisis kandungan gula dalam 10 sampel produk minuman berdasarkan foto informasi nilai gizi. Evaluasi dalam Question Answering dilakukan menggunakan Lexical Match dan F1 score terhadap 4 poin evaluasi untuk setiap sampel. Evaluasi terhadap model Gemini 1.5 Flash dalam menganalisis kadar gula pada sampel menunjukkan hasil yang cukup baik, dengan akurasi keseluruhan mencapai 90% dan F1 score sebesar 94%. Output model dapat memberikan insight kepada pengguna terkait persentase kadar gula dalam keseluruhan produk terhadap batas aman konsumsi gula harian menurut pemerintah. Model Gemini 1.5 Flash mampu memberikan output yang sesuai dengan ekspektasi dalam sebagian besar sampel.
References
[1] M. Wahidin et al., “Projection of diabetes morbidity and mortality till 2045 in Indonesia based on risk factors and NCD prevention and control programs,” Scientific Reports, vol. 14, no. 1, Mar. 2024, doi: 10.1038/s41598-024-54563-2.
[2] S. Nofi, S. Indah Aulia Pratiwi, Sikumbang Eva Sahriani, and F. Mayla, “Hubungan Antara Konsumsi Minuman Manis Buatan Dan Faktor Risiko Penyakit Diabetes Pada Remaja Di Mts Swasta Alwasliyah Pancur Batu,” PREPOTIF : JURNAL KESEHATAN MASYARAKAT, vol. 8, no. 2, pp. 3457–3462, 2024, doi: 10.31004/prepotif.v8i2.30683.
[3] S. Christine Evelyn, M. Nelly, and W. John, “Hubungan Konsumsi Fast Food, Makanan/Minuman Manis dan Aktifitas Fisik Dengan Kadar Gula Darah Dan Status Gizi Mahasiswa Fakultas Kedokteran Universitas Sam Ratulangi” Indonesian Journal of Public Health and Community Medicine, vol. 1, no. 4, 2020, doi: 10.35801/ijphcm.1.4.2020.31025.
[4] A. Rostami, “An Integrated Framework for Contextual Personalized LLM-Based Food Recommendation,” UC Irvine, 2024.
[5] G. Team et al., “Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context,” arXiv:2403.05530, Mar. 2024.
[6] “Permenkes No. 30 Tahun 2013,” Database Peraturan | JDIH BPK. https://peraturan.bpk.go.id/Details/172111/permenkes-no-30-tahun-2013 (accessed Jan. 06, 2025).
[7] L. A. Kadiyala, O. Mermer, D. J. Samuel, Y. Sermet, and I. Demir, “The Implementation of Multimodal Large Language Models for Hydrological Applications: A Comparative Study of GPT-4 Vision, Gemini, LLaVa, and Multimodal-GPT,” Hydrology, vol. 11(9), 148, Sep. 2024, doi: 10.3390/hydrology11090148.
[8] C. Wang et al., “Evaluating Open-QA Evaluation,” 37th Conference on Neural Information Processing Systems (NeurIPS 2023) Track on Datasets and Benchmarks, Dec. 2023.
[9] A. Mansurova, A. Mansurova, and A. Nugumanova, “QA-RAG: Exploring LLM Reliance on External Knowledge,” Big Data Cogn. Comput., vol. 8(9), 115, Sep. 2024, doi: 10.3390/bdcc8090115.
[10] M. Fatehkia, J. K. Lucas, and S. Chawla, “T-RAG: Lessons from the LLM Trenches,” arXiv:2402.07483, Feb. 2024.
[11] L. Ha-rin and K. Seo-hyun, “Bring Retrieval Augmented Generation to Google Gemini via External API: An Evaluation with BIG-Bench Dataset,” Research Square, May 09, 2024. https://www.researchsquare.com/article/rs-4394715/latest
Downloads
Published
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
