Model Konseptual Preservasi dan Rekonstruksi Gendhing Berbasis Kecerdasan Buatan Menggunakan Generative AI dan Digital Twin
Keywords:
Generative AI, Digital Twin, Preservasi Musik, Rekonstruksi Musik, GamelanAbstract
Preservasi gendhing gamelan sebagai bagian dari warisan budaya takbenda menghadapi berbagai tantangan, termasuk degradasi arsip historis, keterbatasan dokumentasi notasi, variasi gaya regional, serta keterbatasan akses terhadap instrumen fisik dan sumber pembelajaran. Perkembangan teknologi kecerdasan buatan (Artificial Intelligence/AI) membuka peluang baru untuk mengatasi tantangan tersebut melalui analisis, restorasi, dan rekonstruksi digital berbasis data. Namun, sebagian besar penelitian yang ada masih berfokus pada implementasi teknologi secara terpisah dan belum menyediakan kerangka konseptual yang terintegrasi untuk preservasi dan rekonstruksi gendhing secara sistematis. Penelitian ini bertujuan untuk mengembangkan model konseptual preservasi dan rekonstruksi gendhing berbasis kecerdasan buatan yang mengintegrasikan proses digitalisasi arsip, analisis berbasis machine learning, rekonstruksi menggunakan generative AI, serta virtualisasi instrumen melalui teknologi digital twin. Model konseptual yang diusulkan terdiri dari lima lapisan utama, yaitu digitalisasi arsip, analisis berbasis kecerdasan buatan, rekonstruksi generatif, virtualisasi instrumen, dan validasi budaya. Model ini menjelaskan alur transformasi data dari arsip historis menjadi representasi digital interaktif yang dapat diakses, dianalisis, dan direkonstruksi secara sistematis. Kontribusi utama penelitian ini adalah penyediaan kerangka konseptual yang mengintegrasikan berbagai teknologi kecerdasan buatan dalam suatu ekosistem preservasi digital yang mendukung keberlanjutan, aksesibilitas, dan rekonstruksi warisan budaya musikal secara autentik dan sistematis. Model ini diharapkan dapat menjadi dasar bagi pengembangan sistem preservasi digital berbasis kecerdasan buatan untuk gamelan dan warisan budaya musikal lainnya.
References
Allan, M., & Williams, C. K. I. (2005). Harmonising chorales by probabilistic inference. Advances in Neural Information Processing Systems, 17, 25–32.
Begault, D. R. (2020). 3D sound for virtual reality and multimedia. Academic Press.Becker, J. (1980). Traditional music in modern Java: Gamelan in a changing society. University of HawaiiPress.
Bilbao, S., & Torin, A. (2019). Numerical modeling of plate vibration and sound generation. Journal of the Acoustical Society of America, 145(3), 1617–1628.
Briot, J.-P., Hadjeres, G., & Pachet, F.-D. (2020). Deep learning techniques for music generation. Springer.
Choi, K., Fazekas, G., Sandler, M., & Cho, K. (2020). Convolutional recurrent neural networks for music classification. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2392–2396.
Défossez, A., Usunier, N., Bottou, L., & Bach, F. (2019). Music source separation in the waveform domain. Proceedings of the International Society for Music Information Retrieval Conference (ISMIR) , 1–8.
Engel, J., Hantrakul, L., Gu, C., & Roberts, A. (2019). DDSP: Differentiable digital signal processing. International Conference on Learning Representations (ICLR).
Fontana, F., Avanzini, F., & Rocchesso, D. (2022). Physics-based sound synthesis and virtual musical instruments. Computer Music Journal, 46(1), 12–28.
Gasson, M. N. (2021). Human–machine interaction and the ethics of artificial intelligence. AI & Society,36(1), 1–12.
Gervais, D. J. (2021). Artificial intelligence and intellectual property: A primer. Journal of Intellectual Property Law, 29(1), 1–30.
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.
Grant, C. (2017). Preservation and access in ethnomusicology archives. Ethnomusicology Forum, 26(1), 21–36.
Herremans, D., & Chew, E. (2017). Music generation and analysis using machine learning. IEEE MultiMedia, 24(1), 30–41.
Huang, C. A., Vaswani, A., Uszkoreit, J., Shazeer, N., Simon, I., Hawthorne, C., Dai, A. M., Hoffman, M. D., Dinculescu, M., & Eck, D. (2019). Music transformer: Generating music with long-term structure.
International Conference on Learning Representations (ICLR).
Kartomi, M. (2011). Traditional music archives and preservation. Archiv für Musikwissenschaft, 68(3), 145–162.
Kingma, D. P., & Welling, M. (2014). Auto-encoding variational Bayes. International Conference on Learning Representations (ICLR).
Lindsay, J. (1992). Javanese gamelan. Oxford University Press.
Morise, M., Yokomori, F., & Ozawa, K. (2016). WORLD: A vocoder-based speech synthesis system. IEICE Transactions on Information and Systems, E99-D(7), 1877–1884.
Oomen, J., & Aroyo, L. (2011). Crowdsourcing in cultural heritage. International Journal of Humanities and Arts Computing, 5(2), 138–149.
Perlman, M. (2004). Unplayed melodies: Javanese gamelan and the genesis of music theory. University of California Press.
Prasetyo, H. (2021). Digital restoration of historical audio recordings. Journal of Audio Engineering Society,69(4), 245–256.
Roberts, A., Engel, J., Raffel, C., Hawthorne, C., & Eck, D. (2020). Music generation with deep learning. IEEE MultiMedia, 27(1), 36–45.
Spiller, H. (2008). Focus: Gamelan music of Indonesia. Routledge.
Stöter, F.-R., Liutkus, A., & Ito, N. (2019). Open-Unmix: A reference implementation for music source separation. Journal of Open Source Software, 4(41), 1667.
Sumarsam. (2013). Javanese gamelan and the West. University of Rochester Press.
Sumarsam. (2020). Gamelan: Cultural interaction and musical development in Central Java. University of Chicago Press.
Supanggah, R. (2007). Bothekan karawitan I. Ford Foundation dan Masyarakat Seni Pertunjukan Indonesia.
UNESCO. (2014). Intangible cultural heritage and traditional music preservation. UNESCO Publishing.
Vincent, P., Larochelle, H., Bengio, Y., & Manzagol, P.-A. (2010). Stacked denoising autoencoders. Journal of Machine Learning Research, 11, 3371–3408.
