Peningkatan Kinerja Database melalui Teknik Batch Loading dan Parallel Processing pada Proses Load Data
Abstract
Penelitian ini menganalisis berbagai teknik optimasi untuk meningkatkan performansi proses load data ke dalam sistem database. Teknik yang dievaluasi meliputi indexing, partitioning, parallel processing, dan batch loading. Studi ini bertujuan untuk menentukan teknik yang paling efektif dalam meningkatkan throughput, mengurangi penggunaan CPU dan memori, serta meningkatkan efisiensi I/O.Pada pengukuran baseline tanpa optimasi, waktu load data tercatat 120 detik dengan throughput 40.000 baris per menit, penggunaan CPU sebesar 75%, penggunaan memori 60%, dan efisiensi I/O sebesar 50 MB/s. Hasil eksperimen menunjukkan bahwa penerapan indexing meningkatkan throughput menjadi 54.500 baris per menit dan sedikit mengurangi penggunaan CPU menjadi 70%, tetapi meningkatkan penggunaan memori menjadi 62%. Partitioning menghasilkan throughput 66.700 baris per menit, penggunaan CPU 65%, penggunaan memori 58%, dan efisiensi I/O meningkat menjadi 46 MB/s. Parallel processing signifikan meningkatkan throughput menjadi 85.700 baris per menit dan efisiensi I/O menjadi 60 MB/s, meskipun meningkatkan penggunaan CPU dan memori masing-masing menjadi 80% dan 75%. Teknik batch loading menunjukkan peningkatan performansi terbaik dengan throughput 90.000 baris per menit, penggunaan CPU 78%, penggunaan memori 70%, dan efisiensi I/O mencapai 65 MB/s.Hasil penelitian ini mengindikasikan bahwa batch loading dan parallel processing adalah teknik paling efektif dalam meningkatkan throughput dan efisiensi I/O, meskipun dengan peningkatan penggunaan sumber daya sistem. Partitioning efektif untuk mengurangi penggunaan memori dan CPU, sementara indexing memberikan manfaat tambahan dalam performansi query. Pemilihan teknik optimasi harus disesuaikan dengan karakteristik data dan kapasitas sumber daya sistem yang tersedia
Downloads
References
Aloysius Adhyatma Herfangsyah1, Willy Sudiarto Raharjo2, A. R. C. (2021). Analisis Faktor Optimasi untuk Data Warehouse dengan Data Tabungan pada Bank XYZ. Jurnal Terapan Teknologi Informasi, 4(1), 33–43. https://doi.org/10.21460/jutei.2020.41.192
B, S., Ilham, A. A., & Paundu, A. W. (2023). Optimization of Data Warehouse Architecture to Improve Information System Performance. 2023 International Conference on Computer Science, Information Technology and Engineering (ICCoSITE), 240–245. https://doi.org/10.1109/ICCoSITE57641.2023.10127721
Baker, O., & Thien, C. N. (2020). A New Approach to Use Big Data Tools to Substitute Unstructured Data Warehouse. 2020 IEEE Conference on Big Data and Analytics, ICBDA 2020, 26–31. https://doi.org/10.1109/ICBDA50157.2020.9289757
Costa, E., Costa, C., & Santos, M. Y. (2019). Evaluating partitioning and bucketing strategies for Hive-based Big Data Warehousing systems. Journal of Big Data, 6(1), 1–38. https://doi.org/10.1186/s40537-019-0196-1
Database Systems SIXTH EDITION. (n.d.).
Hassan, C. A. U., Hammad, M., Uddin, M., Iqbal, J., Sahi, J., Hussain, S., & Ullah, S. S. (2022). Optimizing the Performance of Data Warehouse by Query Cache Mechanism. IEEE Access, 10, 13472–13480. https://doi.org/10.1109/ACCESS.2022.3148131
Kimball, R.&Caserta, J. (2004). The Data Warehouse ETL Toolkit. In News.Ge. Wiley.
Kristiadi, D. P., Warnars, H. L. H. S., Randriatoamanana, R., Megantara, F., Nulhakim, L., & Zarlis, M. (2019). Big Data implementation for Inventory warehouse systems. 1st 2018 Indonesian Association for Pattern Recognition International Conference, INAPR 2018 - Proceedings, 207–212. https://doi.org/10.1109/INAPR.2018.8627030
Malysiak-Mrozek, B., Wieszok, J., Pedrycz, W., Ding, W., & Mrozek, D. (2022). High-Efficient Fuzzy Querying With HiveQL for Big Data Warehousing. IEEE Transactions on Fuzzy Systems, 30(6), 1823–1837. https://doi.org/10.1109/TFUZZ.2021.3069332
Mehmood, E., & Anees, T. (2019). Performance Analysis of Not only SQL Semi-Stream Join Using MongoDB for Real-Time Data Warehousing. IEEE Access, 7, 134215–134225. https://doi.org/10.1109/ACCESS.2019.2941925
Sautot, L., Bimonte, S., & Journaux, L. (2021). A semi-automatic design methodology for (big) data warehouse transforming facts into dimensions. IEEE Transactions on Knowledge and Data Engineering, 33(1), 28–42. https://doi.org/10.1109/TKDE.2019.2925621
Shaheen, N., Raza, B., Shahid, A. R., & Malik, A. K. (2021). Autonomic Workload Performance Modeling for Large-Scale Databases and Data Warehouses through Deep Belief Network with Data Augmentation Using Conditional Generative Adversarial Networks. IEEE Access, 9, 97603–97620. https://doi.org/10.1109/ACCESS.2021.3096039
Visweswaran, S., McLay, B., Cappella, N., Morris, M., Milnes, J. T., Reis, S. E., Silverstein, J. C., & Becich, M. J. (2021). An atomic approach to the design and implementation of a research data warehouse. Journal of the American Medical Informatics Association, 00(0), 1–8. https://doi.org/10.1093/jamia/ocab204
Zhu, Y., Haihong, E., & Song, M. (2020). A Scheduling System for Big Data Hybrid Computing Workflow. Proceedings of the IEEE International Conference on Software Engineering and Service Sciences, ICSESS, 2020-Octob, 102–106. https://doi.org/10.1109/ICSESS49938.2020.9237729
JISTI
