การบูรณาการข้อมูลบนคลาวด์และภายในองค์กรด้วยกระบวนการนำส่งข้อมูลแบบผสมผสาน

Cloud and on-premises data integration through hybrid data pipeline

Name: วีรพล ยอดมงคล

Organization : มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ. คณะเทคโนโลยีสารสนเทศและนวัตกรรมดิจิทัล

Email : s6507011858088@email.kmutnb.ac.th

Name: ผุสดี บุญรอด

Organization : มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ. คณะเทคโนโลยีสารสนเทศและนวัตกรรมดิจิทัล

Email : pudsadee.b@itd.kmutnb.ac.th

keyword: กระบวนการนำส่งข้อมูลแบบผสมผสาน

ThaSH: การสื่อสารในองค์การ

; การบูรณาการข้อมูล

; ข้อมูลคลาวด์ข้อมูลภายในองค์กร

Abstract: ในยุคดิจิทัลข้อมูลถือเป็นทรัพยากรสำคัญสำหรับช่วยให้องค์กรสามารถตัดสินใจได้อย่างชาญฉลาด เพิ่มประสิทธิภาพการดำเนินงาน และบรรลุเป้าหมายทางธุรกิจ แต่หลายองค์กรยังต้องเผชิญกับปัญหาต่าง ๆ ของข้อมูล เช่น ข้อมูลไม่มีคุณภาพปัญหาการจัดเก็บรวบรวม การจัดการ และการวิเคราะห์ข้อมูล งานวิจัยนี้จึงมีวัตถุประสงค์เพื่อพัฒนากระบวนการนำส่งข้อมูลแบบผสมผสานโดยนำเข้าข้อมูลจากข้อมูลคลาวด์ และข้อมูลภายในองค์กร ซึ่งใช้ Apache Spark Apache Airflow และ Google BigQuery ในการพัฒนาจากการทดสอบ แต่ละหน่วยประมวลผลภายใต้สถานการณ์เสมือนจริง ได้แก่ จานวนข้อมูล การประมวลผลแต่ละขั้นตอน และประสิทธิภาพการทำงานจากผลการวิจัยแสดงให้เห็นว่า กระบวนการนำส่งข้อมูลแบบผสมผสานทำให้การจัดการข้อมูลง่ายขึ้น ปรับปรุงคุณภาพข้อมูล ลดความซับซ้อนในการจัดการแหล่งข้อมูลที่หลากหลาย ทำให้มีมาตรฐานการจัดการข้อมูลและสามารถใช้ประโยชน์จากข้อมูลได้อย่างมีประสิทธิภาพ

Abstract: In the digital age, data is critical for helping organizations make wise decisions, improve operational efficiency, and achieve business goals. However, many organizations need help with various data challenges, such as poor data quality and collection, storage, management, and analysis challenges. This research aims to develop a hybrid data pipeline that integrates data from cloud and on-premises sources using Apache Spark, Apache Airflow, and Google BigQuery. The research involved unit testing, including End-to-End testing, in terms of data volume, processing at each stage, and performance. The results demonstrated that the hybrid data pipeline simplifies data management and improves data quality by reducing the complexity of managing diverse data sources, standardizing data management, and allowing organizations to leverage data more effectively

มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ. สำนักหอสมุดกลาง

Address: กรุงเทพมหานคร

Email: library@kmutnb.ac.th

Created: 2567

Modified: 2025-02-18

Issued: 2567-11-15

บทความ/Article

application/pdf

BibliograpyCitation : ใน มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ. คณะเทคโนโลยีสารสนเทศและนวัตกรรมดิจิทัล. การประชุมวิชาการระดับชาติด้านคอมพิวเตอร์และเทคโนโลยีสารสนเทศ ครั้งที่ 20 (NCCIT 2024) (pp.84-89). กรุงเทพฯ : มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

tha

©copyrights มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	NCCIT 2024pp.84-89.pdf	459.57 KB	12	2026-05-26 18:16:01

ใช้เวลา

0.033364 วินาที