การเปรียบเทียบเทคนิคการเพิ่มประสิทธิภาพของการประมวลผลแมพรีดิวซ์สำหรับข้อมูลที่มีความเบ้

Comparision of Efficiency Improvement Techniques for MapReduce with Skewed Data

Name: นักปราชญ์ กันตีวงศ์

ThaSH: ฐานข้อมูลแบบกระจาย

ThaSH: ข้อมูลขนาดใหญ่

Abstract: ปัจจุบันข้อมูลมีขนาดใหญ่ และมีรูปแบบที่หลากหลาย รวมไปถึงการเปลี่ยนแปลงอย่างรวดเร็ว เพื่อที่จะนำข้อมูลดังกล่าวไปใช้ให้เกิดประโยชน์สูงสุดและทันเวลานั้น จึงจำเป็นต้องอาศัยการประมวลผลเพื่อให้ข้อมูลมีความถูกต้องและมีความแม่นยำ แมพรีดิวซ์เป็นกรอบวิธีการทำงานสำหรับการประมวลผลข้อมูลขนาดใหญ่ ประกอบไปด้วย 2 ฟังก์ชัน ได้แก่ แมพ และ รีดิวซ์ ซึ่งแมพคือการจับคู่คีย์กับค่ากลาง ส่วนรีดิวซ์คือ ผลรวมจากค่ากลางของแต่ละคีย์ โดยในการทำงานนั้นจะต้องรอให้กระบวนการแมพแล้วเสร็จจึงจะดำเนินการรีดิวซ์ได้ เนื่องจากข้อมูลขนาดใหญ่ที่มีการแจกแจงแบบไม่ปกตินั้น จะส่งผลให้การประมวลผลโดยแมพรีดิวซ์นั้นเกิดความล่าช้า เนื่องจากข้อมูลที่จะนำไปสู่กกระบวนการแมพจะถูกแบ่งให้แต่ละโหนดโดยมีขนาดที่ไม่เท่ากัน ส่งผลให้การแต่ละโหนดประมวลผลเสร็จไม่พร้อมกันท โดยโหนดที่เสร็จก่อนจะต้องรอให้โหนดสุดท้ายที่ทำการแมพเสร็จจึงจะสามารถทำการรีดิวซ์ได้ งานวิจัยนี้ได้รวบรวมแนวทางในการแก้ไขปัญหาดังกล่าว ที่สามารถเกิดขึ้นในขั้นตอนของการแมพหรือการรีดิวซ์ ซึ่งผลจากการทดลองพบว่า แนวทางดังกล่าวที่ได้เสนอมานั้นสามารถทำงานได้ดีกว่าการแมพรีดิวซ์แบบธรรมดาสำหรับข้อมูลที่มีความเบ้หนัก อย่างไรก็ตามข้อมูลที่มีความเบ้น้อยพบว่าบางแนวทางอาจใช้เวลามากกว่าแมพรีดิวซ์แบบธรรมดา

Abstract: Nowadays, data is large in terms of volume, variety of format and changes rapidly. Therefore, it is necessary to rely on processing to make data accuracy and precision. To ensure real-time utilization and maximum benefit. MapReduce is a framework for processing big data, including 2 functions: Map function and Reduce function. Map function processes input data set as key/value pairs and generates intermediate key/value pairs with the same key as output. Reduce function merges all intermediate values in each set. In this process, the reducer must wait for all maps to finish before the reducer starts. Due to non-uniform distribution of big data. MapReduce process will be delayed because data that split to all nodes is not same size in map stages. As a result, each node complete processing at different times. Nodes that finish earlier must wait for the final mapper node to complete before they can proceed with reducing. The results show that all of the algorithms studied in this paper can improve the execution time of MapReduce with skewed data. However, there are some limitations to improvement, especially when data is not heavily skewed; the overhead of the algorithms might overcome their benefits.

มหาวิทยาลัยเชียงใหม่. สำนักหอสมุด

Address: เชียงใหม่

Email: cmulibref@cmu.ac.th

Name: พฤษภ์ บุญมา

Role: อาจารย์ที่ปรึกษา

Created: 2566

Modified: 2024-01-16

Issued: 2567-01-12

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมคอมพิวเตอร์

Grantor: มหาวิทยาลัยเชียงใหม่

©copyrights มหาวิทยาลัยเชียงใหม่

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	620631056.pdf	9.62 MB	1	2024-09-12 15:39:51

ใช้เวลา

0.034265 วินาที