Development of efficient stream data ingestion for game analytics

การพัฒนาการนำเข้าข้อมูลแบบสตรีมที่มีประสิทธิภาพสำหรับการวิเคราะห์เกม

Name: Noppon Wongta

LCSH: Games

LCSH: Games -- Computer programs

LCSH: Streaming video

Abstract: The efficiency of distributed stream processing pipelines for real-time game analytics is often constrained by successive performance bottlenecks, from initial data ingestion to core processing. This thesis addresses critical challenges at the processing stage that arise in high-velocity data environments: inefficient data partitioning and severe data skew. To overcome these limitations, two novel, stateless strategies are proposed: the heuristic partitioning strategy and the double repartitioning strategy. The heuristic partitioning strategy enhances data completeness during entity extraction, efficiently dividing large, unstructured data into logical entities to boost system throughput. Concurrently, the double repartitioning strategy mitigates data skew in downstream classification tasks through an adaptive repartitioning approach, ensuring balanced workload distribution without complex state management. Evaluated with real-world gameplay logs, the results show the heuristic partitioning significantly reduces data backlog and increases throughput. Furthermore, the double repartitioning strategy drastically lowers system latency by orders of magnitude compared to baselines and existing stateful methods, while also improving resource utilization. Combined, these strategies offer a robust and efficient solution for high-performance real-time analytics pipelines.

Abstract: ประสิทธิภาพของไปป์ไลน์การประมวลผลสตรีมข้อมูลแบบกระจายสำหรับการวิเคราะห์ข้อมูลเกมแบบเรียลไทม์มักถูกจำกัดด้วยปัญหาคอขวดเชิงประสิทธิภาพที่เกิดขึ้นตามลำดับขั้นตอน ตั้งแต่การนำเข้าข้อมูลไปจนถึงการประมวลผลหลัก วิทยานิพนธ์ฉบับนี้มุ่งจัดการกับความท้าทายที่สำคัญในขั้นตอนการประมวลผลซึ่งเกิดขึ้นในสภาพแวดล้อมของข้อมูลที่มีความเร็วสูง ได้แก่ การแบ่งพาร์ติชันข้อมูลที่ไม่มีประสิทธิภาพและปัญหาข้อมูลเบ้ (Data Skew) ที่รุนแรง เพื่อเอาชนะข้อจำกัดเหล่านี้ วิทยานิพนธ์ฉบับนี้ได้นำเสนอกลยุทธ์ใหม่สองรูปแบบที่ไม่ต้องเก็บสถานะ (stateless) ได้แก่ Heuristic Partitioning Strategy และ Double Repartitioning Strategyกลยุทธ์ Heuristic Partitioning ช่วยเพิ่มความสมบูรณ์ของข้อมูลในขั้นตอนการสกัดข้อมูลเชิงระเบียน (Entity Extraction) โดยการแบ่งข้อมูลไม่มีโครงสร้างขนาดใหญ่ออกเป็นหน่วยข้อมูลเชิงตรรกะอย่างมีประสิทธิภาพ ซึ่งเป็นการเพิ่มปริมาณงาน (Throughput) ของระบบ ในขณะเดียวกัน กลยุทธ์ Double Repartitioning ช่วยลดปัญหาข้อมูลเบ้ในขั้นตอนการจำแนกประเภทข้อมูล (Classification) ที่อยู่ถัดไป ผ่านแนวทางการแบ่งพาร์ติชันซ้ำแบบปรับเปลี่ยนได้ (adaptive) ซึ่งช่วยให้ภาระงานถูกกระจายอย่างสมดุลโดยปราศจากความซับซ้อนในการจัดการสถานะจากการประเมินผลด้วยข้อมูลบันทึกการเล่นเกม (gameplay logs) จากสถานการณ์จริง ผลลัพธ์แสดงให้เห็นว่ากลยุทธ์ Heuristic Partitioning สามารถลดปริมาณข้อมูลสะสมในระบบ (backlog) และเพิ่มปริมาณงานได้อย่างมีนัยสำคัญ ยิ่งไปกว่านั้น กลยุทธ์ Double Repartitioning ยังสามารถลดค่าความหน่วง (Latency) ของระบบลงได้อย่างมากในระดับหลายเท่าตัวเมื่อเทียบกับวิธีพื้นฐานและวิธีการแบบมีสถานะ (stateful) ที่มีอยู่ พร้อมทั้งยังช่วยปรับปรุงการใช้ทรัพยากรให้มีประสิทธิภาพยิ่งขึ้น เมื่อทำงานร่วมกัน กลยุทธ์ทั้งสองนี้นำเสนอแนวทางการแก้ไขปัญหาที่ทรงพลังและมีประสิทธิภาพสำหรับไปป์ไลน์การวิเคราะห์ข้อมูลแบบเรียลไทม์ที่ต้องการสมรรถนะสูง

Chiang Mai University. Library

Address: CHIANG MAI

Email: cmulibref@cmu.ac.th

Name: Juggapong Natwichai

Role: Advisor

Name: Pruet Boonma

Role: Advisor

Name: Paskorn Champrasert

Role: Advisor

Created: 2025

Modified: 2025-11-15

Issued: 2025-10-18

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: Computer Engineering

Grantor: Chiang Mai University

©copyrights Chiang Mai University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	620651027.pdf	933.55 KB

ใช้เวลา

0.034243 วินาที