Multi-label classification for Thai banking customer feedback using ensemble stacking of deep learning models

การจำแนกประเภทแบบหลายฉลากสำหรับความคิดเห็นของลูกค้าธนาคารในประเทศไทยโดยใช้การจัดวางแบบซ้อนของตัวแบบการเรียนรู้เชิงลึก

Name: Suwika Plubin

LCSH: Text processing (Computer science)

LCSH: Deep learning (Machine learning)

LCSH: Bank customers

LCSH: Natural language processing (Computer science)

Abstract: This study aims to enhance multi-label text classification of Thai-language customer feedback in the banking sector by evaluating six deep learning models: BiLSTM, CNN, RNN, Transformer-RNN, Hierarchical Label-Wise Attention Transformer (HiLAT), and RoBERTa. To improve classification performance, a stacking ensemble approach was developed by using predicted outputs from these models as input features for a logistic regression meta-learner. This method integrates the strengths of all base models to better manage complex label dependencies and improve overall predictive accuracy. The dataset comprises 24,500 customer reviews collected from Facebook, X (formerly Twitter), and Pantip between January 2023 and March 2024. After expert annotation, the dataset expanded to 67,870 labeled sentences across eight categories: Accessibility, Chatbot, Facility and Support, Image, Product and Services, Timing, Staff, and Other. Model performance was evaluated using four standard metrics: Hamming Loss, Precision, Recall, and F1-Score. Among the individual models, RoBERTa achieved the best performance with a macro-averaged Precision of 0.830, Recall of 0.630, F1-Score of 0.710, and Hamming Loss of 0.083. The stacking ensemble outperformed all base models, achieving the highest macro-averaged Precision (0.840), Recall (0.770), F1-Score (0.800), and the lowest Hamming Loss (0.070). A Hotelling’s T-squared test confirmed the statistical significance of the performance differences at the 0.05 level. Furthermore, average ranking analysis across all metrics showed the stacking ensemble consistently ranked first, followed by RoBERTa and HiLAT. The findings demonstrate the effectiveness of the ensemble approach in leveraging complementary model strengths, offering a robust solution for Thai multi-label classification tasks in real-world customer feedback analysis.

Abstract: การศึกษานี้มีวัตถุประสงค์เพื่อพัฒนาความแม่นยำของการจัดจำแนกข้อความตอบกลับของลูกค้าภาคธนาคารที่เป็นข้อความภาษาไทยด้วยการจำแนกประเภทแบบหลายฉลาก (Multi-label Text Classification) โดยใช้ตัวแบบการเรียนรู้เชิงลึก (Deep Learning Models) จำนวน 6 ตัวแบบ ได้แก่ ตัวแบบหน่วยความจำระยะยาว-ระยะสั้นแบบสองทิศทาง (BiLSTM), ตัวแบบโครงข่ายประสาทเทียมแบบคอนโวลูชัน (CNN), ตัวแบบโครงข่ายประสาทเทียมแบบวนซ้ำ (RNN), ตัวแบบโครงข่ายทรานส์ฟอร์เมอร์แบบวนซ้ำ (Transformer-RNN), ตัวแบบทรานส์ฟอร์เมอร์แบบให้ความสนใจตามฉลากเชิงลำดับชั้น (HiLAT) และตัวแบบโรเบอร์ตา (RoBERTa) นอกจากนี้ได้พัฒนาตัวแบบเพื่อเพิ่มประสิทธิภาพในการจัดจำแนกประเภทข้อความแบบหลายฉลากเพิ่มเติม โดยใช้การจัดวางตัวแบบแบบซ้อน (Stacking Ensemble Approach) โดยนำผลการทำนายของตัวแบบพื้นฐานทั้ง 6 แบบมาเป็นข้อมูลนำเข้าให้กับตัวแบบถดถอยลอจิสติก (Logistic Regression) ซึ่งทำหน้าที่เป็นตัวรวบรวมผลการทำนายขั้นสุดท้าย แนวทางนี้ช่วยให้สามารถดึงจุดแข็งของแต่ละตัวแบบมาใช้ร่วมกัน ทำให้จัดการกับความซับซ้อนของข้อมูลที่มีหลายฉลากได้อย่างมีประสิทธิภาพมากขึ้น ข้อมูลที่ใช้ในการศึกษาได้มาจากข้อความรีวิวความคิดเห็นของลูกค้าจำนวน 24,500 รายการ ซึ่งรวบรวมจากสื่อสังคมออนไลน์ ได้แก่ เฟซบุ๊ก (Facebook), เว็บไซต์เอ็กซ์ (X ; ชื่อเดิม Twitter) และเว็บไซต์พันทิป (Pantip) ระหว่างเดือนมกราคม พ.ศ. 2566 ถึงเดือนมีนาคม พ.ศ. 2567 โดยผู้เชี่ยวชาญด้านภาษาศาสตร์ได้ดำเนินการจำแนกข้อความตามฉลากและได้ข้อความที่ได้รับฉลากกำกับแล้วทั้งหมด จำนวน 67,870 ข้อความ ครอบคลุมทั้งหมด 8 ฉลาก ได้แก่ การเข้าถึงบริการ ระบบตอบกลับอัตโนมัติ สิ่งอำนวยความสะดวกและการสนับสนุน ภาพลักษณ์ ผลิตภัณฑ์และบริการ เวลาในการให้บริการ บุคลากร และอื่น ๆ จากการทดสอบสมมติฐานด้วยสถิติ Hotelling’s T-squared Test พบว่าตัวแบบการจัดวางแบบซ้อนของตัวแบบการเรียนรู้เชิงลึกมีประสิทธิภาพแตกต่างอย่างมีนัยสำคัญทางสถิติกับตัวแบบการเรียนรู้เชิงลึกทั้งหกแบบ (p < 0.05) การวิเคราะห์ลำดับค่าเฉลี่ย (Average Ranking Analysis) ชี้ให้เห็นว่าตัวแบบการจัดวางแบบซ้อนของตัวแบบการเรียนรู้เชิงลึกมีประสิทธิภาพดีที่สุด รองลงมาคือตัวแบบโรเบอร์ตา และตัวแบบทรานส์ฟอร์เมอร์แบบให้ความสนใจตามฉลากเชิงลำดับชั้น ผลการศึกษาแสดงให้เห็นว่า การรวมแบบจำลองช่วยเพิ่มความแม่นยำและความน่าเชื่อถือของระบบจัดจำแนกข้อความภาษาไทยแบบหลายกลุ่มเป้าหมายได้อย่างมีประสิทธิภาพ เหมาะสำหรับการนำไปประยุกต์ใช้ในการวิเคราะห์ความคิดเห็นลูกค้าในภาคบริการทางการเงิน

Chiang Mai University. Library

Address: CHIANG MAI

Email: cmulibref@cmu.ac.th

Name: Manad Khamkong

Role: Advisor

Name: Bandhita Plubin

Role: Advisor

Name: Walaithip Bunyatisai

Role: Advisor

Name: Thanasak Mouktonglang

Role: Advisor

Created: 2025

Modified: 2569-02-22

Issued: 2025-09-23

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: Applied Statistics

Grantor: Chiang Mai University

©copyrights Chiang Mai University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	660551005.pdf	2.33 MB

ใช้เวลา

0.029633 วินาที