Comparative study of llm models for sentiment classification in Thai financial news headlines

การวิเคราะห์เชิงเปรียบเทียบโมเดล LLM สาหรับการจำแนกอารมณ์ในหัวข้อข่าวการเงินภาษาไทย

Name: Nuttawut Thuayhanruksa

LCSH: Journalism, Commercial

LCSH: Finance

LCSH: Financial literacy

Abstract: This research explores the application of various natural language processing (NLP) models for sentiment analysis on financial news headlines from the Kaohoon, Hoonsmart, and Investing websites, with a specific focus on Thai language data. The study evaluates the performance of several machine learning and deep learning models, including Logistic Regression, Bidirectional Long Short-Term Memory (Bi-LSTM), Convolutional Neural Networks (CNN), OpenAI’s GPT-3.5, WangChanBERTa, and OpenThaiGPT. The research employs a train-test split with a fixed random state for complex models and stratified cross-validation for basic models, ensuring reproducibility and consistency in results. Model performance is assessed using evaluation metrics such as accuracy, precision, recall, and F1-score. The findings demonstrate the effectiveness of these models in analyzing sentiment in financial news, providing insights for improving sentiment analysis in Thai financial contexts. The study's results reveal that the Fine-tuned WangChanBERTa model outperformed others in sentiment analysis, achieving the highest accuracy of 0.84 on the testing set, demonstrating its strong ability to classify sentiment in Thai financial news headlines. The BI-LSTM and CNN models also showed competitive performance, with testing accuracies of 0.781 and 0.791, respectively. In contrast OpenAI’s GPT-3.5 and OpenThaiGPT models did not include fine-tuned and optimize prompt due to the high computational cost and time required for fine-tuning, this highlights the practical limitations of using large-scale models in resource-constrained scenarios.

Abstract: งานวิจัยนี้มุ่งเน้นการประยุกดิ์ใช้โมเดลประมวลผลภาษาธรรมชาติ (NLP) หลายรูปแบบในการวิเคราะห์ความรู้สึกต่อหัวข้อข่าวสารทางการเงินจากเว็บไชต์ข่าว เช่น Kaoboon, Hoonsmart และ Iovesting โดยเฉพาะ ข้อมูลที่เป็นภาษาไทย การศึกษานี้ได้ประเมินประสิทธิภาพของโมเดลการเรียนรู้ของเครื่องและ ไมเคลการเรียนรู้เชิงลึกหลายรูปแบบ เช่น Logistic Regression, Bidirectional Long Short-Term Memory (Bi-LSIM). Convohutional Neural Networks (ONN), OpenAI's GPT-3.5. WangChanBERTa และ OpenThaiGPT งานวิจัยนี้ได้ใช้วิธีการแบ่งข้อมูลออกเป็นชุดฝึกและชุด ทดสอบโดยมีการกำหนดค่าแบบสุ่มที่คงที่สำหรับ โมเดลที่ซับซ้อน และใช้การตรวจสอบแบบไขว้ที่แบ่งชั้นสำหรับโมเดลพื้นฐาน เพื่อให้มั่นใจถึงความสามารถในการทำซ้ำและความสอดอดล้องของผลลัพธ์ ประสิทธิภาพของไมเดลถูกประเมินโดยใช้ตัวชี้วัดต่าง ๆ เช่น ความแม่นยำ (accuracy), ความถูกต้อง (precision), การเรียกคืน (recall) และ คะแนน FI ผลการศึกษาชี้ให้เห็นถึงประสิทธิภาพของโมเดลเหล่านี้ในการวิเคราะห์ความรู้สึกในข่าวสารทางการเงิน ซึ่งช่วยให้เกิดข้อเสนอแนะ ในการพัฒนาการวิเคราะห์ความรู้สึกในบริบทของการเงินในภาษาไทย ผลการศึกษาพบว่าไมเดล Fine-tuned WangChanBERTa มีประสิทธิภาพสูงสุดในการวิเคราะห์ความรู้สึก โดยสามารถทำความแม่นยำได้สูงถึง 0.84 ในชุดทดสอบ แสดงถึงความสามารถที่ดีในการจำแนกความรู้สึกในบทความข่าวการเงินภาษาไทย โมเดล Bi-LSTM และ CNN ก็แสดงให้เห็นถึงประสิทธิภาพที่ใกล้เคียงกัน โดยมีความแม่นอำในอำในชุดทดสอบอยู่ที่ 0.781 และ 0.791 ตามลำดับ ในทางกลับกัน โมเดล GPT-3.5 ของ OpenAI และ OpenThaiGPT ถูกนำมาใช้งานเพียงบางส่วน เนื่องจากข้อจำกัดด้านต้นทุนการประมวลผลและระยะเวลาที่ต้องใช้ในการปรับแต่งโมเดล ซึ่งสะท้อนถึง ข้อจำกัดในทางปฏิบัติของการใช้โมเดลขนาดใหญ่ในสถานการณ์ที่มีทรัพยากรจำกัด

Chiang Mai University. Library

Address: CHIANG MAI

Email: cmulibref@cmu.ac.th

Name: Pree Thiengburanathun

Role: Advisor

Created: 2025

Modified: 2025-08-18

Issued: 2025-08-18

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Master of Science

Level: Master's degree

Descipline: Data Science

Grantor: Chiang Mai University

©copyrights Chiang Mai University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	660632078.pdf	1.82 MB	13	2026-05-26 18:16:01

ใช้เวลา

0.06524 วินาที