การจำแนกระดับความรุนแรงของการระรานทางไซเบอร์โดยใช้การวิเคราะห์ข้อความ

Classification of the severity level of cyber-bullying using text analysis

Name: เมขลา หน่อคำ

ThaSH: การกลั่นแกล้งทางอินเทอร์เน็ต

ThaSH: การสื่อทางภาษาเขียน

ThaSH: วจนะวิเคราะห์

ThaSH: สื่อสังคมออนไลน์ -- ผลกระทบต่อสังคม

Abstract: การศึกษานี้มีวัตถุประสงค์เพื่อพัฒนาและเปรียบเทียบประสิทธิภาพของตัวแบบสำหรับจำแนกระดับความรุนแรงของการระรานทางไซเบอร์จากข้อความบนสื่อสังคมออนไลน์ ได้แก่ Facebook, X (Twitter) และ TikTok โดยใช้ชุดข้อมูลรวมทั้งสิ้น 13,204 ข้อความ แบ่งเป็นชุดข้อมูลสำหรับฝึกสอนจำนวน 10,563 ข้อความและชุดข้อมูลสำหรับทดสอบจำนวน 2,641 ข้อความ ซึ่งชุดข้อมูลมีลักษณะความไม่สมดุลของกลุ่มข้อมูล (Class Imbalance) การศึกษาแบ่งออกเป็น 2 กรณี ได้แก่ การจำแนกแบบ 2 กลุ่ม ประกอบด้วยกลุ่มข้อความไม่เป็นการระรานและกลุ่มข้อความที่เป็นการระราน และการจำแนกแบบ 4 กลุ่ม ประกอบด้วยระดับไม่เป็นการระราน ระดับต่ำ ระดับปานกลางและระดับสูง ระเบียบวิธีวิจัยประกอบด้วยการเตรียมความพร้อมของข้อมูล (Data Preprocessing) ได้แก่ การทำความสะอาดข้อความภาษาไทย การตัดคำ รวมถึงการกำจัดสัญลักษณ์ อีโมจิและการลบคำที่ไม่สื่อความหมาย (Stop Words) จากนั้นดำเนินการสกัดคุณลักษณะ (Feature Extraction) ด้วยเทคนิคความถี่ของคำ-ส่วนกลับความถี่ของเอกสาร (Term Frequency-Inverse Document Frequency: TF-IDF) สำหรับตัวแบบเชิงสถิติ พร้อมทั้งประยุกต์ใช้เทคนิคการสังเคราะห์ข้อมูลส่วนน้อย (Synthetic Minority Over-Sampling Technique: SMOTE) เพื่อแก้ไขปัญหาความไม่สมดุลของข้อมูลในชุดฝึกสอนและดำเนินการฝึกสอนตัวแบบโดยประยุกต์ใช้การประมวลผลภาษาธรรมชาติ (Natural Language Processing: NLP) ร่วมกับวิธีการเรียนรู้ของเครื่อง (Machine Learning) จำนวน 4 วิธี ได้แก่ วิธีไบไดเร็กชันนอล เอ็นโค้ดเดอร์ เรพพรีเซนเทชัน ฟอร์ม ทรานซ์ฟอร์มเมอร์ (Bidirectional Encoder Representations from Transformers: BERT) วิธีนาอีฟเบย์ (Naïve Bayes: NB) วิธีซัพพอร์ตเวกเตอร์แมชชีน (Support Vector Machine: SVM) และวิธีตัวแบบสแต็กกิ้ง (Stacking Model) ซึ่งเป็นการผนวกผลการทำนายจากหลายตัวแบบเพื่อเพิ่มความแม่นยำ สำหรับวิธีซัพพอร์ตเวกเตอร์แมชชีน ผู้วิจัยได้เปรียบเทียบประสิทธิภาพของฟังก์ชันเคอร์เนล (Kernel Function) 4 รูปแบบ ได้แก่ ฟังก์ชันเชิงเส้น (Linear Function) ฟังก์ชันพหุนาม (Polynomial Function) ฟังก์ชันเรเดียลเบสิส (Radial Basis Function) และฟังก์ชันซิกมอยด์ (Sigmoid Function) พร้อมทั้งพิจารณากลยุทธ์การจำแนกหลายกลุ่มแบบหนึ่งต่อหนึ่ง (One-vs-One) และหนึ่งต่อทั้งหมด (One-vs-All) การประเมินผลประสิทธิภาพใช้คอนฟิวชันเมทริกซ์ (Confusion Matrix) และตัวชี้วัดมาตรฐาน ได้แก่ ค่าความแม่น (Accuracy) ค่าความเที่ยง (Precision) ค่าการเรียกคืน (Recall) และค่าคะแนน-F1 (F1-Score) โดยรายงานผลในรูปแบบค่าเฉลี่ยถ่วงน้ำหนัก (Weighted Average) เพื่อสะท้อนภาพรวมที่ถูกต้องภายใต้สภาวะข้อมูลไม่สมดุล ผลการศึกษาสำหรับการจำแนกแบบ 2 กลุ่ม พบว่า วิธี BERT ให้ประสิทธิภาพสูงสุด โดยมีค่า Accuracy เท่ากับ 0.927 และค่าเฉลี่ยถ่วงน้ำหนักของค่า Precision Recall และ F1 Score เท่ากับ 0.926 0.927 และ 0.926 ตามลำดับ รองลงมาคือวิธี Stacking ซึ่งมีค่า Accuracy เท่ากับ 0.918 ในขณะที่วิธี SVM โดยใช้ฟังก์ชันเรเดียลเบสิสและวิธี NB ให้ผลลัพธ์ที่ต่ำกว่า สำหรับกรณีการจำแนกแบบ 4 กลุ่ม พบว่า วิธี Stacking ให้ประสิทธิภาพสูงสุดในภาพรวม โดยมีค่า Accuracy เท่ากับ 0.895 และค่าเฉลี่ยถ่วงน้ำหนักของค่า Precision Recall และ F1 Score เท่ากับ 0.895 0.895 และ 0.895 ตามลำดับ รองลงมาคือ วิธี BERT ซึ่งมีค่า Accuracy เท่ากับ 0.864 และวิธี SVM โดยใช้ฟังก์ชันเรเดียลเบสิส ให้ผลดีที่สุดที่ค่า Accuracy ประมาณ 0.844 ส่วนวิธี NB มีประสิทธิภาพต่ำที่สุด โดยมีค่า Accuracy เท่ากับ 0.772 นอกจากนี้ การวิเคราะห์ความคลาดเคลื่อนจากคอนฟิวชันเมทริกซ์ในการจำแนกแบบ 4 กลุ่ม พบว่าความคลาดเคลื่อนหลักเกิดจากการจำแนกผิดพลาดระหว่างกลุ่มที่มีระดับความรุนแรงใกล้เคียงกัน โดยเฉพาะความสับสนระหว่างกลุ่มไม่เป็นการระรานกับกลุ่มระดับต่ำและระหว่างกลุ่มระดับต่ำกับกลุ่มระดับปานกลาง โดยสรุป ผลการศึกษานี้แสดงให้เห็นว่า วิธี BERT มีความเหมาะสมที่สุดสำหรับงานจำแนกแบบ 2 กลุ่ม ในขณะที่วิธี Stacking มีความเหมาะสมที่สุดสำหรับงานจำแนกแบบ 4 กลุ่มที่มีความซับซ้อนสูงกว่า

Abstract: This study aims to develop and compare the efficiency of models for classifying cyberbullying severity levels from social media text, specifically from Facebook, X (formerly Twitter) and TikTok. The dataset consists of 13,204 messages, divided into a training set of 10,563 messages and a testing set of 2,641 messages, characterized by class imbalance. The study is divided into two cases: binary classification (non-cyberbullying and cyberbullying) and 4-group classification (non-cyberbullying, low, medium, and high severity). The research methodology involves data preprocessing, including Thai text cleaning, tokenization, and the removal of symbols, emojis, and stop words. Feature extraction was performed using Term Frequency-Inverse Document Frequency (TF-IDF) for statistical models. Additionally, the Synthetic Minority Over-sampling Technique (SMOTE) was applied to address the issue of class imbalance within the training dataset. Four Machine Learning and Natural Language Processing (NLP) methods were applied: Bidirectional Encoder Representations from Transformers (BERT), Naïve Bayes (NB), Support Vector Machine (SVM), and Stacking Model, which combines predictions from multiple models to enhance accuracy. For SVM, the researcher compared the performance of four kernel functions (Linear, Polynomial, Radial Basis Function (RBF), and Sigmoid) and considered classification strategies including One-vs-One and One-vs-All. Performance evaluation utilized the Confusion Matrix and standard metrics: Accuracy, Precision, Recall, and F1-Score, reported as Weighted Averages to accurately reflect performance under imbalanced data conditions. The results for binary classification indicated that BERT achieved the highest performance with an Accuracy of 0.927 and weighted averages for Precision, Recall, and F1-Score of 0.926, 0.927, and 0.926, respectively. This was followed by the Stacking method with an Accuracy of 0.918, while SVM (using the RBF kernel) and NB yielded lower results. For the 4-group classification, the Stacking Model demonstrated the best overall performance with an Accuracy of 0.895 and weighted averages for Precision, Recall, and F1-Score of 0.895, 0.895, and 0.895, respectively. This was followed by BERT with an Accuracy of 0.864, and SVM (using the RBF kernel) with an Accuracy of approximately 0.844. The NB method showed the lowest performance with an Accuracy of 0.772. Furthermore, error analysis via the Confusion Matrix for the 4-group classification revealed that misclassifications primarily occurred between adjacent severities levels, particularly distinguishing between non-cyberbullying versus low severity, and low versus medium severity. This study demonstrates that BERT is most suitable for binary classification tasks, whereas the Stacking Model is optimal for the more complex 4-group classification.

มหาวิทยาลัยเชียงใหม่. สำนักหอสมุด

Address: เชียงใหม่

Email: cmulibref@cmu.ac.th

Name: บัณฑิตา พลับอินทร์

Role: อาจารย์ที่ปรึกษา

Name: วลัยทิพย์ บุญญาติศัย

Role: อาจารย์ที่ปรึกษา

Name: ธนะศักดิ์ หมวกทองหลาง

Role: อาจารย์ที่ปรึกษา

Created: 2569

Modified: 2569-07-02

Issued: 2569-07-02

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: วิทยาศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: สถิติประยุกต์และการวิเคราะห์เชิงลึก

Grantor: มหาวิทยาลัยเชียงใหม่

©copyrights มหาวิทยาลัยเชียงใหม่

ใช้เวลา

0.022204 วินาที