การพัฒนาเทคนิคเพื่อการรู้จำการอ่านริมฝีปากภาษาไทยสำหรับวีดิทัศน์ข่าวภาษาไทยบนสื่อสังคม

Development of techniques for recognition of Thai lip reading for Thai news videos on social media

Name: ลาภ พุ่มหิรัญ

keyword: หน่วยความจำระยะสั้นแบบยาวสองทิศทาง

ThaSH: นิวรัลเน็ตเวิร์ค (วิทยาการคอมพิวเตอร์)

ThaSH: ปัญญาประดิษฐ์

ThaSH: การอ่านริมฝีปาก

ThaSH: การรู้จำใบหน้ามนุษย์ (วิทยาการคอมพิวเตอร์)

ThaSH: การรู้จำภาพ

Abstract: การอ่านริมฝีปากเป็นเทคนิคในการแปลความหมายจากภาพต่อเนื่องหรือวีดิทัศน์ที่มีใบหน้าและริมฝีปากพูดแต่ไม่ปรากฏเสียงหรือเสียงขาดหายไป งานวิจัยนี้จึงมีวัตถุประสงค์เพื่อพัฒนาเทคนิคเพื่อการรู้จำการอ่านริมฝีปากภาษาไทย โดยใช้ชุดข้อมูลจากวีดิทัศน์ข่าวภาษาไทยบนสื่อสังคม ได้แก่ ยูทูบ จำนวน 500 วีดิทัศน์ มาใช้ประกอบการในพัฒนาแบบจำลองการรู้จำการอ่านริมฝีปากภาษาไทยบนพื้นฐานการรู้จำเสียงพูดด้วยภาพ ชุดข้อมูลที่ถูกนำมาใช้จะถูกแยกแต่ละเฟรมแล้วตรวจจับตำแหน่งคุณลักษณะเด่นของริมฝีปาก จากนั้นทำการคัดเลือกเฟรมตัวแทนต่อพยางค์จำนวน 3 เฟรม และ 5 เฟรม แทนการออกเสียงแต่ละพยางค์ด้วยฟังก์ชันค่าสูงสุดสัมพัทธ์และค่าต่ำสุดสัมพัทธ์ แล้วนำมาเรียงต่อกันด้วยเทคนิคลำดับภาพเรียงต่อกันทั้งในรูปแบบสี่เหลี่ยมผืนผ้าและสี่เหลี่ยมจัตุรัส เมื่อนำไปพัฒนาร่วมกับแบบจำลองบนพื้นฐานโครงข่ายประสาทเทียมแบบคอนโวลูชันและหน่วยความจำระยะสั้นแบบยาวสองทิศทาง พบว่าแบบจำลองที่ถูกพัฒนาด้วยเทคนิค SC5-SKI + CNN + Bi-LSTM ซึ่งเป็นแบบจำลองที่ใช้เทคนิคลำดับภาพเรียงต่อกันรูปแบบสี่เหลี่ยมจัตุรัสจำนวน 5 เฟรม ร่วมกับโครงข่ายประสาทเทียมแบบคอนโวลูชันและหน่วยความจำระยะสั้นแบบยาวสองทิศทางมีผลการประเมินประสิทธิภาพของแบบจำลองสูงสุดเมื่อเทียบกับแบบจำลองอื่น ๆ โดยมีค่าความถูกต้องเท่ากับร้อยละ 94.38 ค่าอัตราความผิดพลาดของคำเท่ากับร้อยละ 6.71 และค่าอัตราความผิดพลาดของตัวอักษรเท่ากับร้อยละ 7.55 สำหรับการรู้จำการอ่านริมฝีปากภาษาไทยที่เป็นประโยคต่อเนื่อง

Abstract: Lip-reading is a technique for interpreting meanings from a series of images or videos in which faces and lips are spoken, but no sound or voice is missing. This research aims to develop techniques for the recognition of Thai lip reading by using a data set from five hundred Thai news videos on social media, including YouTube. These videos were used to develop a Thai oral reading recognition model based on visual speech recognition. The applied dataset is extracted for each frame and detects the lip localization and lip features. Three or five representative frames are then selected, replacing one syllable with the relative max and relative min functions. And then put them together with the technique of sequencing the images in both rectangular and square forms. The developed models were applied by using Convolutional Neural Networks and Bidirectional Long Short-Term Memory. It was found that the SC5-SKI + CNN + Bi-LSTM model, which is a model using a square sequence concatenated of five frames in combination with Convolutional Neural Networks and Bidirectional Long Short-Term Memory had the highest evaluation of the model’s performance compared to other models. This model’s accuracy was 94.38%, the word error rate was 6.71%, and the character error rate was 7.55% for Thai lip reading recognition, which is a continuous sentence.

มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ. สำนักหอสมุดกลาง

Address: กรุงเทพมหานคร

Email: library@kmutnb.ac.th

Name: พยุง มีสัจ

Role: ที่ปรึกษาดุษฎีนิพนธ์

Email : phayung.m@it.kmutnb.ac.th

Name: สุมิตรา นวลมีศรี

Role: ที่ปรึกษาดุษฎีนิพนธ์

Created: 2564

Modified: 2565-10-17

Issued: 2565-10-17

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: ปรัชญาดุษฎีบัณฑิต

Level: ปริญญาเอก

Descipline: เทคโนโลยีสารสนเทศ

Grantor: มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

©copyrights มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	B17570268.pdf	5.64 MB	11	2025-07-06 17:53:05

ใช้เวลา

0.032882 วินาที