การพัฒนาแบบจำลองเรียนรู้แบบลึกเชิงพื้นที่และเวลาสำหรับการจดจำคำพูดด้วยภาพ

Development of Spatio-temporal deep learning model for visual speech recognition

Name: ธีรพงศ์ งามพร้อมวงษ์

keyword: Convolutional Neural Networks.

ThaSH: การเรียนรู้เชิงลึก (การเรียนรู้ของเครื่อง)

; Recurrent Neural Network.

ThaSH: การรู้จำใบหน้ามนุษย์ (วิทยาการคอมพิวเตอร์)

; Attention Mechanisms.

ThaSH: การรู้จำภาพ

ThaSH: การประมวลผลภาพ

ThaSH: การอ่านริมฝีปาก -- การจำลองระบบ

Abstract: การอ่านริมฝีปาก (lipreading) มุ่งเน้นการพัฒนาแบบจำลองที่มีประสิทธิภาพในการถอดรหัสคำพูดจากภาพการเคลื่อนไหวของริมฝีปาก ถึงแม้จะมีความก้าวหน้าอย่างต่อเนื่อง แต่ยังคงมีความท้าทายที่สำคัญ 2 ประการ คือ 1) ความซับซ้อนของแบบจำลอง (Model Complexity) แบบจำลองที่ซับซ้อนมักถูกสร้างขึ้นโดยมีจุดมุ่งหมายเพื่อเพิ่มความแม่นยำในการอ่านริมฝีปาก แต่ก็มีข้อเสียคือต้องใช้ทรัพยากรในการประมวลผลสูง ทำให้ไม่เหมาะสำหรับการใช้งานใน อุปกรณ์พกพาหรือระบบที่มีข้อจำกัดด้านทรัพยากร 2) ความคล้ายคลึงในการขยับริมฝีปาก (Lip movement homophones) คำหลายคำมีการออกเสียงที่ใกล้เคียงกัน ทำให้ริมฝีปากขยับในลักษณะที่คล้ายคลึงกันมาก ตัวอย่างเช่น คำว่า "million" และ "millions" ซึ่งแบบจำลองต้องพยายามแยกแยะความแตกต่างจากข้อมูลภาพเพียงอย่างเดียว เพื่อแก้ไขปัญหาเหล่านี้ งานวิจัยนี้จึงมุ่งเน้นไปที่การพัฒนาแบบจำลองที่ไม่ซับซ้อนแต่ยังคงมีความแม่นยำสูงและสามารถแยกแยะความแตกต่างของการเคลื่อนไหวริมฝีปากที่มีความคล้ายคลึงกันได้โดยใช้เทคนิคการเรียนรู้เชิงลึกแบบผสมผสานประกอบ CNN, RNN และ Attention เพื่อให้การอ่านริมฝีปากมีความสามารถนำไปใช้ทำงานได้ในสถานการณ์จริงและมีประสิทธิภาพมากยิ่งขึ้น

Abstract: Lipreading focuses on developing efficient models to decode spoken words from the motion of the lips. Despite continuous advancements, there remain two significant challenges: Model Complexity and Lip Movement Homophones. Complex models are often designed with the aim of increasing lipreading accuracy; however, this complexity comes at the cost of high computational resource requirements, rendering them unsuitable for use in portable devices or resource-constrained systems. Additionally, many words exhibit similar pronunciations, leading to lip movements that closely resemble one another; for instance, the words "million" and "millions" demonstrate such similarities, necessitating that models discern differences based solely on visual data. To address these issues, this research focuses on developing a streamlined yet highly accurate model capable of distinguishing between lip movements that closely resemble one another. This is achieved through the use of a hybrid deep learning approach that integrates Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), and Attention mechanisms, with the aim of enhancing the applicability and efficiency of lipreading in real-world scenarios.

มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ. สำนักหอสมุดกลาง

Address: กรุงเทพมหานคร

Email: library@kmutnb.ac.th

Name: ลือพล พิพานเมฆาภรณ์

Role: ที่ปรึกษาวิทยานิพนธ์

Email : luepol.p@sci.kmutnb.ac.th

Created: 2567

Modified: 2568-12-01

Issued: 2568-12-01

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: วิทยาศาสตร์มหาบัณฑิต

Level: ปริญญาโท

Descipline: วิทยาการคอมพิวเตอร์

Grantor: มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

©copyrights มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	B17723383.pdf	3.48 MB

ใช้เวลา

0.02537 วินาที