การปรับปรุงอัลกอริทึมการเรียนรู้เชิงลึกด้วยอัตราการเรียนรู้ที่ปรับตัวเองได้

Improving deep learning algrithm by self-adaptive learning rate

Name: สุทิศ องอาจ

ThaSH: อัลกอริทึม

ThaSH: นิวรัลเน็ตเวิร์ค (วิทยาการคอมพิวเตอร์)

ThaSH: กฎของเทย์เลอร์

Sears: Algorithms

Sears: Neural networks (Computer science)

Sears: Taylor's rule

Abstract: บทความนี้จะนำเสนอการปรับปรุงอัลกอริทึมการเรียนรู้สำหรับโครงข่ายประสาทเทียมแบบสังวัตนาการโดยการใช้อัตราการเรียนรู้ที่ปรับเองได้ ซึ่งจะทำให้การเข้าสู่คอนเวอรเจนซ์เร็วขึ้นกว่าเดิมด้วยวิธีการใช้อัตราการเรียนรู้ที่ปรับเองได้ เนื่องจากวิธีแบบดั้งเดิมนั้นการกำหนดอัตราการเรียนรู้จะขึ้นอยู่กับประสบการณ์และการทดลอง แต่ในงานวิจัยนี้จะนำเสนอให้ว่าอัตราการเรียนรู้ปรับตัวเองได้สามารถใช้กฎพื้นฐานของรูปแบบสมการเทย์เลอร์ที่มีความสัมพันธ์ระหว่างฟังก์ชันการเปลี่ยนแปลงความผิดพลาดกำลังสองกับน้ำหนักการเชื่อมต่อและไบอัลการเปลี่ยนแปลงที่ได้รับ ซึ่งสมการสำหรับหาอัตราการเรียนรู้ด้วยตนเองจะมีการปรับค่าอัตราเรียนรู้แต่ละรอบขึ้นอยู่กับความผิดพลาดกำลังสองเฉลี่ยและแนวโน้มความผิดพลาดของเกรเดียนต์ และผลจากทดลองการจำลองของโปรแกรมแสดงให้เห็นว่าจะใช้เวลาเข้าสู่คอนเวอร์เจนซ์น้อยกว่าวิธีแบบดั้งเดิมที่กำหนดอัตราการเรียนรู้คงที่

Abstract: This thesis improves the training algorithm for Convolutional Neural Network by using self-adaptive learning rate. Tuning for appropriate the value of learning rate usually requires human intervention. In this work, the learning rate can be adaptive based on Taylor’s formula. This formula has the relationship among the root mean square errors changed, connection template, weights and biases changes. The proposed self-adaptive learning rate is calculated from the root mean square error and the error curve surface gradient. From the experimental results, this proposed system can reach the convergence with smaller number of training iterations than the traditional algorithm with a constant learning rate.

สถาบันเทคโนโลยีพระจอมเกล้าเจ้าคุณทหารลาดกระบัง. สำนักหอสมุดกลาง

Address: กรุงเทพมหานคร

Email: Lifelong@kmitl.ac.th

Name: เกียรติกูล เจียรนัยธนะกิจ

Role: อาจารย์ที่ปรึกษาวิทยานิพนธ์

Email : kietikul.je@kmitl.ac.th

Created: 2563

Modified: 2564-06-27

Issued: 2564-06-27

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมคอมพิวเตอร์

Grantor: สถาบันเทคโนโลยีพระจอมเกล้าเจ้าคุณทหารลาดกระบัง

©copyrights สถาบันเทคโนโลยีพระจอมเกล้าเจ้าคุณทหารลาดกระบัง

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	Fulltext Sutit Ongart.pdf	2.79 MB	24	2025-10-17 14:43:32

ใช้เวลา

0.027924 วินาที