Topology optimization for CNN using neuroevolution

การหาทอพอโลยีเหมาะที่สุดสำหรับซีเอ็นเอ็นโดยใช้วิวัฒนาการทางประสาท

Name: Kevin Richard G. Operiano

LCSH: Neural networks (Computer science)

LCSH: Topology

Abstract: In the recent years, the architecture of the convolutional neural networks has become much deeper and more complex to improve their performance. Consequently, they require large datasets and a considerable amount of computational resources. However, in some applications such as medical imaging analysis, datasets are scarce and difficult to collect. In these cases, deep networks cannot be trained enough, which makes them susceptible to overfitting. Moreover, not all institutions have access to abundant computational resources. Designing a small network that performs as well as a deep network requires expertise and a great effort. Neuroevolution is therefore proposed to automatically discover an optimal convolutional neural network architecture for a given dataset. Neuroevolution is a method inspired by natural selection and previously applied in artificial neural networks to optimize their architecture. With meticulous implementation, neuroevolution can find small convolutional neural network architectures that are on par with deep architectures. The experiments conducted confirm that different proposed neuroevolution implementation can achieve accuracies comparable to those of deep architectures as observed in the accuracies of the generic neuroevolution, steady-state neuroevolution, and ResNet-34 (91.59%, 91.00% and 89.25% respectively). In addition, the neuroevolution performed in a specific object detection application with a limited dataset (i.e., dangerous objects X-ray) has demonstrated that it can find architectures that have modest depths but have performances similar to the deep network. In an experiment, the YOLOv3 with neuroevolution backbone has 47 blocks and 63.8% accuracy, whereas the original YOLOv3 has 106 blocks and 52.9% accuracy. Conclusively, the proposed neuroevolution methods can achieve all the objectives of this dissertation as they effectively aid in creating alternative to deep networks but without performance loss.

Abstract: ในช่วงไม่กี่ปีที่ผ่านมามีการพัฒนาสถาปัตยกรรมโครงข่ายประสาทเทียมให้มีความลึกและซับซ้อนขึ้นมากเพื่อประสิทธิภาพของมันโครงข่ายลึกต้องการชุดข้อมูลขนาดใหญ่และทรัพยากรการคำนวณสูงมาก อย่างไรก็ตามในบางแอพปลิเคชัน เช่น การวิเคราะห์ภาพทางการแพทย์ชุดข้อมูลมีจำนวนจำกัดและจัดหาได้ยาก ในกรณีนี้โครงข่ายลึกอาจไม่สามารถถูกฝึกได้มากเพียงพอ ซึ่งทำให้เสี่ยงต่อการที่ทำให้มันเข้ากับข้อมูลเกินไป (overfitting) นอกจากนี้ไม่ใช่ทุกคนที่สามารถเข้าถึงทรัพยากรการคำนวณขั้นสูงได้ การออกแบบโครงข่ายขนาดเล็กแต่มีประสิทธิภาพเทียบเคียงกับโครงข่ายลึกนั้นต้องใช้ความเชี่ยวชาญและความพยายามลองผิดลองถูกอย่างมาก วิทยานิพนธ์นี้จึงขอนำเสนอให้ปรับปรุงวิธีวิวัฒนาการทางประสาทเพื่อค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียมที่เหมาะสมที่สุดโดยอัตโนมัติสำหรับชุดข้อมูลที่กำหนด วิวัฒนาการทางประสาทเป็นวิธีที่ได้รับแรงบันดาลใจจากการคัดเลือกโดยธรรมชาติ และเคยถูกนำไปใช้กับโครงข่ายประสาทเทียมเพื่อเพิ่มประสิทธิภาพสถาปัตยกรรมโดยไม่มีข้อจำกัดด้านปริมาณข้อมูลแล้ว ด้วยการปรับปรุงอย่างพิถีพิถัน วิวัฒนาการทางประสาทสามารถค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียมขนาดเล็กที่เทียบเท่ากับสถาปัตยกรรมเชิงลึกได้ การทดลองที่ได้ดำเนินการยืนยันว่าการใช้วิวัฒนาการทางระบบประสาทที่ปรับปรุงขึ้นหลากหลายรูปแบบสามารถบรรลุความแม่นยำเทียบเท่ากับสถาปัตยกรรมวิวัฒนาการทางประสาททั่วไป สถาปัตยกรรมวิวัฒนาการทางประสาทคงตัว และ RestNet-34 (91.59%, 91.00% and 89.25% ตามลำดับ) จากการทดลอง YOLOv3 ที่ได้รับการวิวัฒนาการมีความลึกเพียง 47 ชั้น มีความแม่นยำ 63.8% ในขณะที่ YOLOv3 ดั้งเดิมมีความลึก 106 ชั้น แต่มีความแม่นยำเพียง 52.9% นอกจากนี้ สรุปได้ว่าวิวัฒนาการทางประสาทที่นำเสนอสามารถบรรลุวัตถุประสงค์ทั้งหมดของวิทยานิพนธ์ฉบับนี้ เนื่องจากช่วยในการสร้างสถาปัตยกรรมทางเลือกให้กับโครงข่ายลึก แต่ไม่สูญเสียประสิทธิภาพ

Chulalongkorn University. Office of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Wanchalerm Pora

Role: advisor

Name: Iba, Hitoshi

Role: advisor

Created: 2021

Modified: 2024-01-08

Issued: 2024-01-08

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Doctor of Engineering

Level: Doctoral Degree

Descipline: Electrical Engineering

Grantor: Chulalongkorn University

©copyrights Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	Eng_Richard Ke_The_2021.pdf	89.35 MB	15	2026-05-26 18:16:01

ใช้เวลา

-0.971727 วินาที