การจัดเส้นทางบนพื้นฐานของการเรียนรู้แบบเสิรมแรงด้วยเร็พพิวเทชันของเส้นทางในโครงข่ายเซนเซอร์ไร้สาย เพื่อการประยุกต์ใช้ในการเตือนเหตุอุทกภัย

Reinforcement learning-based routing with path reputation in wireless sensor network for flood warning application

Name: ณัฐธิดา ขาวสะอาด

ThaSH: ระบบเตือนภัยธรรมชาติ

ThaSH: เครือข่ายตัวรับรู้ไร้สาย

ThaSH: คณิตศาสตร์วิศวกรรม

ThaSH: แบบจำลองทางภูมิศาสตร์

Abstract: วิทยานิพนธ์นี้มีจุดมุ่งหมายเพื่อพัฒนากรอบการวิเคราะห์เชิงคณิตศาสตร์เพื่อใช้ในการพัฒนาการเรียนรู้แบบอัตโนมัติเพื่อช่วยในกระบวนการตัดสินใจเลือกเส้นทางในโครงข่ายเซนเซอร์ไร้สายโดยประยุกต์ใช้ในระบบเตือนภัยอุทกภัย ซึ่งกระบวนการเรียนรู้ที่นำมาใช้คือการเรียนรู้แบบเสริมแรง (Reinforcement learning: RL) โดยเส้นทางที่ดีที่สุดจะถูกหาผ่านจากนโยบายซึ่งประเมินจากค่าของแอคชั่นแวลู่ฟังก์ชันโดยทดสอบผ่านโครงข่ายขนาดเล็กที่ระบบมีการเปลี่ยนแปลงแบบคงที่และโครงข่ายขนาดใหญ่แบบที่ระบบมีการเปลี่ยนแปลงแบบไม่คงที่ การประยุกต์ใช้วิธีการแบบมอนติคาร์โลในระบบเตือนภัยอุทกภัย โดยมีการนำมาใช้เพื่อช่วยในการตัดสินใจเลือกเส้นทางที่ดีที่สุดในโครงข่ายขนาดเล็กที่มีการควบคุมเงื่อนไขบังคับ (constraints) ทั้งหมดสามตัวแปรได้แก่ระดับพลังงาน อายุการใช้งาน และค่าเร็พพิวเทชันของเส้นทาง โดยค่าตัวแปรเงื่อนไขทั้งสามตัวได้ถูกนำมาพิจารณาเป็นเงื่อนไขสำคัญในโครงข่ายขนาดเล็ก โดยค่าเร็พพิวเทชันของเส้นทางเป็นตัวแปรสำคัญเพื่อทำให้การตัดสินใจเลือกเส้นทางนั้นสามารถหลีกเลี่ยงโอกาสของโนดที่จะเป็นจุดปัญหา (single point of failure) ของระบบได้ ผลการทดลองที่ได้พบว่าการนำวิธีการมอนติคาร์โลมาประยุกต์ใช้ในโครงข่ายขนาดเล็กสามารถทำงานได้อย่างมีประสิทธิภาพและทำการพิจารณาในโครงข่ายขนาดใหญ่เป็นลำดับถัดไป การทดสอบในระบบโครงข่ายขนาดใหญ่ได้มีการพัฒนาแนวคิดด้วยการเพิ่มขีดความสามารถของวิธีการมอนติคาร์โลโดยการปรับเปลี่ยนตัวแปรสถานะจากมอนติคาร์โลอย่างง่าย ที่ไม่ได้นำข้อมูลที่เกี่ยวข้องกับระบบมารวมเข้ากับตัวแปรสถานะให้นำเข้ามาพิจารณาร่วมเพื่อปรับปรุงนโยบายของการเลือกเส้นทางที่จะเปลี่ยนไป โดยการทดสอบได้นำเข้าสู่การพิจารณาเรื่องของผลกระทบของฟังก์ชันผลรางวัลต่อการตัดสินใจของมอนติคาร์โลในสถานการณ์ต่างๆ และการกระจายภาระงานที่เหมาะสม (optimal load balancing) โดยพบว่าสำหรับตัวแปรสถานะที่มีค่าพลังงานปัจจุบันและค่าเร็พพิวเทชัน และการใช้ฟังก์ชันผลรางวัลที่มีสามตัวแปร ที่มีการถ่วงน้ำหนักอย่างเท่าเทียม เช่นเดียวกับในโครงข่ายขนาดเล็กเป็นหนึ่งในคำตอบที่เป็นไปได้และในการทดลองลำดับสุดท้ายจะเป็นการพิจารณาเปรียบเทียบความสามารถในการรักษาการเชื่อมต่อของโครงข่ายได้โดยทำการเปรียบเทียบกับวิธีการที่มีอยู่เดิมซึ่งพบว่าความสำคัญของการเพิ่มโอกาสเลือกตัวกระทำใหม่โดยเปิดโอกาสให้ระบบเข้าถึงทุกสภาวะของสถานะจะเป็นวิธีที่เหมาะสมที่สุดในระบบที่มีการเปลี่ยนแปลงสูง เมื่อพิจารณาเปรียบเทียบกับวิธีอื่นจะพบว่าความสามารถในการรักษาการเชื่อมต่อของโครงข่ายนั้นดีขึ้นถึง 20% เมื่อเทียบกับวิธีมาตรฐานจากการเลือกเส้นทางที่สั้นที่สุด สำหรับการพิจารณาในด้านของความซับซ้อนของระบบเมื่อเทียบกับวิธีการที่นำเสนอและข้อจำกัดในการนำวิธีการมอนติคาร์โลไปใช้รวมถึงข้อเสนอของงานวิจัยในอนาคตได้ถูกแสดงในวิทยานิพนธ์ฉบับนี้

Abstract: This dissertation aims at developing a mathematical framework by using an automated learning to help in the decision making in a route selection process of wireless sensor network in flood warning application. The automated learning is the reinforcement learning (RL) where the best possible route will be determined from the policy (set of actions) obtained from the action-value function by considering on the small-scale network scenario with a static topology and the large-scale network scenario with a dynamic topology. The application of the monte Carlo algorithm in flood warning application has been used to determine the best possible route selection with three constraints which are remaining energy, remaining lifetime and path reputation. These three constraints have been considered as a reward function in small-scale network scenario. By using path reputation, this technique can be alleviated the single point of failure of the system. The preliminary result confirms that the monte Carlo algorithm performs well and effective. Therefore, the investigation on a large-scale network has been considered. The experimental settings for a large-scale network begin with the consolidation of Monte Carlo algorithm by changing state variable from simple to the advance. Previously, the state variable has not incorporated the environmental status but it will be included in a large-scale network. The main idea is to extend the proposed algorithm towards the actual environment scenarios. Thus, the effect of reward function to the solution of monte Carlo algorithm has been observed as well as the optimal load balancing. Only remaining energy and its reputation are required for being state variables. From the investigations, the reward function with three components (remaining energy, remaining lifetime and the path reputation value) performs well. Note that there are many possible weighted functions can be used but the results in terms of total remaining energy from all sensor nodes are slightly different. Finally, the weight has been chosen equally. The performance measurement has been done in terms of the ability to maintain the network connectivity by balancing and sharing the traffic load to alternative routes. The benchmarking methods are shortest path, max-min method, uniform random, monte Carlo with non-intelligence and monte Carlo with intelligence. The results show that the proposed method can guarantee the link connectivity time longer than the worst case method up to 20% (the shortest path). Finally, the computational complexity is considered as well as the possibility work towards future.

จุฬาลงกรณ์มหาวิทยาลัย. สำนักงานวิทยทรัพยากร

Address: กรุงเทพมหานคร

Email: cuir@car.chula.ac.th

Name: ชัยเชษฐ์ สายวิจิตร

Role: ที่ปรึกษา

Created: 2557

Modified: 2563-05-07

Issued: 2563-05-07

วิทยานิพนธ์/Thesis

application/pdf

URL: http://cuir.car.chula.ac.th/handle/123456789/53032

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมไฟฟ้า

Grantor: จุฬาลงกรณ์มหาวิทยาลัย

©copyrights จุฬาลงกรณ์มหาวิทยาลัย

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	5470192021[1].pdf	877.56 KB	5	2023-01-08 10:37:17

ใช้เวลา

0.020579 วินาที