ระบบช่วยเหลือคนตาบอดผ่านวีดีโอคอลในโทรศัพท์ร่วมกับการประกอบภาพทางไกล

Mobile video-based Tele-assistance system with remote scene construction for the blinds.

Name: ณัฐณิชา มณีแสง

keyword: โทรศัพท์ภาพ

; คนตาบอด

Abstract: โปรแกรมวิดีโอคอลบนโทรศัพท์มือถือเป็นช่องทางสำคัญในการสื่อสารสำหรับคนตาบอดในสถานการณ์ที่คนตาบอดอยู่ตามลำพังและจำเป็นต้องอาศัยความช่วยเหลือจากผู้ช่วย แต่อย่างไรก็ตามโปรแกรมที่มีอยู่ในปัจจุบันไม่สามารถใช้ช่วยเหลือคนตาบอดได้ ทั้งนี้เกิดจากหลายสาเหตุตัวอย่างเช่น ปัญหาด้านมุมมองภาพที่แสดงเพียงภาพวิดีโอปัจจุบันที่ได้รับจากคนตาบอด ซึ่งผู้ช่วยเหลือจำเป็นต้องบอกคนตาบอดให้หมุนกล้องไปมา จนกว่าจะถึงตำแหน่งที่ถูกต้อง ซึ่งทำได้ยากเนื่องจากคนตาบอดไม่สามารถมองเห็นสิ่งต่าง ๆ ที่กำลังถ่ายอยู่ได้ ดังนั้นในวิทยานิพนธ์นี้จึงให้ความสนใจไปที่การนำวิดีโอที่ได้รับจากคนตาบอดมาสร้างเป็นภาพขนาดใหญ่โดยใช้เทคนิคการต่อภาพ เพื่อให้ผู้ช่วยเหลือสามารถใช้งานช่วยเหลือคนตาบอดผ่านโปรแกรมวิดีโอคอลได้อย่างมีประสิทธิภาพ อัลกอริทึมของการสร้างภาพทางไกลที่นำเสนอในวิทยานิพนธ์นี้รวมอยู่ในระบบต่อแสงสุข ซึ่งประกอบด้วย 3 ส่วน ส่วนแรก คือ โปรแกรมสำหรับคนตาบอด โดยเป็นโปรแกรมวิดีโอคอลบนโทรศัพท์ที่ใช้ระบบปฏิบัติการแอนดรอยด์ ซึ่งทำหน้าที่ในการถ่ายและส่งวิดีโอจากคนตาบอดไปยังผู้ช่วยเหลือ ที่ออกแบบโดยอ้างอิงจาก WCAG ส่วนที่สองคือส่วนการให้บริการการสื่อสารระหว่างผู้ใช้ ซึ่งเป็นการสื่อสารผ่าน WebRTC และส่วนสุดท้ายคือโปรแกรมสำหรับผู้ช่วยเหลือ ซึ่งรวมการทำงานของอัลกอริทึมของการสร้างภาพทางไกลที่มีพื้นฐานบนอัลกอริทึม SIFT โดยการประมวลผลนี้ได้นำการประมวลผลแบบเทรดมาใช้สำหรับการประมวลผลในกรณีภาพไม่ต่อเนื่อง โดยรองรับการทำงานสูงสุด 5 เทรด นอกจากนี้ผู้ใช้ยังสามารถขยายภาพที่ตำแหน่งต่าง ๆ และใช้โทนสีในการบอกตำแหน่งปัจจุบันแก่ผู้ช่วยเหลือด้วยเช่นกัน การทดสอบการทำงานของระบบต่อแสงสุข ทำโดยผู้ทดลองที่เป็นคนตาบอดจำนวน 1 คน และผู้ช่วยเหลือที่เป็นบุคคลทั่วไปจำนวน 2 คน กับกิจกรรมจำนวน 2 กิจกรรม โดยเป็นการใช้งานระบบต่อแสงสุขที่รวมการทำงานของการสร้างภาพทางไกล และการทำงานที่ไม่รวมการสร้างภาพทางไกลเพื่อทำการเปรียบเทียบ ซึ่งการทดลองออกแบบให้สลับลำดับการใช้งานเพื่อป้องกันการเรียนรู้ของผู้ทดลอง โดยสุดท้ายจากการวัดผลการทดลองในรูปแบบของเวลาที่ใช้ในแต่ละกิจกรรมพบว่า การใช้งานระบบต่อแสงสุขร่วมกับการสร้างภาพทางไกลทำให้การช่วยเหลือเร็วขึ้นประมาณ 31% หรือ 1.75 นาที

Abstract: For people with visual disabilities, the use of video-call application on mobile devices can be an essential means to remotely communicate with their assistants whenever tasks require help from sighted person. However, such applications on the market were not readily usable by blind users. One major drawback is that the assistant can only view current video stream. When the blind fails to take necessary scenes, the assistant must direct the blind to re-shoot the video until required task can be accomplished. Apparently, it is highly challenging for the blinds to capture the videos at the right spot. Thereby, this thesis focuses on constructing large scene by stitching images real-time from video streams taken by the users. A new system, “Tor Sang Suk”, was developed to include our proposed algorithm. It comprises three components. The first component, for the blind users, is a WCAG complied video-call application on Android that simply captures and sends videos. The second component is the communication between Android device the PC, enabled through WebRTC. The third component for the assistants contains our proposed remote scene construction algorithm based on SIFT (Scale-Invariant Feature Transform) that allows up to five threads of disconnected video streams. It also features real-time zooming function and graying of older portion of images. We evaluated Tor Sang Suk by one blind user, two assistants, and two scenarios. For each of the scenarios, the blind user performed the same task twice per one assistant, once using Tor Sang Suk with remote scene construction feature, and another without. For the two times the tasks were performed, it was done with different assistant to avoid prior knowledge from the assistant. We measured the time to complete each task and found that Tor Sang Suk with remote scene construction showed 31% time reduction, or an average of 1.75 minutes.

จุฬาลงกรณ์มหาวิทยาลัย. สำนักงานวิทยทรัพยากร

Address: กรุงเทพมหานคร

Email: cuir@car.chula.ac.th

Name: อติวงศ์ สุชาโต

Role: ที่ปรึกษา

Name: โปรดปราน บุณยพุกกณะ

Role: ที่ปรึกษา

Created: 2557

Modified: 2559-04-20

Issued: 2559-04-20

วิทยานิพนธ์/Thesis

application/pdf

URL: http://cuir.car.chula.ac.th/handle/123456789/45851

tha

DegreeName: วิทยาศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมคอมพิวเตอร์

Grantor: จุฬาลงกรณ์มหาวิทยาลัย

©copyrights จุฬาลงกรณ์มหาวิทยาลัย

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	5770411821.pdf	2.49 MB	51	2026-05-26 18:16:01

ใช้เวลา

0.05851 วินาที