Anomalous Event Detection and Localization Based on Deep Generative Adversarial Networks for Surveillance Videos

การตรวจจับและการระบุตำแหน่งเหตุการณ์ผิดปกติบนพื้นฐานการสร้างเครือข่ายปรปักษ์เชิงลึกสำหรับวิดีโอเฝ้าระวัง

Name: Thittaporn Ganokratanaa

LCSH: Detectors

LCSH: Deep learning (Machine learning)

Abstract: Anomaly detection is of great significance for intelligent surveillance videos. Current works typically struggle with object detection and localization problems due to crowded scenes and lack of sufficient prior information of the objects of interest during training, resulting in false-positive detection results. Thus, in this thesis, we propose two novel frameworks for video anomaly detection and localization. We first propose a Deep Spatiotemporal Translation Network (DSTN), a novel unsupervised anomaly detection and localization method based on Generative Adversarial Network (GAN) and Edge Wrapping (EW). In this work, we introduce (i) a novel fusion of background removal and real optical flow frames with (ii) a concatenation of the original and background removal frames. We improve the performance of anomaly localization in the pixel-level evaluation by proposing (iii) the Edge Wrapping to reduce the noise and suppress non-related edges of abnormal objects. DSTN is a successful approach, providing good performance regarding anomaly detection accuracy and time complexity for surveillance videos. However, the false-positive problem has still occurred in the scene. Thus, we continue to propose Deep Residual Spatiotemporal Translation Network (DR-STN), a novel unsupervised Deep Residual conditional Generative Adversarial Network (DR-cGAN) model with an Online Hard Negative Mining (OHNM) approach to specifically remove the false-positives. The proposed DR-cGAN provides a wider network to learn a mapping from spatial to temporal representations and enhance the perceptual quality of synthesized images from a generator. Our proposed methods have been tested on publicly available anomaly datasets, including UCSD pedestrian, UMN, and CUHK Avenue, demonstrating superior results over other state-of-the-art methods both in frame-level and pixel-level evaluations.

Abstract: การตรวจจับความผิดปกติมีความสำคัญอย่างยิ่งสำหรับวิดีโอเฝ้าระวังอัจฉริยะ งานวิจัยในปัจจุบันมักเจอกับปัญหาการตรวจจับและการระบุตำแหน่งวัตถุ เนื่องจากฉากที่แออัดและการไม่มีข้อมูลเบื้องต้นของวัตถุที่สนใจอย่างเพียงพอในระหว่างการเรียนรู้ของโมเดลซึ่งส่งผลให้ผลการตรวจจับเป็นเท็จ ดังนั้นในวิทยานิพนธ์นี้ จึงเสนอกรอบใหม่สองแบบสำหรับการตรวจจับและการระบุตำแหน่งความผิดปกติในวิดีโอ อันดับแรกเสนอเครือข่ายการแปลเวลาและพื้นที่เชิงลึก ซึ่งเป็นวิธีการตรวจจับและระบุตำแหน่งความผิดปกติแบบใหม่ที่ใช้การเรียนรู้แบบไม่มีผู้สอนบนพื้นฐานการสร้างเครือข่ายปรปักษ์เชิงลึกและการจับขอบ ในงานนี้ได้นำเสนอการรวมกันแบบใหม่ของภาพการลบพื้นหลังและภาพการเคลื่อนที่จริง โดยมีการต่อกันของภาพต้นฉบับและภาพการลบพื้นหลัง และปรับปรุงประสิทธิภาพของการระบุตำแหน่งความผิดปกติในการประเมินระดับพิกเซลโดยเสนอวิธีการจับขอบเพื่อลดสัญญาณรบกวนและลดขอบที่ไม่เกี่ยวข้องกับวัตถุที่ผิดปกติ เครือข่ายการแปลเวลาและพื้นที่เชิงลึกเป็นวิธีที่ประสบความสำเร็จโดยให้ประสิทธิภาพที่ดีเกี่ยวกับความแม่นยำในการตรวจจับความผิดปกติและความซับซ้อนของเวลาสำหรับวิดีโอเฝ้าระวัง อย่างไรก็ตามปัญหาการตรวจจับเป็นเท็จยังคงเกิดขึ้นในฉาก ดังนั้นจึงนำเสนอเครือข่ายการแปลเวลาและพื้นที่ที่เหลือเชิงลึก ซึ่งเป็นโมเดลเครือข่ายปรปักษ์เชิงลึกแบบมีเงื่อนไขที่เหลือแบบใหม่ที่ใช้การเรียนรู้แบบไม่มีผู้สอนด้วยวิธีการทำเหมืองเชิงลบอย่างมากแบบออนไลน์ เพื่อลบผลการตรวจจับที่เป็นเท็จโดยเฉพาะ เครือข่ายการแปลเวลาและพื้นที่ที่เหลือเชิงลึกนำเสนอเครือข่ายที่กว้างขึ้นเพื่อเรียนรู้การทำแผนที่จากการแสดงเชิงพื้นที่ไปจนถึงการแสดงเชิงเวลา และเพิ่มคุณภาพการรับรู้ของภาพที่สังเคราะห์จากเจเนอร์เรเตอร์ วิธีที่นำเสนอทั้งสองวิธีได้รับการทดสอบกับชุดข้อมูลความผิดปกติที่เปิดเผยต่อสาธารณะ ได้แก่ ชุดข้อมูลคนเดินเท้ายูซีเอสดี ชุดข้อมูลยูเอ็มเอ็น และ ชุดข้อมูลซียูเอชเค อเวนิว ซึ่งแสดงให้เห็นถึงผลลัพธ์ที่เหนือกว่าวิธีการแบบใหม่อื่น ๆ ทั้งในการประเมินระดับเฟรมและระดับพิกเซล

Chulalongkorn University. Office of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Supavadee Aramvith

Role: advisor

Name: Nicu Sebe

Role: advisor

Created: 2020

Modified: 2024-11-10

Issued: 2024-11-10

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: Electrical Engineering

Grantor: Chulalongkorn University

©copyrights Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	6071415121[1].pdf	3.9 MB

ใช้เวลา

0.027405 วินาที