Deep consecutive attention network for video super-resolution

โครงข่ายแบบเน้นความสนใจต่อเนื่องเชิงลึกสำหรับวีดิทัศน์ความละเอียดสูงยวดยิ่ง

Name: Talha Saleem

LCSH: Video recording

LCSH: Interpolation

Abstract: In the video application, slow motion is visually attractive and gets more attention in video super resolution. To generate the high-resolution (HR) slow motion video frames from the low-resolution (LR) frames, two sub-tasks are required, including video super-resolution (VSR) and video frame interpolation (VFI). However, the interpolation approach is not successful to extract low level feature attention to get the maximum advantage from the property of space-time relation. To this extent, we propose a deep consecutive attention network-based method. The multi-head attention and an attentive temporal feature module are designed to achieve better prediction of interpolation feature frame. Bi-directional deformable ConvLSTM module aggregates and aligns with the information from the multi-head attention and temporal feature block to improve the quality of video frames. This method synthesizes the HR video frames from LR video frames. The experimental results in terms of PSNR show the proposed method of deep consecutive attention outperforms 0.27 dB and 0.31 dB for Vid4 and SPMC datasets respectively, in average of PSNR compared to state-of-the-art baseline method

Abstract: งานด้านวีดิทัศน์ กระบวนการแสดงการเคลื่อนไหวช้าได้รับความสนใจมากในการสร้างวีดิทัศน์ความละเอียดสูงยวดยิ่ง กระบวนการสร้างวีดิทัศน์ความละเอียดสูงเคลื่อนไหวช้าจากเฟรมที่มีความละเอียดต่ำนี้ แบ่งออกเป็น 2 ส่วน ประกอบไปด้วยการสร้างวีดิทัศน์ความละเอียดสูงยวดยิ่งและการประมาณค่าเฟรมวีดิทัศน์ อย่างไรก็ดี แนวทางการประมาณค่าดังกล่าวนั้นไม่ประสบผลสำเร็จในการสกัดคุณลักษณะที่สนใจระดับต่ำ เพื่อให้ได้รับประโยชน์สูงสุดจากคุณสมบัติของความสัมพันธ์ของปริภูมิเชิงเวลา ในการแก้ไขปัญหาดังกล่าว เรานำเสนอวิธีการภายใต้การใช้โครงข่ายแบบเน้นความสนใจต่อเนื่องเชิงลึกสำหรับวีดิทัศน์ความละเอียดสูงยวดยิ่ง จากการใช้กลไกเน้นความสนใจหลายหัวและโมดูลเน้นความสนใจของคุณลักษณะเชิงเวลา เพื่อให้การคาดเดาการประมาณค่าคุณลักษณะเฟรมได้ดีขึ้น โมดูลคอนแอลเอสดีเอ็ม (ConvLSTM) ที่เปลี่ยนรูปได้แบบสองทิศทาง และจัดกับข้อมูลจากกลไกเน้นความสนใจหลายหัวและกลุ่มคุณลักษณะเชิงเวลาเพื่อเพิ่มคุณภาพของเฟรมวีดิทัศน์ วิธีการนี้สังเคราะห์เฟรมวีดิทัศน์ที่มีความละเอียดสูงขึ้นมาจากเฟรมวีดิทัศน์ที่มีความละเอียดต่ำ ผลการทดลองแสดงให้เห็นว่าวิธีการโครงข่ายแบบเน้นความสนใจต่อเนื่องเชิงลึกที่นำเสนอมีประสิทธิภาพในเชิงค่าพีเอสเอ็นอาร์สูงกว่า 0.27 เดซิเบลและ 0.31 เดซิเบลโดยเฉลี่ยสำหรับชุดข้อมูลทดสอบ Vid4 และ SPMC ตามลำดับ เมื่อเปรียบเทียบกับวิธีการทันสมัยที่เป็นพื้นฐานในปัจจุบัน

Chulalongkorn University. Office of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Supavadee Aramvith

Role: advisor

Created: 2022

Modified: 2024-11-15

Issued: 2024-11-15

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Master of Engineering

Level: Master's Degree

Descipline: Electrical Engineering

Grantor: Chulalongkorn University

©copyrights Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	6370396521[1].pdf	4.72 MB

ใช้เวลา

0.027633 วินาที