A non-linear semi-supervised learning framework for distance metric learning

กรอบงานการเรียนรู้กึ่งมีผู้สอนแบบไม่เชิงเส้นสำหรับการเรียนรู้ฟังก์ชันระยะทาง

Name: Ratthachat Chatpatanasiri

LCSH: Machine learning

LCSH: Nonlinear programming

Abstract: This dissertation consists of two main contributions. The first contribution focuses on developing a new framework of kernelizing Mahalanobis distance learners. The new KPCA trick framework offers several practical advantages over the classical kernel trick framework, e.g. no mathematical formulas and no reprogramming are required for a kernel implementation, a way to speed up an algorithm is provided with no extra work, the framework avoids troublesome problems such as singularity. Rigorous representer theorems in countably-infinite dimensional spaces are given to validate our framework. Furthermore, unlike previous works which always apply brute force methods to select a kernel, we derive a kernel alignment formula based on quadratic programming which can efficiently construct an appropriate kernel for a given dataset. In the second contribution, we present a general framework of semi-supervised dimensionality reduction for manifold learning which naturally generalizes existing supervised and unsupervised learning frameworks which apply the spectral decomposition. Algorithms derived under our framework are able to employ both labeled and unlabeled examples and are able to handle complex problems where data form separate clusters of manifolds. Our framework offers simple views, explains relationships among existing frameworks and provides further extensions which can improve existing algorithms.

Abstract: วิทยานิพนธ์ฉบับนี้ประกอบไปด้วยงานหลักสองส่วน ในส่วนแรกเป็นงานวิจัยที่พัฒนากรอบงานสำหรับเคอร์เนลไลซ์ระบบการเรียนรู้ระยะทางแบบมาฮาลาโนบิส โดยกรอบงานไม่เชิงเส้นที่พัฒนาขึ้นที่มีชื่อว่า “เคพีซีเอ ทริก” นี้มีข้อได้เปรียบมากกว่ากรอบงานที่ถูกพัฒนาขึ้นมาก่อนหน้า ในหลายๆ ด้านด้วยกัน เช่น ผู้ใช้งานไม่จำเป็นต้องสร้างสมการคณิตศาสตร์ขึ้นมาใหม่ ผู้ใช้งานไม่จำเป็นต้องเขียนโปรแกรมใหม่ กรอบงานสามารถช่วยเพิ่มความเร็วให้กับอัลกอริทึม และกรอบงานนี้ไม่สร้างปัญหาจำพวกซิงกูลาร์ลิตี้เหมือนกรอบงานประเภทเก่า เป็นต้น ในงานนี้ผู้เขียนได้พิสูจน์ทฤษฎีบทรีพรีเซ็นเตอร์อย่างรัดกุม เพื่อแสดงความถูกต้องของกรอบงานที่สร้างขึ้นแม้ในมิติ ที่เป็นอนันต์แบบนับได้ นอกจากนี้ในกรอบงานยังได้แสดงวิธีการเลือกเคอร์เนลที่เหมาะสมอย่างมีประสิทธิภาพอีกด้วย ในงานส่วนที่สองเป็นส่วนของการพัฒนากรอบงานการเรียนรู้แบบกึ่งมีผู้สอน เพื่อการลดขนาดมิติของข้อมูลที่อยู่ในมานิโฟลด์กรอบงานที่พัฒนาขึ้น ได้ครอบคลุมกรอบงานที่ใช้เทคนิกสเปร็คตรัล ก่อนหน้าทั้งแบบมีผู้สอนและแบบไม่มีผู้สอน อัลกอริทึมที่ถูกสร้างบนกรอบงานที่นำเสนอในที่นี้สามารถใช้ตัวอย่างได้ทั้งแบบมีป้ายชื่อและแบบไม่มีป้ายชื่อ และสามารถใช้งานได้แม้ในสถานการณ์ที่ซับซ้อน เช่น ชุดข้อมูลเรียงตัวกันอยู่หลายคลัสเตอร์และคลัสเตอร์นั้นอยู่บนมานิโฟลด์แบบไม่เชิงเส้น กรอบงานที่พัฒนาขึ้นนี้นอกจากจะมีขยายขอบเขตความสามารถของกรอบงานที่ถูกพัฒนาก่อนหน้า แล้วยังได้ให้มุมมองที่เข้าใจง่ายเพื่ออธิบายความสัมพันธ์ของกรอบงานต่างๆ ที่ถูกพัฒนาขึ้นมาก่อนหน้าได้เป็นอย่างดี

Chulalongkorn University. Center of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Boonserm Kijsirikul

Role: advisor

Created: 2009

Modified: 2557-10-31

Issued: 2014-07-12

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Doctor of Philosophy

Level: Doctoral Degree

Descipline: Computer Engineering

Grantor: Chulalongkorn University

©copyrights Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	Ratthachat_Ch.pdf	1.12 MB	21	2022-12-25 10:41:55

ใช้เวลา

0.03754 วินาที