前面幾篇文章提到 manifold learning, 只討論用於降維，沒有討論如何用於 learning. 什麼是 learning? No free lunch theorem told us need to (1) underline structure; (2) constraints to learn something from existing data. underline structure => manifold hypothesis or kernel method, 如下式的 (function search space). constraint => Occam razor principle, simpler is better than complex, smooth (underfit or just make) is better …
Tag Archives: AI
機器學習基礎：Manifold and Metric Learning
Manifold learning 是降維的理論基礎，主要是降維後保持原始資料的幾何結構。 先看 manifold learning 的成功和不怎麼成功例子：Swiss Roll 是標準的 toy example. 基本所有的 manifold learning 算法都可以得到不錯的結果。 但如果在 Swiss Roll 中間挖一個洞，大多數 manifold learning 都會有問題。[Perrault-Joncas, 2012] 幾何結構有兩層意義。第一層次是拓墣結構 (topology), preserve neighborhood. 第二層次是幾何結構 (geometry), preserve geometric/metric 特性: distance, angle, curvature, volume, etc. 大多數 manifold learning 都是第一層次。即使是第二層次也只考慮 intrinsic flat manifold (e.g. Swiss roll). 常見的 manifold learning algorithms 如下圖。 本文聚焦在 metric learning …
機器學習基礎：升維+降維
機器學習最重要的觀念和工具（之一）是升維和降維。我們從 big picture 著手。 為什麼要升維和降維，基本的思路如下： Video/audio/big data 原始資訊表徵 (data representation) 就是分佈在高維空間 (e.g. Imagenet RGB image: 224x224x3=150,528 dimension)。 但這些 data 本質是低維，或是可以用低維的 embedding (嵌入) 或是manifold (流形) 來描述。這是從unsupervised learning (no label) 的角度來看。  從 supervised learning 角度來看，不論是 classification or regression 的 boundary or curve 很少是線性。但映射到高維空間則有可能是線性。這是 kernel method, auto-encoder, etc. 的基本假設。 極端的情況是每個 data point 都映射一個維度，則一定有線性 boundary. 不過這會造成“維度災難"。  深度學習 …
ALU - AI, Language, Universe 