2017年7月13日 星期四

Why PLA May Work - Step 1

最近在看台大教授李軒田開的線上課程,Machine Learning Foundations,所以接下來的幾篇文章,將是我的學習筆記。

筆記,若只是將原來教材重新篇排整理,寫在blog上,是沒有太多的價值。何況李軒田的教材已經寫的夠好了。一個有價值的,應該是挖掘教材裡難懂的部份(至少對自己而言),想通了之後,把思路寫出來。除了讓自己將來能夠以此為基礎,做更深入的探討,並挖掘更多的東西之外,也期望別人若遇到同樣的問題,看了我的筆記之後,能夠對原始教材的理解有所幫助。

所以,各位在看我的學習筆記之前,請先去讀原始教材。

接下來,針對教材裡的 Why PLA may work,裡面的證明過程,有許多痛點,嘗試做一些解釋。其中一段,節錄如下:


一開始,對上面這個式子,有滿腹的疑惑。第一個問題是,min代表什麼意思?它的意思是 ,離分割線最近的點。舉一個例子如下


有6個點,分成兩組,紅和綠:

紅色:x1, x2, x3
綠色:x4, x5, x6

己經有一條線將這6個點分成兩邊,剛好一邊是紅色,另一邊是綠色。wf是這條線的法向量。

每一個點都和wf相乘的結果如下:

用sign函式整理一下:



我們先觀察紅色的3個點,發現x1是距離線最近的點。所以wf * x1的值是最小,而且會大於零:

0 < wf * x1 < wf * x2 < wf * x3

至於綠色的那3個點呢?肉眼看,就知道沒有一個點比x2更接近分割線。因為綠色的點與wf相乘,為負數,而綠色所對應的y也為負數,所以我們可以用下面這個式子表達所有6個點



那麼, min 是何意?下面的n又代表什麼?以這個例子來看,min下方的n為1,指的就是x1,這是因為x1離線最近,使得y、w、x相乘為最小,表達如下


為何 wf * x 愈小表示x離線愈近?這要從向量內積的幾何意義來解釋。這就留給下一篇:
Why PLA May Work - Step 2

-Count
這封郵件來自 Evernote。Evernote 是您專屬的工作空間,免費下載 Evernote

沒有留言:

張貼留言