PLA 中 sign (w * x) 的幾何意義

這是PLA的演算法。節錄自，李軒田 - Machine Learning Foundations，

其中 sign (w * x)，到底是什麼意思？因為w和x都是向量，可以從向量的角度來了解之。下圖有二組向量，紅色和綠色

紅色：x1, x2, x3
綠色：x4, x5, x6

希望用一條線來區分這兩組向量，它的法向量為w，我們可以觀察到一個現象：

w * x1 > 0
w * x2 > 0
w * x3 > 0
w * x4 < 0
w * x5 < 0
w * x6 < 0

這個意思就是，用w和x的內積，大於零或小於零，來區分紅色和綠色。用符號來表達，就是

sign (w * x) = +1 or -1

+1 ---> w * x > 0
-1 ---> w * x < 0

接下來，我們可以開始解釋PLA演算法的第一行

它的意思是，在第t輪，發現有一個點xn，被分在錯誤的一類yn。還是用圖說明比較清楚

圖中，藍色的那條切割線，沒有將 x1 與 x4 區分正確，也就是

w * x1 < 0
w * x4 > 0

用sign表達：

sign (w * x1) = -1 (should be +1) 
sign (w * x4) = +1 (should be -1)

這就是PLA演算法的第一行的解釋

這樣清楚了吧？

-Count