Setting up your Machine Learning Application

Train / Dev / Test sets

• 在以前的 machine learning 資料不多 (100 ~ 10000 筆)

  • 拆成 60 / 20 / 20 的 train / dev / test sets 差不多

  • dev set = cross validation set = development set (名詞不同而已)

• 而現今的 big data 時代 (1000000 筆)

  • dev set 只是為了評估不同演算法的效率 (10000 筆就夠)

  • test set 只是要評估 classifier 的效果如何 (10000 筆就夠)

  • 所以現在在分配三者的量時，可能會採取

    • 98 / 1 / 1 甚至是 99.5 / 0.25 / 0.25

Mismatched train / test distribution

• 開發時的 train data 和 dev/test data 最好來自同一個 distribution

• 例如 train data 使用網路抓取的高解析圖片

• test data 則使用用戶手機拍下的低解析圖片

• 這會讓整個測試結果不佳，也會讓流程變慢

Bias / Variance

• 假設訓練看貓照片時，人眼辨識錯誤率為 0%

Result	high variance	high bias	high on both	low on both
Train set error	1%	15%	15%	0.5%
Dev set error	11%	16%	30%	1%

• train 的很好但 dev 測試很差，代表 overfit

• train 的很爛 dev 也一樣爛，代表 underfit

• train 的很爛 dev 又更爛，代表 overfit + underfit

• train 的很好 dev 也很好，代表完美

• 這些測試建立在人眼錯誤率為 0% (稱作 optimal error)

• 測試結果會隨著 optimal error 的改變而有所不同

Basic Recipe for Machine Learning

• 從 bias 和 variance 可以找出對應解法

• High bias (bad training set performance) ?

  • 建構更大的 neural network

  • Train longer

  • (NN architecture search) (maybe not work)

• High variance (bad dev set performance) ?

  • 取得更多 data

  • Regularization

  • (NN architecture search) (maybe not work)

Bias vs. Variance tradeoff

• 在 machine learning 時代

  • bias 降低，variance 就會變高，反之亦然。

• 但在 big data deep learning 時代

  • 建構更大 nn 可以降低 bias 而不影響其他因素

  • 取得更多 data 可以降低 variance 而不影響其他因素

    • 但需要有一個很棒的 regularization implementation

  • 這也是為什麼 deep learning 在 supervised learning 能有非常好的表現