Math.py

此篇文章主要著重在 ImageDataGenerator 的使用，以及是否能增進 CNN 的辨識率，因此文章內主要的 CNN Architecture 均沿用 “ 卷積神經網路 Convolutional Neural Network ( CNN ) 與 全連接神經網路 Fully Connected Feedforward Network 於 MNIST 上之實作 “ 一文。

以 Wordpress 作為部落格的主要平台也已經大半年了，文章也已經到了 70+ 的數量，但 Wordpress 商業化的實在太嚴重，許多為人稱羨的外掛都必須要升級為商務版才能夠使用，每個月要六、七百元的花費實在是太誇張，畢竟不是每一個人都是專業收費寫手。

• 本文內容以李宏毅 Machine Learning (2017) 第十講 : Convolutional Neural Network ( CNN ) 為主，搭配參考資料編輯而成。

• 本篇圖片部分出自 Machine Learning (2017) 課程內容講義

• 本文內容節錄自Hung-yi Lee , Machine Learning(2017) 課程內容 : Tips for training DNN
• 本文圖片均來自於課程講義內容

概述

一般的 Convolutional Neural Network ( CNN ) 模型包含了卷積層以及池化層。卷積層中藉由 filters ( kernels ) 對輸入層的每一個局部域做線性卷積運算後再通過非線性的 activation function 輸出 feature maps。而池化層利用 subsampling 在不影響特徵的前提下縮減參數數量，並且提高感受野 ( receptive field )。

CAR Theorem

CAR Theorem 作為本章節的開頭，提供了我們解決問題的思維流程，而 CAR 包含三個主要的部份 : Criticality、Abstraction 以及 Restriction

人臉辨識最近引起不少的關注，主要是利用特殊的化妝技巧，便可以防止被人臉辨識系統成功的偵測出身分，然而這樣的方法筆者認為並不能算是非常符合我們一般生活習慣的方式，畢竟，誰會願意把臉上貼成這樣出門逛街 ? 有沒有一種比較……正常的方式可以對抗人臉辨識 ?

• 本文內容參考自Hung-yi Lee , Machine Learning(2017) 課程內容 : Tips for Training DNN
• 本文圖片部分來自於課程講義內容

我們進行 Gradient Descent 時，使用 Stochastic Gradient Descent 的確會讓整個訓練的速度變得比較快速，而且擬合的狀況並不會太差，但在實務上我們更常使用的方式是利用 mini batch 來進行訓練。

由林軒田機器學習第十講 Logistic Regression 的基礎配合李宏毅的 Machine Learning Lecture 5 來思考 ，為何我們推薦使用 Cross-Entropy 作為error measure 而不是沿用 Linear Regression 的 Square error ?