Math.py

由林軒田機器學習第十講 Logistic Regression 的基礎配合李宏毅的 Machine Learning Lecture 5 來思考 ，為何我們推薦使用 Cross-Entropy 作為error measure 而不是沿用 Linear Regression 的 Square error ?

• 本文內容節錄自Hung-yi Lee , Machine Learning(2017) 課程內容 : Gradient Descent、Tips for training DNN
• 本文圖片均來自於課程講義內容

• 本文內容節錄自Hung-yi Lee , Machine Learning(2017) 課程內容 : Where does the error come from?
• 本文圖片均來自於課程講義內容

本文主要針對卷積神經網路 Convolution Neural Network ( CNN ) 與 全連接神經網路 Fully Connected Feedforward Network 於 MNIST 上的表現，並不會著墨太多在各參數的意義以及模型本身的架構上。

Programming、Data Structure 與 Algorithm 其實是一體的三面，在解決問題時通常從高層次的 Algorithm 開始，搭配著 Data Structure 設計好之後再進入 Implementation 的 Programming 部分。

一個好的演算法必須搭配適當的資料結構才能達到高效，而一個好的眼算法只要 Programming 不要太差，往往都能有著還不錯的結果。

• 本文為一系列課程之筆記，建議從” 機器學習基石筆記-1 “開始閱讀

• **本文討論內容請參考:

機器學習基石第八講 : Noise and Error**

• 本篇所有圖片部分由筆者製作，其它均為機器學習基石課程內容講義

• 本文為一系列課程之筆記，建議從” 機器學習基石筆記-1 “開始閱讀

• **本文討論內容請參考:

機器學習基石第七講 : The VC Dimension**

• 本篇所有圖片部分由筆者製作，其它均為機器學習基石課程內容講義

• 本文為一系列課程之筆記，建議從” 機器學習基石筆記-1 “開始閱讀

• **本文討論內容請參考:

機器學習基石第五講 : Training versus Testing
機器學習基石第六講 : Theory of Generalization**

• 本篇所有圖片部分由筆者製作，其它均為機器學習基石課程內容講義

• 本文為一系列課程之筆記，建議從” 機器學習基石筆記-1 “開始閱讀

• **本文討論內容請參考:

機器學習基石第三講 : Types of Learning
機器學習基石第四講 : Feasibility of Learning**

• 本篇所有圖片部分由筆者製作，其它均為機器學習基石課程內容講義

• **本文討論內容請參考:

機器學習基石第一講 : The Learning Problem
機器學習基石第二講 : Learning to Answer Yes/No**

• 本篇所有圖片部分由筆者製作，其它均為機器學習基石課程內容講義