當深度逐漸增加，神經網路的訓練就會越來越困難。在這篇論文中，作者們提出了一個殘差學習 (residual Learning) 框架來使極深層的網路結構訓練變得更簡單。原本神經網路中的層 (layer) 目的在學習出一個未知的函數，研究團隊則根據輸入來將其目的改成學習一個殘差函數。論文中許多的實驗證明了無論在 ImageNet,CIFAR-10 或是 COCO 資料集上，這樣的方式可以使網路更容易被優化，而且可以得到更好的表現。
The nodes of graph can be partitioned into two sets \(X\) and \(Y\) and one every edge has one end in \(X\) and the other end in \(Y\).We call it bipartite graph ( bigraph ) . 一個 graph 的 nodes 可以分成兩個集合，且每一條 edge 兩端連接的端點均屬不同集合者稱之為 bipartite graph ( bigraph ) 。
機器學習的可解釋性在近年來越來越被重視，尤其是大量引用深度學習技術之後更是如此。然而在許多的 Computer Vision ( CV, 電腦視覺 ) 領域中有卓越成就的許多方法，很多都無法真正的解釋電腦究竟提取出了什麼樣子的特徵，即使能夠解釋，提取出來的特徵也往往不是我們人類所想像的那樣。
我一直想要針對 Machine Learning / Deep Learning 的基礎優化方式來寫一篇比較詳盡又不會太困難的文章，一方面想介紹這些很「優美」的方法給初學者或是有點興趣的人知道，另一方面也是想重新審視一下自己對於這些基礎算法的理解到底可以到哪裡。
其實也不是第一次寫這些文章，就梯度下降這一篇也是幾個月前就寫好的，但經過這幾個月來論文、課程的淬鍊之後，對於梯度下降也有一些新的認識跟想法，不如重新來寫一下到底什麼是梯度下降法 ( Gradient Descent ) ? 對於梯度下降法我們又該知道些什麼呢 ?
在機器學習中藉由降低 error 來訓練出一個能對未知資料有準確預測的 model，在利用訓練資料優化 error function 的過程中，不意外的會得到一個 error 極低的 model ，但是往往在測試資料上卻會有出乎意外的高 error
會造成這樣的原因是，我們利用訓練資料而得到的模型太過於擬合「訓練資料」本身，反而偏離了一般化的目標，我們稱這現象為 " Overfitting "
有越來越多的理論及經驗告訴我們，神經網路的深度是成功的關鍵因素。然而，當神經網路的深度逐漸增加時，整體模型的訓練就會變得越來越困難，想要訓練一個極深層的網路就變成一個很難處理的問題。
這篇論文中，作者們介紹了一種使深層網路也能易於訓練的結構，稱之為 Highway Network，這樣的結構使得信息可以藉著這種 " information highway " 貫穿多層。這種結構主要由 " gate unit " 來調節整個網路的信息流 ( flow of information )。
在之前李宏毅的 Machine Learning 中已經有對 Generative Adversarial Network ( GAN, 對抗生成網路 ) 有了初步的介紹，而本課程接續著這些基礎，將會對 GAN 有比較深入的討論。
作者 : Jean Gallier and Jocelyn Quaintance 網址 : https://www.cis.upenn.edu/~jean/gbooks/geomath.html
前幾天搞壞了一個 Anaconda Environment，只能利用其他的 Env. 來繼續手邊的工作。但由於這些其他的 Env. 大多為特定狀況下使用，也並不是常用的環境，所以很多的套件、設定多少都會要重新處理，這也不算太意外。
\(G=(V,E)\) is a graph * \(\mid V\mid=\) the number of nodes \(\overset{let}{=} n\) \(\mid E\mid=\) the number of edges \(\overset{let}{=} m\) \(\Longrightarrow n-1\leq m\leq \displaystyle{\binom{n}{r}} \leq n^2\) \(\Longrightarrow\) 我們會希望整個複雜度可以控制在 \(O(m+n)\)