當我們在使用 GAN 進行生成時，其實有一個很大的問題是，帶有 label 的訓練資料並不容易取得。
舉例來說，如果我們想要讓一張照片利用 Generator 生成梵谷畫風格，訓練資料根本無法取得，因為我們可以有很多的照片，但卻沒有梵谷畫這些風景的資料 ; 又或者，我們想做一個A轉換成B人聲的模型，通常很難讓 B 照著 A 所念的文字照著念一次 ( 可能不同語言、或是收集上有困難…等因素 )，這時候的 GAN 就如同 Unsupervised Learning 任務一般。
The nodes of graph can be partitioned into two sets $X$ and $Y$ and one every edge has one end in $X$ and the other end in $Y$.We call it bipartite graph ( bigraph ) .
一個 graph 的 nodes 可以分成兩個集合，且每一條 edge 兩端連接的端點均屬不同集合者稱之為 bipartite graph ( bigraph ) 。
機器學習的可解釋性在近年來越來越被重視，尤其是大量引用深度學習技術之後更是如此。然而在許多的 Computer Vision ( CV, 電腦視覺 ) 領域中有卓越成就的許多方法，很多都無法真正的解釋電腦究竟提取出了什麼樣子的特徵，即使能夠解釋，提取出來的特徵也往往不是我們人類所想像的那樣。
我一直想要針對 Machine Learning / Deep Learning 的基礎優化方式來寫一篇比較詳盡又不會太困難的文章，一方面想介紹這些很「優美」的方法給初學者或是有點興趣的人知道，另一方面也是想重新審視一下自己對於這些基礎算法的理解到底可以到哪裡。
其實也不是第一次寫這些文章，就梯度下降這一篇也是幾個月前就寫好的，但經過這幾個月來論文、課程的淬鍊之後，對於梯度下降也有一些新的認識跟想法，不如重新來寫一下到底什麼是梯度下降法 ( Gradient Descent ) ? 對於梯度下降法我們又該知道些什麼呢 ?
在機器學習中藉由降低 error 來訓練出一個能對未知資料有準確預測的 model，在利用訓練資料優化 error function 的過程中，不意外的會得到一個 error 極低的 model ，但是往往在測試資料上卻會有出乎意外的高 error
會造成這樣的原因是，我們利用訓練資料而得到的模型太過於擬合「訓練資料」本身，反而偏離了一般化的目標，我們稱這現象為 “ Overfitting “
在之前李宏毅的 Machine Learning 中已經有對 Generative Adversarial Network ( GAN, 對抗生成網路 ) 有了初步的介紹，而本課程接續著這些基礎，將會對 GAN 有比較深入的討論。
作者 : Jean Gallier and Jocelyn Quaintance
網址 : https://www.cis.upenn.edu/~jean/gbooks/geomath.html