0%
RAdam optimizer 於 Dogs vs. Cats 貓狗辨識上之實作
就在 Lookahead Optimizer 發表後的一個月，University of Illinois, Urbana-Champaign 的博士生 Liyuan Liu 發表了一個新的優化器 Rectified Adam (RAdam)，有別於 Lookahead ，RAdam 在某種程度上直接對 Adam 進行改良，使其兼具 Adam 及 SGD 的優點，改善 Adam 落入 Local Minimum 導致效果不夠好以及 SGD 收斂速度慢的缺點。
Lookahead optimizer 於 Dogs vs. Cats 貓狗辨識上之實作
拖稿拖了一段時間，最近才開始著手寫這一篇文章，不過這個時間來寫也是挺好的，上一周的機器學習馬拉松期末考也正好實作了一番，趁著記憶猶新來把整個演算法以及實作過程做一次總整理。
ShuffleNet V2 於 MNIST 上之實作
前陣子在微博的某一個公眾號看到了一篇文章 : ShufflenetV2_高效网络的4条实用准则
文章主要是針對於有限計算能力的限制下，如何設計高效率的模型來達到最好的精準度，文章中一句話清楚的敘述現在許多論文的研究方向 : 「輕量級架構設計與速度 – 精度的權衡」。
Unsupervised Learning (6) -- Generation ( PixelRNN、Variational Auto-Encoder ( VAE ) )
“ What I cannot create, I do not understand. “ — Richard Feynman
我們想要知道機器是不是真的能學到東西，直覺得就是他能不能夠根據它所學到的東西進行創造，創造出可以以假亂真的成品出來。
Unsupervised Learning (5) -- Generation ( 初探 Generative Adversarial Network ( GAN ) )
這裡我選擇的標題是 「初探」GAN，
因為在李宏毅的課程中，對於GAN還有許多補充的課程，
在這篇文章就先以一些簡單的基礎概念先讓大家了解什麼是 GAN，
Unsupervised Learning (4) -- Neighbor Embedding
有了前面 Word Embedding 的概念後，我們可以把問題想得更 generalization 一些 : 「面對流形 ( Manifold )或其他 非線性 ( Non-Linear ) 的狀況，我們是否能嵌入 (Embedding) 到更低維度的空間中並且保留其特性呢 ?」
Unsupervised Learning (3) -- Word Embedding
在正式進入 Word Embedding 之前，我覺得應該先來談談什麼是 Word Vector。
今天看了幾個 Medium 文章，有技術部落格甚至認為 Word Embedding 就是 Word Vector。這才讓我覺得，似乎要對 Word Embedding 要有更深刻的了解才是。