邏輯神經元搬到硬件神經元


Updated By : May 14, 2019 3:18:58 PM JST

邏輯神經元搬到硬件神經元

但是,在這個虛擬化的過程中,其實是帶來了開銷,也就是需要做一些數據搬運,要把算法神經元或邏輯神經元搬到硬件神經元上來。所以這裏麵我們有很多更細節的技術,比如搬運 的過程中,怎麽保證能夠不斷地重用神經元或者突觸的數據。這樣就導致一個結果:一方麵在虛擬化中讓有限規模的硬件處理任意規模的算法;另外一個方麵,虛擬化過程中,數據基本上是能夠大幅度重用的,沒有太多數據 搬運的開銷。

指令集

結構固定的硬件如何去應對千變萬化的算法。這裏麵的思想是:自動化抽取各種各樣的深度學習+機器學習算法的貢獻的基本算子。通過這個方式我們設計了國際上第一個智能的指令集。

為什麽做深度學習指令集要用機器學習呢?一方麵,全世界可能有100萬人做深度學習,每天都能搞出一些算法;另一方麵,這麽多搞深度學習的人,他們每天變來變去,但是萬變不離其宗,基本的trick都是幾十年來 傳承下來,就那麽幾招,而這些招數就在上百種的機器學習算法裏。

這些機器學習算法模型都不一樣,有的是概率模型,有的是線性模型,有的是非線性模型,有的是神經網絡的模型,有的是SVM的模型,還有其他不 同類型的算法,把這上百種機器學習算法都分析一遍,我們就能確保,即便未來再出了新的深度學習算法,也跳不出我們的手掌心。

我們2013年和2014年做了第一個深度學習處理器的架構,到現在,像GAN,Fast R- CNN這些各種各樣新的算法層出不窮,但是依然能夠高效地支持,就是因為我們把可能的套路都已經分析的比較清楚。

分析套路具體是做什麽呢?

第一、 把這些算法全部拉出來,做一個最耗時最需要運算操作 的集合,做這個合集是為了分析做深度學習處理器需要什麽樣的部件。

數碼通寬頻,唔單止可以按你需要,提供家居光纖1000、500、100既計劃,仲幫你諗埋出街上網,加送全港過11,000個WiFi熱點,畀你係屋企上網又得,出街上網又得,隨時隨地上網打機、煲劇無問題,現時網上登記仲有8折優惠添!

第二、 尋找機器學習算法中的緩存的,讀取數據的共性,自己來設計變量存儲。所以就看到很多機器學習算法:KNN、K-means、SVM、樸素貝葉斯 、貝葉斯網絡等等

這樣得出一個結論:世界上可能有上百種機器學習算法,但是他們裏麵共性的運算都是很固定的,就這幾種:向量內積,向量距離,計數,非線性函數,排序等等。

另外還找到一個共性,我 們稱為“三個柱子”:一個數據局部現象的共性,用機器學習的方法,對機器學習的算法再做一次分析,把一個機器學習算法裏麵所有的變量都拿出來,對它做一個聚類。然後發現,不管重用模式,重用距離還是重用次數, 從訪問寬度上來看,一般來說每個機器學習算法裏麵的變量也就兩到三類。

我們找到了機器學習算法裏的共性,找到了共性的緩存的模式,之後設計了一套專門的指令集,能夠高效支持各種各樣的機器學習算法,深度 學習算法。

具體怎麽支持呢?出現一個新的算法,隻需要指令之間的拚接組合,就能夠把新的算法給完成出來,這就解決了固定的硬件怎麽去應對千變萬化算法的這個問題。

關於稀疏的方法

第三個學術 貢獻,是關於稀疏的方法。

Action

Detailed Description

Author : vexation | 5/14/19 3:18 PM | Public
Tags : Lifestyle , Hobbies , Film & Animation
Contents Data : 23 0 0

Write A Comment

Please register in sprasia to post comments.


SignUp

Profile

vexation (Within 3days)

Channels Created Using This Content

Not created yet.