各大科技巨頭近來不約而同地發(fā)力“深度學習”領(lǐng)域?！吧疃葘W習”是現(xiàn)代科技產(chǎn)品背后的“引擎”，作為核心技術(shù)支撐著商業(yè)著應(yīng)用，如網(wǎng)絡(luò)搜索、機器翻譯、產(chǎn)品設(shè)計和醫(yī)學圖像等，都帶來了相當可觀的經(jīng)濟價值。
現(xiàn)在，微軟也加入了這個人工智能的“角斗場”。
一個月前，“Google大腦之父”在PingWest于舊金山舉辦的SYNC大會上提出。今天，微軟的研究人員稱，他們的深度學習系統(tǒng)——“Adam計劃”取得了突破性的成果，技術(shù)更為成熟。據(jù)該研究人員介紹，在圖片識別方面，這個系統(tǒng)不僅可以識別出指定的物品，還能夠在該類目分類項下，進行更精確的識別。他將“Adam計劃”和“Google大腦”進行了對比，在看完Youtube上關(guān)于貓的視頻后，“Google大腦”可以識別出貓，而Adam則可以識別出貓及貓的品種，并且使用的機器數(shù)量只有之前的三十分之一。
微軟研究院主管Peter Lee博士表示，“Adam計劃”尋找的并不是在模擬神經(jīng)網(wǎng)絡(luò)的規(guī)模上有所突破，而是構(gòu)建方式上的改進。這些改進指的是：優(yōu)化和微調(diào)了機器處理數(shù)據(jù)和機器間數(shù)據(jù)溝通的方式。當計算系統(tǒng)變得更為復雜時，每個部件之間都在同一時間傳送信息—這件事會隨著系統(tǒng)越來越龐大而越來越困難，而Adam系統(tǒng)允許了異步算法的存在。異步算法指的是將一個大的系統(tǒng)拆分為不同的部分，并且在分享和輸出計算結(jié)果前允許他們分別獨立運作，同時，在分享結(jié)果時各個部分的結(jié)果相互覆蓋也沒有問題。
威斯康辛大學計算機科學學院的研究者Feng Niu, Benjamin Recht等人的研究報告指出，在使用傳統(tǒng)的隨機梯度下降算法(SGD)來進行幾個并行計算任務(wù)時，通常需要保證計算結(jié)果輸出的同步，否則會引發(fā)數(shù)據(jù)沖突。但如果只是應(yīng)用在小型計算系統(tǒng)里，首先，數(shù)據(jù)沖突的幾率很低；其次，由于數(shù)據(jù)結(jié)果的寫入往往是遞增性的，每個部分輸出和疊加只是順序不同，因此即便發(fā)生沖突但計算結(jié)果通常都是一致的。這個在研究報告中被稱為“Hogwild!”技術(shù)使得異步計算在深度學習系統(tǒng)中成為可能。
另外，微軟的深度學習系統(tǒng)，不同于Google大腦采用GPU搭建的元件，而是使用造價更昂貴的CPU，這些機器由微軟的Azure云服務(wù)系統(tǒng)提供支持。
