索尼通過分布式學(xué)習(xí)刷新全球深度學(xué)習(xí)技術(shù)速度 助力高效開發(fā)人工智能-

日本 2018年11月13日 –人工智能橋接云基礎(chǔ)設(shè)施（ABCI）是用于AI處理的世界級(jí)計(jì)算基礎(chǔ)架構(gòu)，由日本產(chǎn)業(yè)技術(shù)綜合研究所（AIST）建造并 運(yùn)營(yíng)。索尼公司近日宣布，已利用 ABCI和其深度學(xué)習(xí)開發(fā)框架“核心庫(kù)：神經(jīng)網(wǎng)絡(luò)庫(kù)”，刷新了全球深度學(xué)習(xí)技術(shù)速度。

深度學(xué)習(xí)是一種使用模仿人腦神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法。通過利用深度學(xué)習(xí)，近年來(lái)圖像和聲音識(shí)別能力得以迅速增長(zhǎng)，甚至在某些領(lǐng)域的表現(xiàn)已優(yōu)于人類。 然而，由于用于學(xué)習(xí)的數(shù)據(jù)和用于提高識(shí)別準(zhǔn)確度的模型參數(shù)不斷加大，導(dǎo)致計(jì)算時(shí)間不斷增多。 在某些情況下，進(jìn)行一次學(xué)習(xí)需要數(shù)周甚至數(shù)月時(shí)間。由于AI開發(fā)是一個(gè)需要連續(xù)試錯(cuò)的過程，縮短學(xué)習(xí)時(shí)間至關(guān)重要。因此，目前使用多個(gè)GPU縮短學(xué)習(xí)時(shí)間的分布式學(xué)習(xí)是一種普遍的解決方案。

當(dāng)增加用于分布式學(xué)習(xí)的GPU數(shù)量時(shí)，有時(shí)批量數(shù)據(jù)的增加（一次要處理的數(shù)據(jù)量）會(huì)讓學(xué)習(xí)過程暫停，或出現(xiàn)由于GPU之間的數(shù)據(jù)傳輸處理延遲導(dǎo)致學(xué)習(xí)速度降低等情況。通過利用可確定合理數(shù)據(jù)批量大小和適當(dāng)GPU數(shù)量的技術(shù)，索尼實(shí)現(xiàn)了在ABCI等大規(guī)模GPU環(huán)境中進(jìn)行學(xué)習(xí)，并提高了通過針對(duì)ABCI系統(tǒng)結(jié)構(gòu)優(yōu)化的數(shù)據(jù)同步技術(shù)而實(shí)現(xiàn)的GPU之間的傳輸速度。這些技術(shù)被運(yùn)用于“神經(jīng)網(wǎng)絡(luò)庫(kù)”中，并使用AIST的“ABCI Grand Challenge”ABCI計(jì)算資源進(jìn)行學(xué)習(xí)。因此，它能夠在大約3.7分鐘內(nèi)（當(dāng)使用多達(dá)2,176個(gè)GPU時(shí)）完成ImageNet / ResNet-50 （用于測(cè)量深度學(xué)習(xí)分布式學(xué)習(xí)速度的一般行業(yè)基準(zhǔn)），刷新了全球深度學(xué)習(xí)技術(shù)速度。點(diǎn)擊查閱該項(xiàng)研究結(jié)果。

該實(shí)驗(yàn)的結(jié)果表明，使用神經(jīng)網(wǎng)絡(luò)庫(kù)進(jìn)行的學(xué)習(xí)或執(zhí)行（深度學(xué)習(xí)）可以刷新全球深度學(xué)習(xí)技術(shù)速度，并且通過使用這一框架，可在更短試驗(yàn)期間內(nèi)，使用深度學(xué)習(xí)進(jìn)行技術(shù)開發(fā)。展望未來(lái)，索尼將繼續(xù)開發(fā)相關(guān)技術(shù)，并致力于利用人工智能技術(shù)為社會(huì)發(fā)展做貢獻(xiàn)。