索尼發(fā)布兩款具備AI處理功能的智能視覺傳感器 實(shí)現(xiàn)高速邊緣AI處理，幫助構(gòu)建連接云端的優(yōu)化系統(tǒng)

     日本，東京——索尼公司（下稱：索尼）今天宣布將發(fā)布兩款具備AI（人工智能）處理功能的智能視覺傳感器。圖像傳感器自帶AI處理功能，可在實(shí)現(xiàn)高速的邊緣AI處理的同時(shí)只提取必要數(shù)據(jù)，從而減少使用云端服務(wù)時(shí)的數(shù)據(jù)傳輸延遲，保證隱私安全，并降低功耗和通信成本。

       新發(fā)布的圖像傳感器極大拓寬了AI攝像頭的研發(fā)空間，將有望廣泛應(yīng)用于零售和工業(yè)設(shè)備行業(yè)，并有助于構(gòu)建與云端連接的優(yōu)化系統(tǒng)。

智能視覺傳感器 左：IMX500 右：IMX501

       物聯(lián)網(wǎng)的普及讓所有類型的設(shè)備都能連接到云端，使得信息處理系統(tǒng)得到廣泛應(yīng)用，從這些設(shè)備獲得的信息需通過云上的AI進(jìn)行處理。另一方面，云端處理的信息量越來越大，也帶來了各種問題：數(shù)據(jù)傳輸延遲的增加，阻礙了實(shí)時(shí)信息處理；在云端存儲(chǔ)個(gè)人身份數(shù)據(jù)相關(guān)的用戶隱私安全問題；云服務(wù)的使用功耗和通信成本的提高等其它問題。
 

       新款傳感器的特點(diǎn)是像素芯片和邏輯芯片組成的堆疊式結(jié)構(gòu)，在邏輯芯片上配備了AI圖像分析和處理功能的圖像傳感器。像素芯片獲取的信號(hào)通過傳感器上的AI進(jìn)行處理，無需高性能處理器或外部存儲(chǔ)，可助力邊緣AI系統(tǒng)的開發(fā)。傳感器輸出元數(shù)據(jù)（屬于圖像數(shù)據(jù)的語義信息）而不是圖像信息，從而減少了數(shù)據(jù)量并保證了隱私安全。此外，AI能夠?yàn)閺V泛應(yīng)用領(lǐng)域提供多樣化的功能，例如高速AI處理下進(jìn)行實(shí)時(shí)對象跟蹤。也可以根據(jù)用戶的需求或系統(tǒng)使用位置重新編寫內(nèi)存來選擇不同的AI模型。

索尼智能視覺傳感器介紹視頻：https://v.youku.com/v_show/id_XNDY3MjE1MDUwNA==.html

主要功能

· 具備AI處理功能的圖像傳感器

       像素芯片是背照式進(jìn)光的，有效像素約為1230萬，可以捕捉廣闊視角的圖像信息。除了傳統(tǒng)的圖像傳感器操作電路外，其邏輯芯片還配備了索尼原發(fā)的DSP（數(shù)字信號(hào)處理器），專門用于AI信號(hào)處理，并為AI模型存儲(chǔ)。這種配置無需高性能處理器或外部存儲(chǔ)，使其成為邊緣AI系統(tǒng)的理想選擇。

· 元數(shù)據(jù)輸出

       像素芯片采集的信號(hào)通過ISP（圖像信號(hào)處理器）進(jìn)行處理，并在邏輯芯片的處理層進(jìn)行AI運(yùn)算，將提取的信息作為元數(shù)據(jù)輸出，可以減少需要處理的數(shù)據(jù)量。同時(shí)，不輸出圖像信息有助于降低安全風(fēng)險(xiǎn)和保證隱私安全。除了傳統(tǒng)圖像傳感器捕捉的圖像外，用戶還可以根據(jù)自己的需要和用途選擇數(shù)據(jù)輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區(qū)域）特定區(qū)域提取圖像。

可選擇數(shù)據(jù)輸出格式，以滿足各種需要

· 高速AI處理

       當(dāng)使用傳統(tǒng)的圖像傳感器錄制視頻時(shí)，需要發(fā)送每一幀的視頻數(shù)據(jù)進(jìn)行AI處理，導(dǎo)致數(shù)據(jù)傳輸量大，難以實(shí)時(shí)呈現(xiàn)結(jié)果。索尼的新款傳感器產(chǎn)品在邏輯芯片上進(jìn)行ISP處理和高速AI運(yùn)行（MobileNet V1*1 3.1毫秒處理），在一個(gè)視頻幀內(nèi)完成整個(gè)過程。這種設(shè)計(jì)可以在錄制視頻的同時(shí)保證高精度、實(shí)時(shí)的目標(biāo)追蹤。

*1 mobilenet V1：一種用于移動(dòng)設(shè)備上目標(biāo)識(shí)別的圖像分析AI模型。

· 可自由選擇AI模型

       用戶可以將自己選擇的AI模型寫入嵌入式內(nèi)存中，并根據(jù)其需求或系統(tǒng)使用位置對其進(jìn)行改寫和更新。例如，當(dāng)多個(gè)搭載新款傳感器的攝像頭被安裝在零售場所時(shí)，某個(gè)單一類型的攝像頭可以在不同的地點(diǎn)、環(huán)境、時(shí)間或目的下使用：當(dāng)安裝在場所入口時(shí)，可用于計(jì)算訪客人數(shù);當(dāng)安裝在商店的貨架上時(shí)，可以用來檢測庫存短缺;當(dāng)安裝在天花板上時(shí)，它可以用來繪制商店客流的熱力圖 （探測到許多人聚集的位置），等等。此外，指定相機(jī)中的AI模型可以被改寫，從一個(gè)用于檢測熱力圖的模型變成一個(gè)用于識(shí)別消費(fèi)者行為的模型，等等。

攝像頭在商場中使用的案例

主要參數(shù)

（本文譯自英文原文，供參考）

**************************************************************************************************************