來源丨創業邦(ID:ichuangyebang)
作者丨博雯
編輯丨海腰
圖源丨深知未來官網
在黑暗中視物是人類一直以來的追求,而智能時代的到來,又使整個夜視領域進入了新的階段。
今年3月,AI增強夜視公司深知未來完成數千萬人民幣A+輪融資,由景泰資本投資。
所謂“AI增強夜視”,是指通過計算機視覺和深度學習卷積網絡技術,能夠在0.001Lux的極低照度下實現全彩細節成像。
照度是反映光照強度的物理量,Lux(勒克斯)則是其基本單位。
對於人眼來說,適宜閱讀的照度約爲500Lux,能感受到的極限照度爲1Lux,相當於在全黑環境中點燃一根蠟燭。
目前市場上大部分夜視相機可達到的極限爲0.01Lux,也就是月夜下的亮度,而深知未來能達到的最低照度0.001Lux被稱爲“極弱光”,相當於夜晚星空下的光照強度。
那么,這種突破性的夜間視物能力到底是怎么做到的?又有什么用?
夜視領域:從卷硬件到用AI
夜視技術最早誕生於20世紀初,本質是在低照度條件下, 將不可見的輻射加入轉換,或將微弱的環境光進行增強,最終得以成像的一種技術。
這種技術首先需要一個感知光信號的前端設備,也就是圖像傳感器,負責感知和接收光信號,並將其轉變成電信號。
接下來,前端傳感器輸出的電壓、電流信號就要通過ISP(圖像信號處理器),對上一步的輸出信號做“後期處理”——
比如“线性校正”,也就是通過线性變換抵消較爲偏暗的成像;
比如“降噪”,也就是在弱光條件下,當傳感器難以接收到足夠的光信息,從而導致發熱,產生噪點圖像時,去減少這些圖案圖案噪聲,同時保留紋理細節。
再比如“白平衡”,通過分析來自傳感器的亮度信息,計算和控制光圈、快門速度和感光度(ISO) ,使得圖像亮度適宜。
從本質來說,ISP是一系列圖像處理算法的集合,通過各種增強、矯正、去噪、轉換等環節,力求還原圖像。
從重要性來說,如果說圖像傳感器是人眼,那么ISP就是視覺處理中樞。
在2018年之前,夜視領域的玩家們大都都選擇卷硬件,試圖對感光設備進行工藝改進,增加其感光面積。
其中的最強玩家索尼,就曾花費5年的時間,將低照度感光芯片的光照感知能力從0.14Lux提升到了0.07Lux。
然而,由於材料學以及制造工藝難以突破,視覺成像效果漸漸難以從硬件層面得到大幅提升。
與此同時,一些特定場景對於最低照度的需求越來越高,比如夜間偵查瞄准等現代軍事應用,或者安保監測等公共安全領域,都要求在0.001Lux及以下的星光級環境下仍能成像。
2018年,英特爾實驗室發表論文《Learning to see in the dark》,提出通過深度學習算法打造一種全新的AI-ISP成像體系。
傳統ISP常常基於硬件,通過不斷擴充參數庫來調試各種效果。
這篇論文則論證了通過神經網絡算法實現ISP全部功能的可能性——即通過深度學習海量場景和數據,輸出算法模型,對圖像進行精准處理。
神經網絡算法本就是模仿生物神經網絡的結構所建立的,因此,這就像是將人類復雜的視覺神經網絡融入ISP,使其成爲了真正的“視覺處理中樞”
這篇論文在當年被計算機視覺頂會CVPR收錄,而文中提出的方法也爲夜視領域帶來了一條全新思路。
夜間圖像亮度提升200倍
2015年,32歲的張齊寧從任職8年的騰訊離職,开始做互聯網方面的創業。
他本科就讀於武漢大學的計算機科學與技術專業,畢業後先後任職於華爲和騰訊,在騰訊創新中心、騰訊研究院、IEG等多個部門歷任研發、策劃和管理職務。
離職兩年後,張齊寧於2017年10月創立了深知未來。
公司的另一位聯合創始人兼CTO郭奇鋒曾任騰訊SOSO搜索系統架構師、百度商務搜索部基礎檢索組技術負責人、小米MIUI 9多個人工智能項目技術負責人。
英特爾的那篇關鍵論文在他們公司成立一年後發布,也正是在那一年12月,深知未來獲得了南嶺投資的種子輪融資。
萬事俱備,深知未來便和很多企業一樣,开始沿着這條新路线探索。
在張齊寧看來,AI-ISP的定義,是完成從感光芯片到成像過程的一整個算法集合體,包含20-30個算法,如降噪、銳化、HDR等等。
但如果通過神經網絡實現ISP的所有功能,當時端側的算力有限,不同功能要全部實現的難度也很高,從商業化角度來說性價比不大。
此外,不同產品對於視覺成像的要求也不同,因此,一般芯片廠商會預留大量參數,以供產品廠商再做下遊的調試。
所以,深知未來決定只做部分關鍵ISP環節的AI化,如白平衡、降噪等。
在去年的某次採訪中,張齊寧提到,整個AI-ISP體系的20-30個算法,有的廠商關注了其中2-4個成像領域,而他們關注了7-8個領域,在涵蓋範圍和深度上是行業中最大的。
基於英特爾論文的基本思路,深知未來利用神經網絡深度學習噪聲和信號的分布特性,在2019年推出了自研的夜視神經網絡EODNet(end of dark),意爲“黑暗終結者”。
這套系統能夠從極弱光信號中分離噪聲和真實信號,在降噪的同時將真實信號增強至正常光環境強度,還能夠在復雜光线、抖動和幀率等情況下保持穩定的成像質量。
從最直觀的數字來講,能夠將硬件的最低照度從0.1lux提升至0.003lux,最高能將夜間圖像的亮度提升200倍。
應用場景多爲G端、B端
2023年,全球夜視設備市場規模約爲89.5億美元,而國內的夜視設備市場規模同比增長6.3%。
這並不是一個規模巨大的市場,但其應用場景,卻已在G端、B端和C端都形成了分支。
比如,公安領域有數據顯示,七成以上的犯罪都在晚上7點到次日凌晨5點的時間段內發生,但此前,市面上主流的熱成像夜視儀和紅外補光夜視儀,成像多爲黑白或弱彩,存在目標細節特徵不明顯等缺點。
因此,在這種極低照度下的夜間,能夠提供彩色清晰的圖像,尤其是像衣着顏色、車身顏色、車牌等,往往就能成爲破案的關鍵线索。
不僅在刑偵領域,還有環境惡劣的邊防、山嶺和沙漠油田區的違規監控、國家自然保護區的野生動物監測、禁漁期的河流監測,都是低照度全彩夜視成像的應用範圍。
除此之外,面臨夜間行駛場景的自動駕駛領域,在拍照功能上無限內卷的手機廠商,都在近些年或多或少地引入了基於AI-ISP的低照度全彩夜視成像,改善圖像質量。
過去一年,深知未來的全彩夜視產品已在多個全天候安防場景中實現落地應用,並與中海油等大型企業建立了深度合作關系。
至於消費端,則多見於戶外運動場景,比如夜爬、露營等等。
對於深知未來,他們目前最大的商業化場景是工業級無人機的全彩夜視相機掛載,也是最早商業化的領域。
目前官網展示出了三種型號的整機產品,可適配搭載於大疆的行業機。
這類產品主要針對B端場景,主要圍繞着農業植保、電力巡檢和警用安防三大領域。
在汽車領域,張齊寧在去年接受採訪時透露,公司已與國內一线主機廠商聯合开展相關研發,推進夜視模組上車應用。
而對於C端客戶,深知未來也在2023年推出了類似單筒望遠鏡形態的P8 Pro,和一款單反式的夜視設備P6。
截至目前,算上最近的這一次,深知未來已獲得5輪融資,團隊規模則爲50人左右。
除了用於產品出海,組建北美小型本地化團隊之外,張齊寧也在去年年底時表示,將繼續進行AI-ISP的研發。
在五六年前,業界考慮到端側算力、訓練推理成本等問題,大多建立的是部分傳統ISP+部分神經網絡流程的管线。
但現在,隨着底層技術的不斷進步,是否有可能繼續與AI融合?
“ 接下來,我們想完全切掉所有傳統ISP流程,用神經網絡替代。”
去年8月,張齊寧在接受媒體“機器之能”採訪時這樣說。他希望建立一個all in one的神經網絡,不再依賴於任何傳統ISP管线。
標題:從華爲辭職創業,他用AI技術將夜間圖像亮度提升200倍
地址:https://www.utechfun.com/post/365798.html