視頻監(jiān)控作為城市的“天眼”，肩負(fù)著守護(hù)城市安全的重任。然而，面對(duì)復(fù)雜的應(yīng)用場(chǎng)景，監(jiān)控功能仍然存在著死角和軟肋。其中黑夜作為眾多軟肋之一，不斷挑戰(zhàn)著監(jiān)控?cái)z像的技術(shù)底線。

為了在黑夜也能看得清晰，人們很早以前就開始了嘗試。二戰(zhàn)期間德軍使用的第一臺(tái)夜視儀，便是為了黑夜作戰(zhàn)而生。如今，隨著技術(shù)發(fā)展，時(shí)代演變，在夜晚具備“彩色視覺”的設(shè)備越來越多。

目前市面上彩色視覺設(shè)備應(yīng)用的方法主要有三種：第一，用于安防攝像頭的低照度CMOS，通過增加感光顆粒面積，從而增加光子數(shù)量，但噪點(diǎn)也會(huì)同時(shí)增大;第二，用于軍事的EMCCD，通過增大光電轉(zhuǎn)換效率，將原本畫面上的一個(gè)光子，轉(zhuǎn)化為幾十上百個(gè)光子，從而看得更清晰，但這種方法價(jià)格昂貴，難以大規(guī)模應(yīng)用;第三，采用的多幀HDR，但是只能用來拍靜物。

所有的夜間“彩色視覺”設(shè)備和使用方法，都是為了解決一個(gè)問題：低照度的環(huán)境下圖像細(xì)節(jié)的還原能力。因此這兩年出現(xiàn)了一個(gè)火熱的話題：AI ISP。如何通過AI的賦能融合ISP，將圖像質(zhì)量進(jìn)一步提升是行業(yè)很眾多品牌的重要研究方向。

那為什么夜間獲取高質(zhì)量的視頻成像這么難呢?

首先，我們看下視覺成像中兩個(gè)重要的問題

1. 去噪

2. 亮度和對(duì)比度的調(diào)整

在整個(gè)數(shù)字成像系統(tǒng)中，噪聲在從光信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)的過程中是一直存在的。而噪聲又分為很多種，有些噪聲很容易被測(cè)量出來，但有些噪聲很難測(cè)量。如何進(jìn)行噪聲測(cè)量，以及進(jìn)行噪聲的數(shù)字建模，對(duì)整個(gè)的夜景去噪過程來說并非易事。傳統(tǒng)方法難以區(qū)別噪聲和細(xì)微的信號(hào)。

而在夜景拍攝中，因?yàn)楣饩€不足/不均勻，為了得到更清晰自然的圖像，我們不僅要調(diào)整亮度，也要調(diào)整對(duì)比度。在對(duì)比度的調(diào)整中，傳統(tǒng)的方法，學(xué)術(shù)界稱其為直方圖均衡，但均衡并不代表能得到最佳的成像效果，而是根據(jù)全圖的亮度進(jìn)行調(diào)整，最終生成一個(gè)與我們的期望較為接近的圖像。

基于以上兩點(diǎn)，再通俗的來總結(jié)一下就是：傳統(tǒng)的攝像機(jī)系統(tǒng)在低光照(夜間)條件下，只能拍攝出噪點(diǎn)多或亮度低的黑白或失色視頻;而在高對(duì)比度場(chǎng)景下，成像容易存在陰影欠曝或高光過曝，難以兼顧。這兩種情況都會(huì)造成圖像的細(xì)節(jié)丟失。

雖然去噪一直是 ISP 的重要功能，尤其在視頻感知領(lǐng)域，但隨著夜景、惡劣天氣、復(fù)雜光線、高運(yùn)動(dòng)的環(huán)境等復(fù)雜場(chǎng)景的應(yīng)用需求擴(kuò)大，傳統(tǒng)ISP圖像處理技術(shù)已近瓶頸，且面臨：參數(shù)多，調(diào)試難，開發(fā)周期長(zhǎng)、畫質(zhì)提升難，投資收益低等問題。

市場(chǎng)需求的召喚，在低光照或高對(duì)比度場(chǎng)景下拍攝出清晰的圖像是實(shí)現(xiàn)攝像機(jī)系統(tǒng)場(chǎng)景普適性的關(guān)鍵。三旺通信極光夜視全彩攝像機(jī)，不同于以上方法，它是基于 AI 引擎的 ISP 架構(gòu)，可通過神經(jīng)網(wǎng)絡(luò)算法增強(qiáng)芯片內(nèi)置 ISP 模塊的圖像處理能力。同時(shí)，利用圖像增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)打造的“黑夜視覺”，可以同時(shí)做到提亮和降噪，在同樣硬件下，可將夜間圖像的亮度提升200倍，并將 HDR 處理推向新高度，使得圖像具有更自然的色彩再現(xiàn)和更寬的動(dòng)態(tài)范圍，它也是目前降噪領(lǐng)域最好用的算法。

總結(jié)一下，具備的特征有：

低照度清晰成像：降噪的同時(shí)保留圖像信息不丟失。

全彩夜視：極弱光環(huán)境下(光照度0.001lux)也能獲得高清彩色畫面。

超大場(chǎng)景：長(zhǎng)焦遠(yuǎn)距，實(shí)現(xiàn)大范圍目標(biāo)物體清晰監(jiān)控、識(shí)別。

反偵察：無需補(bǔ)光燈，彌補(bǔ)了不法分子通過檢測(cè)補(bǔ)光來規(guī)避監(jiān)控的漏洞。

超寬動(dòng)態(tài)技術(shù)：強(qiáng)光抑制，實(shí)現(xiàn)逆光場(chǎng)景所見清晰(如：交通路口車牌顯示)，暗光場(chǎng)景色彩飽滿(如：車內(nèi)人員面部特征)。

無拖影：運(yùn)動(dòng)物體無拖影成像。

超快對(duì)焦：低照度、無輔助情況下實(shí)現(xiàn)快速對(duì)焦。

超低功耗：因無需補(bǔ)光燈，整機(jī)功耗低，綠色環(huán)保。

比起傳統(tǒng)的ISP，引入AI技術(shù)的三旺通信極光夜視全彩攝像機(jī)不僅擴(kuò)大了系統(tǒng)的可適用場(chǎng)景，而且還大大降低了成本，可適用于安防領(lǐng)域的大規(guī)模部署。

視頻監(jiān)控作為安防行業(yè)落地的主要“抓手”，城市智慧化的“眼鏡”，在整個(gè)安防業(yè)中占據(jù)著重要的角色。AI ISP因具備了智能調(diào)優(yōu)、加速開發(fā)交付、高算力+大數(shù)據(jù)、突破畫質(zhì)極限、迭代學(xué)習(xí)等優(yōu)點(diǎn)，將是未來ISP技術(shù)發(fā)展的趨勢(shì)。