<mark id="qyzvb"><track id="qyzvb"></track></mark>
      <ins id="qyzvb"></ins>
    1. <code id="qyzvb"></code>
    2. <tr id="qyzvb"><nobr id="qyzvb"><ol id="qyzvb"></ol></nobr></tr>
      <output id="qyzvb"></output>
            展會信息港展會大全

            銳思智芯創始人兼CEO鄧堅:Hybrid Vision Sensor,變革智能感知時代|硬氪·硬科技黃金時代大會
            來源:互聯網   發布日期:2024-01-04 13:00:43   瀏覽:3761次  

            導讀:12月26日,36氪硬氪在深圳前海召開了硬科技黃金時代大會。大會邀請了硬科技大量一線投資機構、科技公司、專家學者,共設立14個主題演講、2個圓桌。主題涉及半導體投資、新材料投資、人民幣投資、專精特新成長等多個熱門賽道。 26日下午,銳思智芯創始人兼CEO...

            12月26日,36氪硬氪在深圳前海召開了硬科技黃金時代大會。大會邀請了硬科技大量一線投資機構、科技公司、專家學者,共設立14個主題演講、2個圓桌。主題涉及半導體投資、新材料投資、人民幣投資、專精特新成長等多個熱門賽道。

            26日下午,銳思智芯創始人兼CEO鄧堅先生進行了《Hybrid Vision Sensor:變革智能感知時代》的主題分享,以下為演講內容:

            非常感謝36氪給我們這個機會,我和大家分享的是傳感器的變革,順帶也會把我們的傳感器產品給大家介紹一下。

            剛才聽各位嘉賓的分享,感觸很深。產業鏈的國產化,從材料到設計,再到系統,整個的變革的確是百年未有之大變局,傳感器也是一樣。

            這是162年前的第一個影像出來的場景,當時是拍一匹馬,是用化學曝光的圖像進行連續播放形成黑白圖片。這是咱們現在拍的,實際上它并不是真正的拍攝,而是一個普通的視頻再加上chatGPT還原,F在圖像的拍攝,它對畫質的追求已經到了一個極致,不過這并不是圖像傳感器或者視覺傳感器的全部。當前的圖像和視覺傳感器還承接了更多的工作,從拍照來說,比如手機和機器人,除了圖像大家還想從那獲得更多的信息,比如距離信息,光譜信息,還有另外一類信息也是非常重要的,就是運動信息。運動信息可以用來干什么呢?我們先說說缺少它會有什么樣的現象。

            銳思智芯創始人兼CEO鄧堅:Hybrid Vision Sensor,變革智能感知時代|硬氪·硬科技黃金時代大會

            162年前的第一個影像

            第一,運動模糊。在拍照的過程中,我們有個曝光的時間,在這個曝光的時間,所有運動過程都被采集,但是它會合成一張圖片進行輸出,就變成了一個模糊的圖像。

            第二,冗余數據。比如我們拍照片是靜態的圖像,我們已經知道了它的信息,但是對于每張圖片進行重復的拍攝,我們需要知道的只是其中的變化,也就是運動和變化,所有的靜態信息是被反復獲得的,它其實是因為沒有辦法區分動態和靜態的信息,所以導致了冗余的數據量。

            第三,在拍攝的時候,攝像頭通過曝光,就有曝光時間,曝光時間是根據光的強度進行調整,但是人去看一樣東西的時候沒有這樣的概念,所以我們會發現,圖像在暗的時候需要的曝光比較長,亮的時候曝光比較短,但是實際應用場景中,會有明暗都存在的場景,現在的技術就用多張圖像進行融合。在融合的過程中,這幾張圖片拍攝的時間點不一樣,中間有誤差、移動,合成之后就形成鬼影,這是幀與幀之間的圖像信息丟失。

            這個出現之后,大家一直在研究,對于新型傳感器怎么樣能夠獲取運動的信息。其中有一個技術,從90年代開始一直做研究,這個就是我們今天要介紹的事件傳感技術,它是基于人眼的感知方式,只對變化敏感。所有的感知都是從像素實現,像素感知到光的變化信息,這個變化信息在像素內進行放大,然后在像素里進行比較,同時通過比較的信號,把變化的信息或者是運動的信息通過一個數字域的轉換進行輸出。直觀來看,它輸出的圖像,就像我們看到的實際場景,它是一個小熊掉到水杯里的過程。對于事件感知,它不顯示靜態的信息,因為靜態的信息不感知,它只感知變化,而且所有的處理都是連續的,所以幀率、效率都非常高。也就是說,它通過一種新的感知方式,把運動和變化的信息進行了非常好的提齲比如它與現在攝像頭拍攝的圖片來說,流暢度會有非常大的提升。

            但是問題也很明確,如果我們不看實際的場景,只看這個事件感知輸出的畫面,沒有靜態信息,得到的信息量非常少。它能夠在一些功能上,比如在幀率、數據量上有很高的提升,但是因為它缺乏了靜態信息,所以它很難在一個場景里進行覆蓋和提升。所以,雖然事件傳感技術在2021年被索尼量產了,并且在工業領域有一些應用,但很多在座朋友在大部分場景都沒有看到它在實際應用中落地。

            銳思智芯創始人兼CEO鄧堅:Hybrid Vision Sensor,變革智能感知時代|硬氪·硬科技黃金時代大會

            事件傳感技術的技術原理

            在傳統的消費電子領域、車載電子等領域,如果要用到事件傳感技術,為了覆蓋這個場景,需要把事件攝像頭和傳統的攝像頭進行組合,同時輸出事件和圖像兩個畫面,再進行算法的匹配,這是雙攝的方案。但問題是如何做更好的配準,機器上如何達到實際使用的需求。實際情況,手機這樣的場景無法添加事件傳感這么單一的攝像頭,所以這個技術一直沒有大規模應用的原因也是在于此。

            我們提出的方案是,將事件和圖像融合在一個傳感器里面,它能夠把事件的感知功能和圖像的功能在一個像素里進行一個集成,這也是我們率先提出的概念,也是我們目前在量產的技術。這是我們給手機做的一款芯片,它就是傳統的傳感器一樣的像素結構,通過堆疊工藝,把圖像的功能和事件感知功能集成在一個像素里面,這個像素可以同時輸出事件和圖像兩個圖片,好處是解決了事件沒有靜態信息,圖像沒有運動信息的問題;它通過這樣的一種結合,可以很好的把運動和靜態進行一個互補,實現了對圖像傳感器的運動信息延拓。

            銳思智芯創始人兼CEO鄧堅:Hybrid Vision Sensor,變革智能感知時代|硬氪·硬科技黃金時代大會

            融合式高端視覺傳感器

            這是我們做出來的方案,同時輸出事件和圖像能夠得到的效果。這里需要提到的是我們做傳感器就是做一件事情,傳感器最關鍵的三個參數,幀率、數據量以及動態范圍,我們做傳感器一直在平衡這3個參數,在每一個場景去適配這3個參數的平衡,來達到匹配這個場景的目的。但是現在很多的一些應用里,比如車載,它沒有辦法再去找到這樣的平衡,因為它既需要速度很快,對數據量的要求又非常極致,它在各種各樣的光照環境下都要能夠很好的工作。傳統的傳感器達不到,但是事件傳感器就可以平衡這個,比如它的幀率,比如我們現在做到的將近1千萬的像素,幀率可以做到4千幀每秒,這是非常高的速度。

            對于傳統的高速攝像頭來說,這樣的幀率會形成巨量的數據量,因為事件捕捉的只是變化,所以它的事件數據有效性非常高,它能夠在幀率很高的同時,把數據量和功耗壓制住,它的環境適應能力極強,可以把幀率、數據量、運動范圍進行很好的提升,加上傳統的圖像傳感器數據,拍照、機器視覺的功能就得到很大的增強;谖覀冊趥鞲衅鞯姆e累,迭代了3次,現在開始實現消費電子(手機、安防、AIOT)領域大規模的應用,相信大家不久就能夠看到基于Sensor做出來的產品。

            我們公司成立4年,總部在深圳,在南京、北京、蘇黎士都有分公司。我們有超過200多個發明專利,涵蓋了從像素到數據結構、芯片架構、應用、算法等一系列的專利,所以這一塊,在全球在融合視覺里布局專利是最多的。

            在整個行業里,我們所處的這一細分行業還是挺受各個行業的重視。36氪也對我們有比較多的報道,我們也參與了很多評眩我們現在有兩款芯片,一款是用于消費電子,是手機的應用,能夠輸出高質量圖像的同時,能夠非常好的輸出運動的信息,實現特殊的功能;另外一款是是作為安防的高端芯片,能夠實現暗光全彩,以及暗光下對運動物體的捕捉,而且通過低功耗的特性實現安防攝像頭本地智能化,比如可以做事件的判斷,當發生感興趣的事件進行推送。

            現在大家看到的是消費電子用的去模糊。左邊的圖片是實際拍攝的圖片,拍攝一個運動的畫面,它會有因為運動造成的模糊,模糊的去除是現在沒有解決的問題,因為它需要知道在曝光過程中,每一個像素的拍攝無題運動軌跡,這是幾乎不可能獲得的。但是基于我們的傳感器,因為可以快速捕捉變化,而且這個變化非常高效,通過這個能夠獲得整個特征點的運動軌跡,然后對它進行反推就能夠形成特別清晰的圖片。

            這是慢動作,原理是在兩幀之間通過技術變化,在任意時間點和原始圖片加上變化的數據進行結合,重構,可以生成高速的圖片出來。它實現了非常低成本又能夠適應不同光照環境的高速攝像功能。

            銳思智芯創始人兼CEO鄧堅:Hybrid Vision Sensor,變革智能感知時代|硬氪·硬科技黃金時代大會

            顯示對比圖

            這是現在用到的傳感器的典型問題,從隧道里出來,外面很亮,這個時候傳感器是失效的,左邊的圖是通過事件感知拍攝出來的特征信息,它不會受到光照的影響,可以有非常穩定的輸出。通過事件數據和圖像數據可以重構出中間的視頻,這個視頻也就是在各種光照情況下輸出的。

            銳思智芯創始人兼CEO鄧堅:Hybrid Vision Sensor,變革智能感知時代|硬氪·硬科技黃金時代大會

            端側智能

            這是我們做的端側智能,歡迎大家到我們的展臺看,我們有1千幀的結構光,這是用于AR、VR,它可以實現超低功耗、超高速的3D視覺,比如手勢識別、摔倒識別都可以通過很好的實現。我們也和一個大廠做眼動追蹤,主要是通過事件高速的特征,和低功耗的特征,來實現非常靈敏、快速、非常準確的眼睛的運動追蹤。我們還做了機器人的應用,這里不仔細講。

            在車的方面,有車內的DMS系統,在保護隱私的同時可以監控眼動、眨眼等快速細節的特征。在車上,也可以做電子后視鏡。我們的傳感器有一個特點,即適合給人觀看,因為它能夠帶來非常優質的視頻,而且不容易出現模糊或者是過曝等。它通過事件也可以給機器視覺提供非常高效的數據,能夠滿足后視鏡對人看和對機器看的需求。其他的應用,包括光流、機器評測、轉速評測等,這是一個底層器件。我們也和各個行業的巨頭合作比較多,希望通過這樣的生態,能夠一起把新技術變成一個能改變大家生活的產品。

            非常感謝大家!

            贊助本站

            人工智能實驗室
            相關內容
            AiLab云推薦
            展開

            熱門欄目HotCates

            Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港
            台湾佬电影网_台湾佬影院_免费电影在线看
            <mark id="qyzvb"><track id="qyzvb"></track></mark>
              <ins id="qyzvb"></ins>
            1. <code id="qyzvb"></code>
            2. <tr id="qyzvb"><nobr id="qyzvb"><ol id="qyzvb"></ol></nobr></tr>
              <output id="qyzvb"></output>