<mark id="qyzvb"><track id="qyzvb"></track></mark>
      <ins id="qyzvb"></ins>
    1. <code id="qyzvb"></code>
    2. <tr id="qyzvb"><nobr id="qyzvb"><ol id="qyzvb"></ol></nobr></tr>
      <output id="qyzvb"></output>
            展會信息港展會大全

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了
            來源:互聯網   發布日期:2024-01-04 13:03:44   瀏覽:3605次  

            導讀:機器之心報道 編輯:大盤雞、小舟 即使遮擋,也能渲染出高保真的 3D 人體。 AR/VR 、電影和醫療等領域都在廣泛地應用視頻渲染人類形象。由于單目攝像頭的視頻獲取較為容易,因此從單目攝像頭中渲染人體一直是研究的主要方式。Vid2Avatar、MonoHuman 和 NeuMa...

            機器之心報道

            編輯:大盤雞、小舟

            即使遮擋,也能渲染出高保真的 3D 人體。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            AR/VR 、電影和醫療等領域都在廣泛地應用視頻渲染人類形象。由于單目攝像頭的視頻獲取較為容易,因此從單目攝像頭中渲染人體一直是研究的主要方式。Vid2Avatar、MonoHuman 和 NeuMan 等方法都取得了令人矚目的成績。盡管只有一個攝像頭視角,這些方法仍能從新的視角準確地渲染人體。

            不過,大多數現有的方法在渲染人體時都是針對較為理想的實驗場景進行設計的。在這些場景中,障礙物幾乎不存在,人的各個身體部分在每一幀中也都能全部展示出來?蛇@與現實場景大為不同,F實場景中常有多個障礙物,人體也會在移動過程中被障礙物遮擋。

            大多數的神經渲染方法在處理現實世界的場景時都會因為遮擋而困難重重,其中一大原因就是缺乏監督。實際場景往往無法提供有關人體外觀、形狀和姿態的真實監督數據,因此模型需要根據現有的少量證據來推斷其他信息,而這十分具有挑戰性,尤其是大部分人體被遮擋的情況。

            由于許多神經方法采用的基于點的渲染方案,當一個被遮擋和一個未被遮擋時,兩個非常接近的坐標會在渲染輸出上產生巨大差異。因此,那些未適應被遮擋場景的方法在遇到遮擋時經常會顯示出不完整的人體,或者渲染出漂浮物和其他視覺上的錯誤。

            最近,著名人工智能教授李飛飛在 X 上發布了有關 3D 人體渲染工作的新進展 一種名為 Wild2Avatar 的新模型,該模型即使在有遮擋的情況下仍然能夠完整、高保真地渲染人體。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            Wild2Avatar 是一種適用于有遮擋的野外單目視頻的神經渲染方法。研究團隊提出了遮擋感知場景參數化,將場景解耦為三個部分 遮擋、人體和背景,分別渲染這三個部分,并設計了新穎的優化目標。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            論文地址:https://arxiv.org/pdf/2401.00431.pdf

            項目地址:https://cs.stanford.edu/~xtiange/projects/wild2avatar/

            方法介紹

            Wild2Avatar 可以為帶有遮擋的野外單目視頻渲染具有完整幾何形狀和高保真外觀的 3D 人體。Wild2Avatar 模型的整體架構如下圖 2 所示:

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            具體來說,Wild2Avatar 將遮擋物、人體和背景建模為三個獨立的神經場,無論遮擋物如何,都能對人體進行清晰的三維重建。為此,該研究采用場景自分解技術,在倒球參數化(inverted sphere parametrization)的基礎上,提出了遮擋感知場景參數化。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            除了倒球參數化定義的第一個球外,該研究還引入了第二個內球,并將從攝像機到內球邊緣的區域定義為遮擋區域。通過單獨渲染這一區域,Wild2Avatar 成功將遮擋與場景的其他部分分離開來。

            此外,為了確保高保真和完整地渲染人體,該研究提出通過像素光度損失、場景分解損失、遮擋解耦損失和幾何完整性損失的組合來匯總三種渲染。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            實驗及結果

            數據集

            OcMotion:該數據集由人體與各種物體接觸的室內場景組成,同時被這些物體部分遮擋。研究者從該數據集的 48 個視頻中選用了 5 個,它們展示了不同程度的遮擋。他們從每個視頻中只抽取了 100 幀來訓練模型,并使用數據集提供的相機矩陣、人體姿態和 SMPL 參數來初始化優化過程。幀內的二進制人體分割掩碼是通過「分割一切 (SAM)」獲得的。

            野外視頻:研究者對兩段真實世界的視頻進行了額外的實驗,其中一段是從 YouTube 下載的,另一段是研究團隊使用手機攝像頭拍攝的。他們從這兩段視頻中抽取了 150 幀進行訓練,并使用 SLAHMR 獲取了攝像機矩陣、人體姿勢和 SMPL 參數。由于沒有提供真實姿態,因此對這些視頻的評估也表明了各種方法對不準確估計的穩健性。

            被遮擋單目攝像頭視頻上的結果

            圖 5 比較了 Vid2Avatar 和 Wild2Avatar 在兩個數據集上的渲染結果。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            在表 1 中,研究者報告了兩種方法的量化結果,并觀察到二者在可見部分的渲染性能不相上下。不過,需要注意的是,Wild2Avatar 在身體幾何形狀和遮擋部分的渲染質量上始終優于 Vid2Avatar。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            與 OccNeRF 的比較

            研究者將 Wild2Avatar 與最近推出的遮擋人體渲染軟件 OccNeRF 進行比較。比較結果如圖 6 所示。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            為了進行公平比較,他們分別在 500 幀和 100 幀圖像上對 OccNeRF 進行了訓練。由于沒有隱式 SDF 表征,OccNeRF 存在浮游物和偽影等常見缺陷。雖然 OccNeRF 也能恢復被遮擋的人體部位,但人體通常會意外扭曲,導致渲染質量較低。

            場景分解的可視化

            Wild2Avatar 以組合的方式渲染了三個場景部分。人和背景 / 遮擋物分別在兩個不同的神經場中建模。圖 7 展示了這三個場景部分的單獨渲染圖。需要注意的是,由于這項工作只專注于人體渲染,因此背景和遮擋物的無偽影渲染不在這項工作的討論范圍內。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            消融實驗

            盡管 Wild2Avatar 仍能恢復被遮擋的外觀,但在沒有提出的參數化的情況下,渲染結果中會出現許多偽影,見圖 8 第一行。

            如果不采用建議的損失函數,則無法完全恢復被遮擋的區域,見圖 8 第二行。

            提出的損失函數作為一個正則化器,強制人體幾何形態與 SMPL 網格先驗保持一致,這防止了錯誤姿態的渲染,見圖 8 第三行。

            李飛飛團隊新作:AI透視眼,穿越障礙看清你,渲染遮擋人體有新突破了

            贊助本站

            人工智能實驗室
            相關內容
            AiLab云推薦
            展開

            熱門欄目HotCates

            Copyright © 2010-2024 AiLab Team. 人工智能實驗室 版權所有    關于我們 | 聯系我們 | 廣告服務 | 公司動態 | 免責聲明 | 隱私條款 | 工作機會 | 展會港
            台湾佬电影网_台湾佬影院_免费电影在线看
            <mark id="qyzvb"><track id="qyzvb"></track></mark>
              <ins id="qyzvb"></ins>
            1. <code id="qyzvb"></code>
            2. <tr id="qyzvb"><nobr id="qyzvb"><ol id="qyzvb"></ol></nobr></tr>
              <output id="qyzvb"></output>