(資料圖片僅供參考)
神經輻射場 (NeRF) 是先進的機器學習技術,可以從二維 (3D) 圖像生成對象或環(huán)境的三維 (2D) 表示。由于這些技術可以真實而詳細地模擬復雜的現(xiàn)實世界環(huán)境,它們可以極大地支持機器人研究。
然而,大多數(shù)用于訓練 NeRF 的現(xiàn)有數(shù)據集和平臺都設計為離線使用,因為它們需要完成姿勢優(yōu)化步驟,這會顯著延遲照片真實表示的創(chuàng)建。到目前為止,這阻止了大多數(shù)機器人專家使用這些技術在物理機器人上實時測試他們的算法。
斯坦福大學的一個研究小組最近推出了NerfBridge,這是一種用于訓練NeRF算法的新開源軟件包,最終可以使它們能夠用于在線機器人實驗,該軟件包在arXiv上預先發(fā)表的一篇論文中介紹,旨在有效地橋接ROS(機器人操作系統(tǒng)),一個著名的機器人應用程序軟件庫和Nerfstudio, 一個開源庫,旨在實時訓練 NeRF。
“最近,我的實驗室斯坦福大學多機器人系統(tǒng)實驗室的成員對探索神經輻射場(NeRFs)在機器人中的應用感到興奮,但我們發(fā)現(xiàn)現(xiàn)在沒有一種簡單的方法將這些方法與實際機器人一起使用,因此不可能對它們進行任何真正的實驗,”該論文的第一作者Javier Yu, “科技Xplore說。“由于這些工具不存在,我們決定自己構建它們,并且出于工程推動,看看NeRFs如何在機器人上工作,我們得到了一個很好的工具,我們認為它將對機器人社區(qū)的許多人有用。
NeRF是基于人工神經網絡的復雜技術,最初由計算機圖形學研究界引入。他們基本上通過訓練神經網絡來重建照片或3D圖像中捕獲的場景的2D幾何形狀和顏色,從而創(chuàng)建詳細的世界地圖。
“從圖像映射的問題是我們機器人社區(qū)長期以來一直在研究的問題,NeRF為如何處理它提供了新的視角,”Yu解釋說。“通常,NeRF以離線方式進行訓練,其中所有圖像都是提前收集的,然后一次訓練場景的NeRF。然而,在機器人技術中,我們希望直接將NeRF用于導航等任務,因此,如果我們僅在到達目的地時才獲得NeRF,則NeRF沒有用。相反,我們希望在機器人探索其環(huán)境時逐步(在線)構建NeRF。這正是NerfBridge解決的問題。
Yu和他的同事推出的軟件包NerfBridge利用了集成在物理機器人中的傳感器和攝像頭捕獲的圖像。這些圖像不斷流入Nerfstudio強大的NeRF訓練庫,從而能夠創(chuàng)建NeRF,這些NeRF隨著機器人捕獲周圍環(huán)境的新圖像而不斷更新和改進。
為了證明他們的方法的潛力,Yu和他的同事使用它來訓練NeRF,該圖像基于安裝在四旋翼上的相機捕獲的圖像,四旋翼無人機在室內和室外環(huán)境中飛行。他們的結果非常顯著,突出了NerfBridge在促進在機器人研究中使用NeRF的價值。
因此,這種有前途的方法很快就會被其他研究人員用來訓練NERFs,并在物理機器人導航周圍環(huán)境時測試他們的算法。與此同時,Yu和他的同事計劃探索其他策略,以擴大NeRF在機器人中的使用。
“最終,我們希望NerfBridge能夠降低其他研究人員的進入門檻,開始研究NeRF在機器人中的應用,并在現(xiàn)實世界中測試他們的新算法,”Yu補充道?!皬腘erfBridge開始,我們將研究當圖像從機器人流式傳輸時改進NeRF訓練的方法,并展示使用基于NeRF的地圖進行機器人技術其他任務(如定位和導航)的具體優(yōu)勢。
版權聲明:本文由用戶上傳,如有侵權請聯(lián)系刪除!下一篇:最后一頁
X 關閉
X 關閉