概述
飛行時間 （TOF） 相機在工業應用，尤其是機器人技術中越來越受歡迎，這歸因於其卓越的深度計算和紅外 （IR） 成像能力。儘管有這些優勢，但光學系統固有的複雜性通常會限制視野，從而限制獨立功能。本文討論了一種專為支援的主機處理器設計的 3D 圖像拼接演算法，無需雲計算。該演算法將來自多個 TOF 相機的 IR 和深度數據即時無縫組合，生成連續、高品質的 3D 圖像，其視野擴展到獨立單元之外。拼接的 3D 資料支援應用最先進的深度學習網路（在行動機器人應用中特別有價值），從而徹底改變可視化和與 3D 環境的互動。
介紹
飛行時間 （TOF） 相機作為出色的距離成像系統脫穎而出，它利用 TOF 技術來確定相機與圖像中每個點之間的距離。這是通過測量鐳射或LED發射的人造光訊號的往返時間來實現的。TOF 相機提供精確的深度資訊，使其成為精確距離測量和 3D 可視化至關重要的應用的重要工具，例如機器人和工業技術應用，包括碰撞檢測和 270° 視場 （FOV） 上的人體檢測，以確保安全。
ADTF3175 TOF 感測器可實現校準的 75° 視場角。但是，當應用程式的FOV超過此區域時，就會出現挑戰，需要多個感測器。集成來自各個感測器的數據以提供對整個視圖的全面分析可能會帶來困難。一種可能的解決方案是讓感測器在部分FOV上執行演算法，並將輸出傳輸到主機進行排序。然而，這種方法面臨重疊區、盲區和通訊延遲等問題，使其成為一個難以有效解決的複雜問題。
另一種方法是將從所有感測器捕獲的數據拼接成單個圖像，然後對拼接的圖像應用檢測演算法。此過程可以卸載到單獨的主機處理器，從而減輕感測器單元的計算負載，併為高級分析和其他處理選項提供空間。但是，需要注意的是，傳統的圖像拼接演算法本質上很複雜，並且會消耗主機處理器的很大一部分計算能力。此外，由於隱私原因，在許多應用程式中無法發送到雲並在雲中拼接。
Analog Devices 的演算法解決方案可以使用深度數據的點雲投影拼接來自不同感測器的深度和 IR 圖像。這涉及使用相機外部位置轉換捕獲的數據，並將其投影回 2D 空間，從而產生單個連續圖像。
這種方法可以最大限度地減少計算量，這有助於在邊緣實現實時運行速度，並確保主機處理器的計算能力仍可用於其他高級分析。
解決方案描述
ADI 的 3D TOF 解決方案分四個階段運行（見圖 1）：
-
預處理 IR 和深度數據：IR 和深度數據的時間同步和預處理。
-
將深度數據投影到 3D 點雲中：利用攝像機固有參數將深度數據投影到 3D 點雲中。
-
變換和合併點：使用攝像機的外部位置變換點並合併重疊區域。
-
將點雲投影到 2D 圖像中：使用圓柱投影將點雲投影回 2D 圖像。
圖 1.深度拼接演算法。
系統和演算法的挑戰和解決方案
主機接收深度幀和 IR 幀
主機通過 USB 等高速連接連接到多個 TOF 感測器。它收集深度和 IR 幀並將它們存儲在佇列中。
同步深度和 IR 數據
主機接收到的每個感測器的深度幀和 IR 幀是在不同的時間實例捕獲的。為避免由於物體移動而導致的時間不匹配，來自所有感測器的輸入都需要同步到同一時間實例。使用時間同步器模組，該模組根據佇列中的時間戳匹配傳入幀。
項目到點雲
點雲是使用每個感測器的同步深度數據在主機上生成的。然後，每個點雲都會根據其在現實世界中各自的相機位置（參見圖 2）進行轉換（平移和旋轉）。然後，將這些轉換后的點雲合併，形成一個覆蓋感測器組合 FOV 的連續點雲（見圖 3）。
圖 2.相機外在的。
圖 3.合併的點雲。
3D 到 2D 投影
使用圓柱形投影演算法（也稱為前視圖投影）將FOV的組合點雲投影到2D畫布上（參見圖 4）。換句話說，該演算法將合併點雲的每個點投影到 2D 平面中的一個圖元上，從而產生覆蓋所有感測器組合視場的單個連續全景圖像。這將產生兩個 2D 拼接圖像：一個用於拼接 IR，另一個用於投影到 2D 平面上的拼接深度圖像。
圖 4.圓柱投影演算法。
提高投影品質
將 3D 組合點雲投影到 2D 圖像上仍然不能提供高品質的圖像。圖像有失真和雜色。這會影響視覺品質，還會對在投影上運行的任何演算法產生不利影響。以下各節記錄了三個關鍵問題（參見圖 5）和修復程式。
圖 5.2D 投影問題。
投影無效的深度區域
對於超出感測器工作範圍 （8000 mm） 的點，ADTF3175的深度數據具有無效的深度值 0 mm。這會導致深度圖像上出現較大的空隙區域，並形成不完整的點雲。為深度圖像上的所有無效點分配了8000 mm的深度值（相機支援的最大深度），並用它生成了點雲。這確保了點雲中沒有間隙。
填充未映射的圖元
將 3D 點雲投影到 2D 平面上時，2D 圖像中存在未映射/未填充的區域。許多點雲 （3D） 像素映射到同一個 2D 圖元，因此多個 2D 圖元保持空白。這會產生如圖 6 所示的拉伸模式。為了解決這個問題，我們使用了 3 × 3 濾鏡，該濾鏡使用其相鄰的 8 個具有有效值的圖元的平均 IR/深度值填充未映射的圖元。這導致了更完整的輸出圖像形成，並消除了偽影（參見圖 6）。
圖 6.填充未映射的圖元。
重疊點產生的雜訊
由於圓柱投影演算法，重疊區域上的許多點最終在 2D 投影輸出上獲得相同的靜止座標。當背景圖元與前景圖元重疊時，這會產生雜色。要解決此問題，請將每個點的徑向距離與現有點進行比較，並且僅當與攝像機原點的距離小於現有點時，才會替換該點。這有助於僅保留前景點並提高投影質量（參見圖 7）。
圖 7.重疊雜訊修復。
結論
與傳統關鍵點匹配演算法所需的最小 20° 重疊相比，該演算法可以拼接來自不同相機的圖像，重疊角度小於 5°。這種方法需要的計算量非常少，使其成為邊緣系統的理想選擇。由於沒有圖像失真，因此在拼接后保留了深度數據的完整性。該解決方案進一步支援 ADTF3175 感測器的模組化實現，以最小的損耗獲得所需的FOV。
FOV 擴展不局限於水平維度，可以使用相同的技術來垂直擴展視圖，以獲得真正的球面視覺。該解決方案在 Arm® V8 6 核邊緣 CPU 上以 10 fps 的速度運行，四個感測器提供 275° FOV。當僅使用兩個感測器時，幀速率最高可達 30 fps。
這種方法的主要優勢之一是實現了巨大的計算增益，基本計算的增益超過 3×（見表 1）。
圖 8 和圖 9 顯示了使用此解決方案獲得的一些結果。
圖 8.拼接的 IR 資料提供 210° FOV。
圖 9.具有 278° FoV 的拼接 IR 和深度圖像。
引用
“ Analog Devices 3DToF ADTF31xx.GitHub公司
“ Analog Devices 3DToF 地板探測器。”GitHub公司
“ Analog Devices 3DToF 圖像拼接。”GitHub公司
“ Analog Devices 3DToF 安全氣泡檢測器。”GitHub公司
“ Analog Devices 3D ToF 軟體套件。GitHub公司
He， Yingshen， Ge Li， Yiting Shao， Jing Wang， Yueru Chen， 和 Shan Liu.“ 通過球面投影的點雲壓縮框架。”2020 年 IEEE 視覺通信與圖像處理國際會議， 2020.
工業視覺技術 .Analog Devices, Inc.
托皮瓦拉，阿尼魯德。“ 點雲的球面投影。”邁向數據科學，2020 年 3 月。
作者
拉傑什·馬哈帕特拉
Rajesh Mahapatra 擁有 30+ 年的工作經驗，在 Analog Devices Bangalore 的軟體和安全小組工作。他熱衷於使用演算法和嵌入式軟體解決客戶問題，致力於 ADI 硬體解決方案。他與非政府組織密切合作，植樹，併為面臨經濟挑戰的人們提供就業和技能培訓。他在系統、圖像處理和計算機視覺領域擁有5項專利。
阿尼爾·斯裡帕達勞
Anil Sripadarao先生於2007年加入ADI公司，目前在ADI班加羅爾公司軟體和安全部門工作。他感興趣的領域包括音訊/視頻編解碼器、AI/ML、計算機視覺演算法和機器人技術。他在圖像處理和計算機視覺領域擁有6項專利。
Swastik Mahapatra
Swastik Mahapatra 是軟體和安全小組的高級機器學習工程師。他於 2018 年加入 ADI，致力於各種電腦視覺技術和機器人安全解決方案。他在深度學習邊緣推理框架開發、機器人應用程式開發方面進行了廣泛的工作，並精通卷積神經網路。他的專業興趣包括計算機視覺、3D 視覺、機器學習和機器人技術的演算法開發。
安馳科技 FAE support. Please e-mail
► Marketing.anstek@macnica.com
► 或加 安馳科技 LINE 洽詢
► 追蹤 安馳科技 Facebook
► 請加入 安馳YouTube頻道
► 立即填寫料號 申請樣品
洽詢更新產品、技術與安馳抽獎活動
