Technologia Wizualnego Systemu Inercyjnego (VIS)

Kilka lat temu, podczas przeglądu technologii w Centrum Technologicznym Hexagon, zidentyfikowaliśmy potrzebę rozwoju technologii wizualnej jednoczesnej lokalizacji i mapowania (SLAM) dla grupy Hexagon. Od samego początku było jasne, że ta technologia mogłaby być używana do określania położenia urządzeń w przestrzeni 3D i mogłaby być bardzo przydatna podczas opracowywania przyszłych innowacji. Zaczęliśmy od wdrożenia ogólnego algorytmu Wizualnego SLAM i zbadaliśmy potencjał tej technologii podczas realizacji różnych zadań istotnych dla naszych obszarów biznesowych.

Co to jest Wizualny SLAM?

Zasadniczo, Wizualny SLAM to nic innego jak powtarzalne wykorzystanie wcięcia wstecz i wcięcia w przód wraz z ostatecznym wyrównaniem całego zestawu pomiarów. Te podstawowe algorytmy są dobrze znane z fotogrametrii od ponad wieku. Jednak postępy w śledzeniu i dopasowywaniu obiektów związane z rozwojem wizualizacji komputerowej i robotyki spowodowały, że ręczny wybór punktów dopasowania stał się przestarzały, co umożliwiło wdrożenie zautomatyzowanych metod pracy.

Nawigacja w przestrzeni 3D w oparciu o technologię Wizualnego SLAM jest dość intuicyjna. Działa podobnie do tego, jak my, ludzie, poruszamy się po świecie. Gdy idziemy w kierunku obiektu, np. budynek, obiekt powiększa się w naszym polu widzenia. Kiedy cofamy się, staje się mniejszy.

W przepadku technologii Wizualnego SLAM, algorytm wykrywa obiekty punktowe - lub tak zwane punkty orientacyjne na obrazie i śledzi ich położenie od jednej klatki do drugiej. Gdy kamera przemieszczana jest w kierunku budynku, wykryte obiekty, np. narożniki budynku, drzwi lub okna, przesuną się od centrum obrazu na zewnątrz, ponieważ budynek powiększa się w polu widzenia. Gdy kamera jest obracana od lewej do prawej, obiekty na obrazie będą przesuwać się w prawo i w lewo. Stąd, na podstawie ruchu punktów charakterystycznych między klatkami strumienia obrazu, Wizualny SLAM może określić kierunek ruchu kamery w przestrzeni 3D.

W procesie ciągłym, algorytm SLAM oblicza współrzędne 3D (mapowanie) śledzonych obiektów z dwóch lub więcej pozycji i używa tych współrzędnych do określania kolejnej pozycji (lokalizacji). Wygenerowana mapa punktów orientacyjnych zmienia się, gdy operator przesuwa się wzdłuż tego toru do następnego stanowiska skanera i działa jako odniesienie dla całego algorytmu pozycjonowania. W związku z tym ta mapa, która jest budowana i utrzymywana podczas procesu, jest niezbędna do zachowania niskiej wartości błędu przesunięcia.

Istnieją alternatywne podejścia oparte wyłącznie na pomiarach inercyjnych. Inercyjna jednostka pomiarowa (IMU) zapewnia pomiary przyspieszenia i prędkości kątowych, które są integrowane w celu uzyskania prędkości w pierwszym kroku, a na końcu położenia i orientacji urządzenia. Ponieważ błędy pomiarowe mają wpływ na te pomiary, to ich łączenie prowadzi do znacznego przesunięcia rezultatu pomiaru. Ponieważ w tym podejściu brakuje mapy jako ogólnego odniesienia, powstałe przesunięcie rezultatu pomiaru jest znacznie wyższe niż w Wizualnym SLAM. Chociaż nie można uzyskać optymalnego wyniku wyłącznie na podstawie pomiarów bezwładnościowych, dane z IMU można połączyć z pomiarami wykonywanymi na obrazach i uzyskać technologię Wizualnego SLAM.

W jaki sposób Wizualny SLAM na nowo definiuje proces łączenia danych?

Typowe łączenie skanów laserowych, tj. połączenie pojedynczych skanów w jedną chmurę punktów, jest przeprowadzane po całkowitym zebraniu danych w biurze przy użyciu oprogramowania do ich przetwarzania. Zwykle, operator jest w stanie zweryfikować wynik projektu oraz kompletność skanów dopiero po powrocie do biura. Możliwe jest, że operator zidentyfikuje niektóre brakujące obszary i być może będzie musiał wrócić w teren i wykonać dodatkowe skany. Czasami, kiedy projekt znajduje się daleko od biura, może to wiązać się z jazdą przez dłuższy czas, a zatem czymś, czego klienci chcą za wszelką cenę uniknąć.

Wstępne łączenie kilku skanów laserowych w terenie było nową funkcją, o której pomyślał wówczas Juergen Mayer, dyrektor biznesowy departamentu naziemnego skaningu laserowego. Ta funkcja całkowicie rozwiązała problem kosztownych poprawek. Po wykonaniu każdego skanu oczekiwano, aby pozyskane dane w terenie były automatycznie łączone wraz z poprzednio wykonanymi skanami. Powstała chmura punktów powinna zostać wizualizowana na tablecie. Umożliwiłoby to klientowi natychmiastowe sprawdzenie, jakie dane zostały pozyskane, a których danych może brakować, aby optymalnie zaplanować kolejne stanowisko skanera, a przede wszystkim przeprowadzić kontrolę kompletności, gdy wciąż znajduje się w terenie.

Zostało to odkryte podczas naszego studium wykonalności i wreszcie mogliśmy wykazać, że koncepcja będzie również działać w praktyce. Na podstawie tych obserwacji, wraz z naszymi kolegami z działu rozpoczęliśmy pracę nad produktem, które zakończyły się prezentacją Leica RTC360 na HxGN LIVE 2018.

Czy Wizualny SLAM może być podstawą nowej funkcji umożliwiającej łączenie skanów w terenie?

Teoretycznie było oczywiste, że w oparciu o Wizualny SLAM można określić przemieszczenie między dwoma stanowiskami skanera. Znając translację i obrót, chmura punktów pozyskana na bieżącym stanowisku skanera może zostać automatycznie dopasowana do chmury punktów pozyskanej na poprzednim stanowisku. Celem było udowodnienie, że koncepcja zadziała w praktyce.

Technologia Wizualnego Systemu Inercyjnego (VIS) nie powinna nakładać żadnych ograniczeń na pracę ze skanerem laserowym. Oznacza to, że na operatora nie powinny mieć wpływu dodatkowe obowiązki, takie jak przenoszenie skanera laserowego w określony sposób. Było to jedno z głównych wymagań, kiedy rozpoczęło się studium wykonalności. Nawet jeśli jedna strona skanera RTC360 jest zasłonięta, np. przez ciało operatora, technologia VIS powinna nadal działać. Zasadniczo, jest to główny powód, dla którego w RTC360 wbudowano pięć kamer VIS. Ponadto prowadzenie automatycznego wstępnego łączenia skanów powinno odbywać się w czasie rzeczywistym w taki sposób, aby operator otrzymał wynik natychmiast po wykonaniu następnego skanu. Biorąc to pod uwagę, nasz algorytm Wizualny SLAM musiał udowodnić, że można go zintegrować z procesem naziemnego skaningu laserowego.

Co nadchodzi?

W Centrum Technologicznym Hexagon, sprawdzono jeszcze kilka innych zastosowań Wizualnego SLAM. Mimo że podstawowa zasada jest taka sama, zawsze wymaga pewnych adaptacji do konkretnej konfiguracji i modelu pracy w celu uzyskania najlepszych rezultatów. Najważniejszym wydarzeniem w tym kontekście jest opracowanie mobilnego obrazującego skanera laserowego Leica BLK2GO, w którym Wizualny SLAM współpracuje z LiDAR SLAM, przenosząc algorytm na wyższy poziom. To tylko jeden z wielu przykładów, w których ta technologia udowodniła, że może być wykorzystywana do zastosowań związanych z określaniem położenia. Niektóre z nich już doprowadziły do opracowania produktów, a o wiele więcej produktów można spodziewać się w przyszłości, co wzbogaci całe portfolio produktów Hexagon Geosystems.