System Semantycznej Orierntacji w Przestrzeni - Mapowanie Wizyjne dla Autonomicznego Systemu Robotycznego w Środowisku Symulacyjnym 3D [1]

System semantycznej orientacji w przestrzeni to koncepcja łączenia technologii przetwarzania danych przestrzennych oraz analizy semantycznej. Jego głównym celem jest nie tylko orientacja w przestrzeni ale także zrozumienie znaczenia obiektów w danym środowisku. Semantyczna orientacja w przestrzeni mogłaby być np. wykorzystywana do tworzenia bardziej zaawansowanych systemów nawigacyjnych, rozumiejących kontekst języka naturalnego (np. „podjedź z prawej strony niebieskiego krzesła”, „ile jest tablic suchościeralnych w pokojach”). Realizacja celu powinna być procesem wieloetapowym i łączącym aspekt mapowania z analizą semantyczną oraz aspekty nawigacji (realizowany przez odrębny zespół) tworząc docelowo uzupełniającą się całość. Etap 1 pozwoli zweryfikować podstawową koncepcję analizy semantycznej przestrzeni i wprowadzenie semantycznej reprezentacji obiektów. Na etap ten składają się następujące zadania:

- adaptacja przestrzeni 3D w środowisku symulacyjnym oraz integracja wirtualnego modelu robota z systemem sterowania,

- tworzenie przestrzennej mapy środowiska na bazie danych dostarczanych przez system symulacyjny oraz czujniki robota,

- przygotowanie struktur danych w celu reprezentacji przestrzeni (POI) oraz systemu zapisującego pełen zestaw informacji )obraz RBG, obraz głębi, pozycja robota) podczas pokonywania trasy wyznaczonej przez system optymalnego mapowania wizyjnego

- przygotowanie narzędzi do ekstrakcji danych (obraz RBG, obraz głębi, pozycja robota) zgromadzonych przez robota podczas pokonywania trasy

- przygotowanie systemu nawigacji, który umożliwi robotowi skuteczne dotarcie do wyznaczonego punktu w środowisku

- opracowanie bazowego algorytmu wspomagającego akwizycję danych z kamery, w celu optymalnego pokrycia wizyjnego mapowania przestrzeni

- opracowanie API umożliwiającego integrację rozwiązania z modułem analizy semantycznej