A Hybrid Approach to Object Recognition: From Segmentation to LMM-Based Classification

Celem projektu jest opracowanie systemu do rozpoznawania obiektów, opartego na komponentach segmentacji (Segment Anything, SAM) i klasyfikacji na bazie modeli multimodalnych (LMM). Tego typu system jest w stanie osiągnąć lepsze wyniki w rozpoznawaniu obiektów dla trudnych, niezbalansowanych zbiorów danych. Dotychczas zrealizowano proof-of-concept oparty na studium przypadku sortowania odpadów (zbiory TACO i WaRP). Wyniki eksperymentów (skuteczność klasyfikacji na podzbiorze obrazów 80% dla GPT-4o i 30% dla Llama3.2-Vision), zaprezentowane na PP-RAI 2025, zostały ocenione jako obiecujące. Planowane przez wnioskodawców działania obejmują: opracowanie modułu filtrowania obiektów zwracanych przez SAM (zwiększenie wydajności systemu), rozszerzenie eksperymentów o pełne zestawy testowe referencyjnych zbiorów danych oraz poprawę wyników Llama3.2-Vision (inżynieria promptów, ew. fine-tuning).  W dalszym etapie planowane są eksperymenty z innymi modelami LMM, rozszerzenie zestawu zbiorów danych oraz integracja komponentu wyjaśnialności.