1
Objektově orientovaná
klasifikace obrazu
Základní východiska
ˇ Klasifikace založená na identifikaci jednotlivých
obrazových prvků má mnohá omezení.
ˇ Vychází z předpokladů, které již a priori vylučují
úspěšnou aplikaci těchto přístupů na některé
úlohy (zastavěné plochy).
ˇ Analýza obrazu prozatím málo využívá jiných
charakteristik (interpretačních znaků) než
spektrálních (např. na radarová data nelze
v důsledku značného podílu šumu použít klasický
per-pixel přístup).
ˇ Rastrový datový model diskretizuje objekty do
prvků, které jsou samy o sobě heterogenní.
ˇ Proces postupného skládání objektů
z jednotlivých elementárních prvků je nepřirozený.
ˇ Problém co jsme schopni rozpoznat (landuse x
landcover)
1. Analogová interpretace založená na zkušenosti
a hodnocení interpretačních znaků
2. Automatická klasifikace
Interpretace obrazu a rastrový datový model Omezenost multispektrálního přístupu
Spektrální charakteristiky často nepředstavují
typickou informaci o hledaném povrchu.
... hyperspektrální přístup
... multitemporální přístup
Obrazový prostor
(Image space)
Spektrální prostor
(Spectral space)
Příznakový prostor
(Feature space)
1 2 3
Způsoby rozpoznávání
Naše rozpoznávání není založeno na postupném
skládání celku z jednotlivostí.
Je spíš založeno na:
1. na zkušenosti (jak vypadá pes)
2. schopnosti hodnotit vztahy (mezi skupinami
černých a bílých ploch)
2
Asociativní vybavování - příklad domu Hodnocení vztahů
Vertikální vztahy ­ hierarchie uspořádání:
Informace uložená v obraze má často fraktální
povahu ­ záleží na měřítku. (Části stromu ­ strom ­
les ­ krajinná mozaika).
Horizontální vztahy: kontextuální (vztahy
sousedství, asociační) ­ dva či více objektů se
mohou v prostoru vyskytovat podmíněně
Vzhledem k měřítku lze v obraze definovat vztahy
vertikální i horizontální
Hodnocení textury
Texturální klasifikátory se snaží popsat typickou
proměnlivost spektrálního chování
GLCM (Grey Level Co-occurrence Matrix)
3322
2220
1100
1100
1000
1300
0020
0122
Každý prvek GLCM matice nese
informaci, kolikrát se daná
kombinace hodnot v okně
vyskytuje.
Míry textury - vážený průměr buněk GLCM.
( )2
1
0,
, jiPKontrast
N
ji
ji -= 
-
=
Interpretace: Je-li i a j stejné (na
diagonále) váha je 0. Liší li se i a j o 1
váha je 1, liší li se o 2 váha je 4 atd.
Váhy exponenciálně rostou.
Základní východiska objektového přístupu
ˇ Základní jednotkou pro klasifikaci není obrazový prvek
(pixel), ale skupina prostorově souvisejících pixelů (field,
image object primitive, ...).
ˇ Tato skupina pixelů je vytvořena procesem segmentace
obrazu. Jejím cílem je pospojovat pixely podobných
vlastností do skupin.
ˇ Nejsou uvažovány jen vlastnosti spektrální, ale například
textura, kontext, vlastnosti související s tvarem a velikostí
pixelů apod.
ˇ Vytvoření skupin pixelů podobných vlastností umožňuje
následně definovat vztahy mezi jednotlivými skupinami
Obecný postup objektové klasifikace obrazu
1. Spojování podobných pixelů do homogenních
ploch ­ segmentů
2. Testování homogenity segmentů
3. Výpočet atributů pro každý segment
4. Definování příznakového prostoru
5. Klasifikace segmentů (objektů)
Algoritmy pro segmentaci obrazu:
1. ,,Boundary seeking" - vyhledávání hranic. Většinou pracují
s kontrastem snímku ­ části obrazu s největší změnou
kontrastu definují polohu hranice mezi dvěma obrazovými
objekty. Problémem je, že takto definované hranice v obraze
často nevytváří uzavřené polygony
2. ,,Object seeking" ­ (region growing) vyhledávání objektů.
Vycházejí z hodnocení interní homogenity skupiny pixelů.
Vytvářejí uzavřené polygony.
ˇ Konjunktivní ­ začíná s několika málo pixely a postupně
na ně ,,nabalují" další, které vyhovují předem definovanému
kritériu (homogenity, tvaru, ...)
ˇ Disjunktivní ­ založeny na postupném dělení celé scény
3
Segmentace obrazu - mulitresolution segmentation
Definování základních obrazových objektů je založeno na
spojování podobných pixelů.
Podobnost či homogenita je posuzována z hlediska těchto
tříd informací:
ˇ Spektrální informace
ˇ Texturální informace
ˇ Informace o tvaru objektů
ˇ Informace o topologických vztazích (kontextuální)
Nastavení parametrů segmentace obrazu
Posouzení spektrální heterogenity:
c ­ proměnná příznakového prostoru (např. pásmo
multispektrálního obrazu)
v ­ váha dané proměnné
 - směrodatná odchylka pixelů daného pásma
 =
c
ccspec vh 
Posouzení tvarové heterogenity:
Hladkost - Smoothness ­ optimalizuje hranice
l ­ obvod skupiny pixelů
n- počet pixelů tvořících skupiny
b ­ obvod nejmenšího pravoúhelníka opsaného skupině pixelů
Kompaktnost - Compactness ­ optimalizuje tvar
b
l
hcom =
n
l
hsm =
Celková tvarová heterogenita:
vcom ­ váha kritéria kompaktnosti tvaru (0;1)
smcomcomcomt hvhvh )1(var -+=
Proces slučování sousedních segmentů:
var)1( tbarvybarvybarvy hvhvf -+=
vbarvy ­ váha kritéria barvy (0;1)
f ­ fůze ­ parametr spojování
Ke spojování dochází, pokud je fůze (f) menší než
parametr SCALE. Ten zadává uživatel na počátku
procesu segmentace. Malá hodnota parametru SCALE
produkuje malé objekty
4
,,Mulitresolution segmentation"
Objektově orientovaná analýza obrazu pracuje s obrazovými objekty
uspořádanými do hierarchicky uspořádaného systému vrstev. Nejnižší
vrstvu tvoří vrstva jednotlivých pixelů, nejvyšší vrstvu pak celý obraz.
Mezi těmito dvěma krajními úrovněmi se vytváří další úrovně právě
procesem segmentace obrazu. Celá síť má jednoznačně definované
topologické vazby.
Problémy segmentace obrazu
ˇ Problém konektivity ­ 4, 8
ˇ Problém segmentace liniových objektů
ˇ Generování ,,umělých" hranic v obraze
Hierarchické uspořádání klasifikačního schématu
- podle dědičnosti (inheritance)
- podle sémantiky (významu)
Princip dědičnosti (INHERITANCE)
Sub-objekty dědí vlastnosti svých rodičů
(super-objektu).
Travní porosty
ˇ Louky
ˇ Parky
Zastavěná plocha
ˇ Les ve městě
ˇ Parky
ˇ Bloky budov
Každému z objektů přísluší množina atributů, které popisují
spektrální vlastnosti, tvar, topologické vazby, texturní znaky, ...
Atributy objektů
Vlastní klasifikace může být založena na klasifikátoru nejbližšího
souseda (Nearest Neighbor)
Trénovací data tvoří vybrané objekty
Klasifikátor zařadí všechny ostatní objekty do třídy, ke které má
v předem definovaném příznakovém prostoru nejblíže.
Klasifikace objektů I.
5
Klasifikace objektů II.
Příslušnost jednotlivých objektů ke každé třídě je hodnocena
prostřednictvím funkce příslušnosti (membership function) pro
každý z uvažovaných atributů.
Membership function normalizuje hodnoty jakéhokoliv použitého
atributu (např DN hodnot pásma obrazu 0 až 255) do hodnot 0
až 1.
Funkce má různý průběh (např. sigmoida).
Průběh membership function definuje neostré (fuzzy) hranice a
nahrazuje binární logiku (patří - nepatří).
Klasifikace založená na
principu neostrých
množin (fuzzy logic).
Funkce příslušnosti
Klasifikace objektů může probíhat dvěma způsoby
ˇ jako klasifikace bez uvažování topologických a hierarchických
vazeb objektů
ˇ jako klasifikace hodnotící též topologické a hierarchické vazby
objektů v obraze
ˇ Jednotlivé třídy již nemusí představovat land cover, ale mohou být
již kategoriemi land use. To je umožněno hodnocením odlišné
skupiny atributů při klasifikaci tříd ­ příznakový prostor může být
definován různě pro různé kategorie:
Příklad příznakového prostoru použitého pro
klasifikaci využívající topologických vazeb
Klasifikační schéma ve formě binárního stromu
- daná třída je definována vždy jako negace příslušnosti
k třídě jiné
ˇ Objektů je výrazně méně než jednotlivých pixelů a proto je klasifikace
velmi rychlá.
ˇ Klasifikovány jsou nejprve třídy na nejvyšší hierarchické úrovni
zpracování ­ (nejmenší měřítko) ­ například městské plochy, venkovské
plochy, vodní objekty. Ty se klasifikují bez uvažování topologických vazeb.
ˇ Následně je klasifikace provedena na nižší úrovni zpracování (v
podrobnějším měřítku), kdy je možné využít topologických vazeb
sestavených na základě klasifikace na vyšší úrovni.
ˇ Př. Při zařazování obrazových objektů do třídy městská zeleň je možné
uvažovat vztahy těchto objektů k třídě městské plochy ­ např. ve formě
relativní vzdálenosti k těmto plochám nebo jako vztah k nejbližšímu
sousedovi.
ˇ Hierarchicky uspořádané klasifikační schéma je možné sestavit ve formě
binárního stromu, kdy daná třída je definována vždy jako negace
příslušnosti k třídě jiné
Rysy klasifikace