Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Syntaktická analýza přirozeného jazyka Vojtěch Kovář Centrum zpracování přirozeného jazyka Fakulta Informatiky, Masarykova Univerzita Botanická 68a, 602 00 Brno xkovar3@fi.muni.cz PA153 Počítačové zpracování přirozeného jazyka Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Outline 1 Co? Proč? 2 Notace 3 Jak? 4 Co děláme v NLP centru Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Syntaktická analýza přirozeného jazyka Co? odhalení povrchové struktury věty základ pro analýzu jazyka na vyšších úrovních Proč? jakékoli pokročilejší zpracování jazyka např. vztahy mezi slovy → logické konstrukce identifikace frází v textu ... Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Notace syntaxe přirozeného jazyka Závislostní formalismus strukturní vztahy kódovány závislostmi mezi slovy na vstupu pražský korpus závislostních stromů PDT Složkový formalismus strukturní vztahy kódovány stromem odvození z gramatiky brněnský analyzátor synt Parciální syntaktická analýza nezajímá nás kompletní strom, jen některé vztahy např. systém VaDis, Word Sketches Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Příklad: závislostní strom I saw a man with a telescope . [root] subj det det I saw a man with a telescope . [root] obj adv aux_prep aux_punc pred Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Příklad: složkový strom I saw a man with a telescope . Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Jak analyzovat syntax automaticky Zásadní problém víceznačnost: někdy problém i pro lidi „Karel mluvil o sexu s Britney Spears.” problémy s vyhodnocením Jak analyzovat syntax jazyka manuálně vytvořené gramatiky (bezkontextové, závislostní) statisticky naučené gramatiky statistické odhadování podoby stromu Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Gramatické formalismy Bezkontextová gramatika CKY chart parser Závislostní syntax aplikace algoritmu hledání nejmenší kostry na statisticky naučené vazby Definite clause grammar (Prolog) Head-driven phrase structure grammar Combinatory categorial grammar Tree adjoining grammar Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Co děláme v NLP centru Synt složkový analyzátor základ = bezkontextová gramatika + chart parser koncept metagramatiky, kontextové akce SET hybridní analyzátor založen na detekci konečných vzorků v textu Dis/VaDis založen na DCG použití při morfologické desambiguaci IOBBER statistický rozpoznávač frází (chunker) Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka Outline Co? Proč? Notace Jak? Co děláme v NLP centru Odkazy Odkazy www.diotavelli.net/people/void/demos/cky.html en.wikipedia.org/wiki/Definite_clause_grammar en.wikipedia.org/wiki/Combinatory_categorial_grammar en.wikipedia.org/wiki/Head-driven_phrase_structure_grammar nlp.fi.muni.cz/projekty/wwwsynt nlp.fi.muni.cz/projekty/wwwsynt/query.cgi nlp.fi.muni.cz/trac/set nlp.fi.muni.cz/projekty/set/wwwset.cgi/first_page ufal.mff.cuni.cz/pdt2.0/index-cz.html Vojtěch Kovář FI MU Brno Syntaktická analýza přirozeného jazyka