m FIMU Fakulta informatiky Masarykova univerzita Automaty a formálni jazyky I Ivana Černá Mojmír Křetínský Antonín Kučera Učební text FI MU Copyright © 2002, FI MU verze 1.3.1 únor 2014 Obsah 1 Jazyk a jeho konečná reprezentace 1 1.1 Abeceda a jazyk................................ 1 1.1.1 Operace nad j azyky.......................... 2 1.2 Konečná reprezentace jazyka......................... 3 1.2.1 Pojem gramatiky........................... 4 1.2.2 Chomského hierarchie gramatik a jazyků.............. 6 2 Regulární jazyky a konečné automaty 9 2.1 Konečné automaty .............................. 9 2.1.1 Konstrukce konečných automatu................... 15 2.1.2 Lemma o vkládání pro regulárni jazyky............... 18 2.1.3 Myhillova-Nerodova věta ...................... 21 2.1.4 Minimální konečný automat..................... 25 2.1.5 Minimalizace konečných automatů ................. 26 2.2 Konservativní rozšíření modelu konečných automatů............ 31 2.2.1 Nedeterministické konečné automaty................ 31 2.2.2 Automaty s e-kroky ......................... 36 2.2.3 Uzáverové vlastnosti regulárních jazyků - část I........... 38 2.2.4 Regulární výrazy........................... 40 2.3 Vlastnosti regulárních jazyků......................... 47 2.3.1 Uzáverové vlastnosti regulárních jazyků - část II.......... 47 2.3.2 Ekvivalence konečných automatů a regulárních gramatik...... 48 2.3.3 Rozhodnutelné problémy pro třídu regulárních jazyků ....... 51 2.4 Aplikace regulárních jazyků a konečných automatů............. 54 3 Bezkontextové jazyky a zásobníkové automaty 57 3.1 Bezkontextové gramatiky........................... 57 3.1.1 Derivační stromy........................... 57 3.1.2 Transformace bezkontextových gramatik.............. 61 3.1.3 Chomského normální forma, lemma o vkládání........... 66 3.1.4 Greibachové normální forma..................... 71 3.2 Zásobníkové automaty............................ 76 3.2.1 Definice PDA............................. 77 ii OBSAH 3.2.2 Zásobníkové automaty a bezkontextové jazyky...........83 3.3 Vlastnosti bezkontextových jazyků......................92 3.3.1 Uzáverové vlastnosti.........................92 3.3.2 Rozhodnutelné vlastnosti a regularita................95 3.4 Deterministické zásobníkové automaty....................98 3.4.1 Definice DPDA a jejich základní vlastnosti.............98 3.4.2 Uzáverové vlastnosti deterministických jazyků...........100 4 Turingovy stroje a jazyky typu 0 105 4.1 Turingův stroj: model a jeho definice..................... 105 4.2 Metody konstrukce Turingových strojů.................... 110 4.3 Modifikace Turingových strojů........................ 112 4.4 Vlastnosti rekursivních a rekursivně spočetných jazyků........... 120 4.5 Turingovy stroje a jazyky typu 0....................... 123 4.6 Lineárně ohraničené automaty a jazyky typu 1................ 125 5 Nerozhodnutelnost 129 5.1 Churchova teze................................129 5.2 Kódování TM a univerzální TM.......................130 5.3 Diagonalizace.................................132 5.4 Redukce....................................136 5.5 Další rozhodnutelné a nerozhodnutelné problémy pro TM..........138 5.6 Postův korespondenční problém.......................143 5.7 Nerozhodnutelné problémy z teorie formálních jazyků ...........149 Kapitola 1 Jazyk a jeho konečná reprezentace V této kapitole budou zavedeny základní pojmy, které jsou předmětem zkoumání teorie formálních jazyků. 1.1 Abeceda a jazyk Abecedou se rozumí libovolná konečná množina E, jejíž prvky nazýváme znaky (případně také písmena nebo symboly) abecedy. Příkladem abecedy je třeba množina {a, b}, množina číslic {0,1,..., 9}, nebo prázdná množina 0. Slovo (též řetězec) v nad abecedou E je libovolná konečná posloupnost znaků této abecedy (např. aabb je slovo nad abecedou {a, b}). Počet členů této posloupnosti v značíme \v\ a nazýváme délkou slova, počet výskytů znaku a ve slově v značíme #a(v) (např. #b(abaaba) — 2). Prázdné posloupnosti znaků odpovídá tzv. prázdné slovo, označované e, které má nulovou délku. Množinu všech slov nad abecedou E značíme E*, množinu všech neprázdných slov E+. Platí např. Definitoricky dále klademe 0* — {e} a 0+ = 0. Na každá dvě slova u, v lze aplikovat binární operaci zřetězení, označovanou která je definována předpisem u.v — uv. Např. zřetězením slov abba a bba obdržíme slovo abbabba. Operace zřetězení je asociativní, tj. u.(v.w) — (u.v).w pro libovolná slova u, v, w. Dále se e chová jako jednotkový prvek, tj. u.e — e.u — u pro libovolné slovo u. V dalším textu budeme znak '.' v zápisu zřetězení obvykle vynechávat. Každé neprázdné slovo nad abecedou lze získat zřetězením symbolů této abecedy - odtud řetězec jako ekvivalent pojmu slovo. Pro snadnější specifikaci jazyků j e výhodné zavést unární operaci í-té mocniny slova, která je definovaná induktivně pro každé í e N0 takto: nechť E je libovolná abeceda, u e E* libovolné slovo. Pak {a}* {«}+ {0,1}* {e, a, aa, aaa, aaaa,... } {a}*\{e} {e, 0,1, 00, 01,10,11,000,001, 010, 011,... } 1 2 KAPITOLA 1. JAZYK A JEHO KONEČNÁ REPREZENTACE • ul+ — u.u1 . Např. (abc)3 — abcabcabc (kulaté závorky slouží jako metasymboly; nejsou součástí slova, pouze pomáhají vymezit argument operace). Slovo u je podslovem slova v, jestliže existují slova x, y taková, že v — xuy. Pokud navíc x — e, říkáme že slovo u je předponou (nebo také preňxem) slova v, což značíme u d v (■< je tedy částečným uspořádáním na E*); je-li v tomto případě ještě navíc u ^ v (tj. y ^ e), pak klademe u -< v. Je-li y — e (nyní již bez omezujících požadavků na x), nazveme u příponou (suňxem) slova v. Například aa je předponou aabab, zatímco 11 není ani podslovem slova 01010. Konečně pro každé k > 1 celé a slovo v značíme zápisem k : v předponu slova v délky (nejvýše) k a dejinujeme k : v — u, pokud existuje w takové, že v — uw 2i\u\ — k;y opačném případě klademe k : v — v. Zejména tedy pro neprázdné slovo v zápis 1 : u znamená první znak slova v. Jazyk nad abecedou E je libovolná množina slov nad E (jazyky nad E jsou tedy právě podmnožiny £*). Např. {10,1, 011101} je jazyk nad abecedou {0,1}, prázdná množina je jazyk nad libovolnou abecedou, atd. Jazyky mohou ovšem být i nekonečné, např. {w G {a, b}* | #a(w) — #b(w)} je jazyk nad abecedou {a, b} obsahující všechna slova, ve kterých se a i b vyskytují ve stejném počtu (tedy např. aababb, e jsou prvky tohoto jazyka, zatímco a, abbaa nikoliv). 1.1.1 Operace nad jazyky V této části zavedeme některé operace nad jazyky, které se v dalších kapitolách ukáží jako velmi důležité. Je třeba důsledně rozlišovat mezi operacemi nad slovy a operacemi nad jazyky, i když se některé z nich (jako třeba zřetězení nebo mocnina) značí v obou případech stejně. Na základě typu parametrů bude vždy jasné, zda se jedná o operaci nad slovy nebo jazyky. Nechť L je libovolný jazyk nad abecedou E a K libovolný jazyk nad abecedou A. Jelikož L i K jsou množiny, můžeme aplikovat standardní množinové operace sjednocení, průnik a rozdíl. Výsledkem je vždy jazyk nad abecedou E U A. Dále definujeme: • Zřetězením jazyků K a L je jazyk K.L — {uv | u e K, v e L} nad abecedou E U A. Podle definice zejména platí 0.M = M.0 = 0 a {e}.M = M.{e} = M pro libovolný jazyk M. Operace zřetězení jazyků je také zřejmě asociativní. • í-tá mocnina jazyka L je definována induktivně pro každé z e No: 1. L° = {e} 2. Ll+1 = L.L1 Zejména tedy 0° — {e}, 0J — 0 pro libovolné z e N a — {e} pro libovolné j e N0. • iterace jazyka L je jazyk Ľ* — IJi^o ^ ■ • Pozitivní iterace jazyka L je jazyk L+ — U Si L1 ■ Obecně není pravda, že L+ — L* \ {e}; tato rovnost platí právě tehdy, když L neobsahuje e. • Doplněk jazyka L je jazyk co-L — T,*\L. 1.2. KONEČNÁ REPREZENTACE JAZYKA 3 • Zrcadlovým obrazem (též reverzí) slova w — a,\ .. .an nazýváme slovo w — an ... a,\ (sR — £)■ Zrcadlový obraz jazyka L definujeme jako LR — {wR\w G L}. • Substituce f je zobrazení abecedy E do množiny podmnožin množiny A*, tj./ přiřazuje každému a G E jazyk /(a) C A*. Zobrazení / je rozšířeno na slova takto: 1. f(e)=e, 2. f(xo) = f(x)f(o) a na jazyky / rozšíříme takto: pro každé LCS' klademe f(L) — [JxeL f(x). Substituci / nazveme nevypouštějící, jestliže pro žádné a G E jazyk /(a) neobsahuje e. • Speciálním případem substituce je homomorňsmus h, který definujeme jako substituci, u níž h(a) obsahuje jediné slovo pro každé a G E. V tomto případě obvykle h(o) považujeme za slovo a nikoli jednoprvkovou množinu obsahující toto slovo. Je-li navíc h(a) ^ e pro všechna a G S, říkáme, že h je nevypouštějící (též e-free). • Je-li h homomorfismus, pak definujeme inverzníhomomorfní obraz jazyka L jako /i_1(L) — {x\h(x) G L} a pro slova definujeme inverzní homomorňsmus jako h^1(w) — {x\h{x) — w}. V souvislosti s operací iterace je dobré si povšimnout, že symbolem E* jsme v předchozí části označili množinu všech slov nad abecedou E. Jelikož samotné E je možné chápat jako jazyk nad E (obsahující právě všechna slova délky jedna), lze zápis E* interpretovat také jako iteraci jazyka E. Tato nejednoznačnost však není na závadu; snadno se vidí, že iterací E obdržíme právě jazyk obsahující všechna slova nad E. Ze stejného důvodu je nezávadná dvojznačnost zápisu E+. Nechf £ je třídajazyků a oje n-ární operace na jazycích. Řekneme, že £ je uzavřená na o, pokud pro libovolné jazyky L\,..., Ln patřící do L platí, že také jazyk o{L\,Ln) patří do C. Příklad 1.1. Nechi £ je množina tvořená jazyky Li — {cŕ},kdeí G No-Pak £ je uzavřena na zřetězení a mocninu, ale není uzavřena na doplněk, sjednocení, průnik, rozdíl a iteraci. Příklady substitucí a homomorňsmů budou uvedeny v relevantních partiích tohoto textu. 1.2 Konečná reprezentace jazyka Většina jazyků, kterými se budeme zabývat v tomto textu, bude obsahovat nekonečný počet slov. V této souvislosti velmi přirozeně vyvstávají některé důležité otázky. Jedna z nich se nabízí okamžitě - jak konečným způsobem reprezentovat (obecně nekonečný) jazyk, tj. specifikovat množinu všech jeho slov (tzv. problém konečné reprezentace). Pokud by jazyk byl konečný (tj. obsahoval pouze konečně mnoho slov), pak vystačíme s výčtem všech jeho slov. V případě jazyka nekonečného je problém jeho konečné reprezentace velice podstatný. Konečná reprezentace by měla být (formálně vzato) opět řetězcem symbolů (nad jistou abecedou), který budeme vhodně interpretovat tak, aby danému jazyku odpovídala nějaká (ne nutně jediná) konkrétní konečná reprezentace; obráceně pak, aby každé konkrétní konečné reprezentaci odpovídal jediný konkrétní jazyk. Takovými re- 4 KAPITOLA 1. JAZYK A JEHO KONEČNÁ REPREZENTACE prezentacemi pro nás v dalším textu budou zejména tzv. gramatiky, které zavedeme v této kapitole, a automaty, které budeme definovat později. V návaznosti na právě řečené vystává další otázka, a to zda pro každý jazyk existuje jeho konečná reprezentace. Zde lze po krátkém zamyšlení očekávat negativní odpověď: množina všech řetězců nad libovolnou abecedou je spočetně nekonečná, ale systém všech podmnožin spočetně nekonečné množiny je množina nespočetná. Jelikož bychom měli být schopni zapsat jakoukoli definici konečné reprezentace jako nějaký řetězec symbolů, lze (alespoň na intuitivní úrovni) očekávat, že dostaneme jen spočetně mnoho konečných reprezentací, a tedy že existuje mnohem víc jazyků, než konečných reprezentací (formálněji jsou tyto úvahy formulovány a dokázány až po definici pojmu gramatiky v tvrzení 1.4). Konečně si lze položit otázku, jaká je struktura, vlastnosti, ... těch tříd jazyků, pro něž existují konečné reprezentace (a to v souvislosti s "typem"této reprezentace), jak lze tyto třídy charakterizovat atp. Těmto problémům je věnována převážná část tohoto učebního textu. 1.2.1 Pojem gramatiky Definice 1.2. Gramatika Q je čtveřice (N, E, P, S), kde • N je neprázdná konečná množina neterminálních symbolů (stručněji: neterminálů). • E je konečná množina terminálních symbolů (terminálů) taková, že N n E — 0. Sjednocením WaE obdržíme množinu všech symbolů gramatiky, kterou obvykle označujeme symbolem V. • P C V*NV* x V* je konečná množina pravidel. Pravidlo (a, f3) obvykle zapisujeme ve tvaru a —>• f3 (a čteme jako "a přepis na /3"). • S E N je speciální počáteční neterminál (nazývaný také kořen gramatiky). Podmínka kladená na tvar pravidel a —>• f3 pouze požaduje, aby a (tzv. levá strana pravidla) obsahovala alespoň jeden neterminál; na f3 {pravou stranu pravidla) nejsou obecně kladeny žádné požadavky - specielně, může být i prázdným slovem e. Každá gramatika Q — (N, T,, P, S) určuje binární relaci =^>g přímého odvození na množině V* definovanou takto: 7 ^g S právě když existuje pravidlo a^/JePa slova r], g G V* taková, že 7 — ijag a S — rjftg. V dalších kapitolách budeme rovněž potřebovat tyto relace na V*: • relaci odvození v k krocích (fc-násobné složení relace ^>g) značíme 4>g a definujeme pro každé k G No induktivně takto: - 4>g je identická relace fe+l k g — ^g o ^g • relaci odvození v nejvýše k krocích, kterou značíme =^g a definujeme pro každé k E No předpisem g a definujeme předpisem oo i=0 Tedy =^>g je reflexivní a tranzitivní uzávěr =^>g. • Relace netriviálního odvození, kterou značíme =^>g. V dalším textu budeme index Q u výše uvedených relací obvykle vynechávat, bude-li z kontextu patrné, o kterou gramatiku se jedná. Prvky množiny V*, které lze odvodit z počátečního neterminálu, nazýváme větnými formami gramatiky Q. Přesněji, a G V* je větná forma právě když S =^>* a. Větná forma, která neobsahuje žádné neterminály, se nazývá věta. Množina všech vět tvoří jazyk generovaný gramatikou Q, označovaný jako L(Q): L(Q) = {w G E* I S =>* w} Gramatiky Qi a Q2 nazveme jazykově ekvivalentní (dále jen ekvivaletní), právě když generují tentýž jazyk, tj. L(Q\) — L(Q2). Příklad 1.3. Nectí Q = ({S, A, B}, {a, b}, P, S), kde P = { S^ABS, AB BA, BA AB, A^ a, B^b } Pak např. AaBAbBS je větná forma Q, zatímco ABb nikoliv. Jazyk L (Q) vypadá takto: L(G) = {u e {a, b}* | #a(u) = #6(U)}. V následujícím textu budeme dodržovat tyto konvence týkající se značení: • Počáteční neterminál (kořen) gramatiky obvykle značíme symbolem S. • Neterminální symboly jsou označovány velkými písmeny (obvykle ze začátku) latinské abecedy (A, B, C,...) • Terminálni symboly obvykle značíme malými písmeny ze začátku latinské abecedy (a, b,c,...). • Řetězce, které jsou složeny výhradně z terminálních symbolů (tzv. terminálni řetězce) obvykle značíme malými písmeny z konce latinské abecedy (..., x, y, z) • Řetězce, které mohou být složené z terminálních i neterminálních symbolů, jako např. větné formy, značíme malými řeckými písmeny (a, /3, 7,...). • Pravidla a —>• /3, a —>• 7 se stejnou levou stranou často zapisujeme stručněji jako a ->• P I 7. Uvedené konvence platí, pokud v textu není výslovně uvedeno jinak. 6 KAPITOLA 1. JAZYK A JEHO KONEČNÁ REPREZENTACE 1.2.2 Chomského hierarchie gramatik a jazyků Pojem gramatiky definoval lingvista Noam Chomsky a rozdělil gramatiky do čtyř skupin (typů) na základě různých omezení na tvar pravidel. Jeho práce (z konce 50. let) byla původně motivována úvahami o struktuře přirozeného jazyka, z dnešního pohledu má však především význam jako základní (a neobyčejně výhodné) rozdělení gramatik podle jejich popisné síly. Chomského hierarchie rozlišuje tyto čtyři (základní) typy gramatik: typ 0 Libovolná gramatika je gramatikou typu 0; na tvar pravidel se nekladou žádné omezující požadavky. Někdy též se takové gramatiky označují jako gramatiky bez omezení či frázové gramatiky (phrase grammars). typ 1 Gramatika je typu 1 (nebo též kontextová1, Context-Sensitive, CSG, méně často též monotónní), jestliže pro každé její pravidlo a —>• f3 platí |a| < |/3| s eventuelní výjimkou pravidla S —>• e, pokud se S nevyskytuje na pravé straně žádného pravidla, typ 2 Gramatika je typu 2 (též bezkontextová, Context-Free, CFG), jestliže každé její pravidlo je tvaru A —>• a, \a\ > 0. typ 3 Gramatika je typu 3 (též regulární či pravolineámí2), jestliže každé její pravidlo je tvaru A —>• aB nebo A —>• a s eventuelní výjimkou pravidla S —>• e, pokud se S nevyskytuje na pravé straně žádného pravidla. 3 V dalším textu bude ukázáno (viz Věta 3.14), že ke každé gramatice typu 2 s pravidly A —>• a, kde |a| > 0, lze sestrojit ekvivaletní gramatiku typu 2 splňující požadavek |a| > 1 s eventuelní výjimkou pravidla S —>• e, kde S se nevyskytuje na pravé straně žádného pravidla. Z toho okamžitě plyne i analogické tvrzení pro typ 3, pokud bychom povolili pravidla tvaru A —>• e. Řekneme, že jazyk L je regulární - typu 3 (resp. bezkontextový - typu 2, resp. kontextový - typu 1, typu 0) pokud existuje regulární (resp. bezkontextová, kontextová, typu 0) gramatika Q taková, že L(Q) — L. Symbolem d, pro i — 0,1, 2, 3 budeme značit třídu všech jazyků typu i. Hierarchie gramatik také určuje příslušnou hierarchii jazyků. Nyní je již zřejmý smysl "výjimky"týkající se pravidla S —>• e; kdybychom ji nepovolili, stal by se z libovolného (třeba i regulárního) jazyka po přidání prázdného slova jazyk typu 0, který nelze popsat ani kontextovou gramatikou. To by bylo značně nepřirozené -přidáním jediného slova se "charakter"obecně (a též i obvykle) nekonečného jazyka příliš nezmění. Z definice je patrné, že každý nový typ gramatiky v Chomského hierarchii je specifikován zavedením dalších omezujících podmínek na typ předchozí - například každá regulární gramatika je také gramatikou bezkontextovou, kontextovou i typu 0. Naopak to ovšem neplatí. V této souvislosti se rovněž nabízí přirozená otázka, zda existuje jazyk, 1. Název "kontextová"je odvozen z toho, že uvedenou podmínku je možné ekvivalentně zformulovat také tak, že každé pravidlo je tvaru yAS —> •yaS, kde \a\ > 1 (tj. neterminál A se přepíše na a tehdy, je-li obklopen kontextem 7 a S). "Ekvivalentní formulací"myslíme to, že třída všech jazyků, které lze generovat kontextovými gramatikami, se nezmění. 2. Analogicky lze definovat gramatiky levolineární s pravidly tvaru A —> Ba nebo A —> a. I tyto gramatiky se nazývají regulární. 3. U tohoto typu gramatik bývá někdy v uvedené definici povoleno a £ E U {e}; třída jazyků generovaných těmito gramatikami se nezmění oproti standardnímu případu. 1.2. KONEČNÁ REPREZENTACE JAZYKA 7 který není typu O, tj. jazyk, který nelze generovat žádnou gramatikou, či ekvivaletně jazyk, pro nějž neexistuje konečná reprezentace (pomocí gramatiky). Odpověď podává tato věta: Tvrzení 1.4. Nací abecedou {a} existuje jazyk, který není typu 0. Důkaz. Množina všech slov nad abecedou {a} je spočetně nekonečná. Množina všech jazyků nad touto abecedou má proto mohutnost 2N°, což je mohutnost kontinua (zejména je tedy nespočetná). Ukážeme, že jazyků typu 0 nad abecedou {a} je pouze spočetně mnoho. Buď M libovolná, ale pro další úvahy pevně zvolená spočetná množina. Ke každé gramatice Q s množinou neterminálů N existuje ekvivalentní gramatika Q' jejíž množina neterminálů je podmnožinou M (stačí přejmenovat prvky N vhodně zvolenými prvky množiny M). Lze proto bez újmy na obecnosti předpokládat, že každá gramatika s množinou terminálů {a} má neterminály z množiny M. Ukážeme, že všech takových gramatik je pouze spočetně mnoho. K tomu si stačí uvědomit, že zápis každé takové gramatiky je vlastně slovo nad spočetnou abecedou M U {a, (,),{,},,} Podtržítka mají jen pomocnou úlohu - naznačují, že se má podtržený znak chápat jako prvek množiny a nejako metasymbol. Všech slov délky i nad touto abecedou je K0 — Ho pro libovolné i e N. Všech slov nad touto abecedou je proto spočetně mnoho, neboť sjednocením spočetně mnoha spočetných množin je spočetná množina. Uvažovaných gramatik je proto rovněž spočetně mnoho. □ Z důkazu předchozí věty je patrné, že gramatikami lze ve skutečnosti popsat jen "velmi ma-lou"třídu jazyků. Z uvedeného není ovšem jasné, jakého "druhu"jsou jazyky, které nejsou typu 0 - jak uvidíme později, spadají sem i některé velmi přirozeně definované jazyky. Pozorného čtenáře jistě napadne i další otázka - existuje nějaký mocnější aparát pro popis jazyků než gramatiky? Uvědomme si, že základní požadavek na každý takový aparát je, aby jazyky byly popsány konečným způsobem. Jazyky tedy budou v každém případě specifikovány konečnou posloupností matematických symbolů. Jelikož matematika vystačí s konečně mnoha symboly, lze aplikovat argument předchozího důkazu; každá konečná reprezentace (popisný aparát) proto dokáže popsat nejvýše spočetnou množinu jazyků. Toto základní omezení nelze překonat. Není však možné předem vyloučit existenci aparátu, který interpretuje zápis jazyka takovým způsobem, že lze konečně zapsat i jazyky, které nejsou typu 0. Toto je základní omezení, kterým je ovlivněna celá informatika. I program (nebo libovolný jiný zápis algoritmu) je totiž konečná posloupnost znaků a je jich proto nejvýše spočetně mnoho. Jak uvidíme, lze problémy formálně specifikovat jako jazyky. Všech problémů je tedy nespočetně mnoho. Z toho okamžitě plyne, že jsou i takové problémy, na jejichž řešení neexistuje algoritmus. Mezi nimi se najdou i takové problémy, kde by existence algoritmu byla velmi užitečná (ale bohužel tomu tak není). Patří k nim například • problém, zda libovolný daný program ukončí svůj výpočet pro (jeden) libovolný daný vstup (vstupní data), resp. pro každý daný vstup (tj. zda program pro zadaný bude cyklit, resp. pro žádný vstup nikdy cyklit nebude), 8 KAPITOLA 1. JAZYK A JEHO KONEČNÁ REPREZENTACE • problém, zda dva libovolné dané programy jsou ekvivalentní v tom smyslu, že pro stejné vstupy dávají tytéž výsledky (například prototyp nějakého systému či jeho proveditelná specifikace jako jeden program a efektivní implementace téhož systému jako program druhý), • problém, zda dvě libovolné bezkontextové gramatiky (tj. užitečný nástroj pro specifikaci syntaxe programovacích jazyků) jsou ekvivaletní (jedna z gramatik definuje syntaxi jazyka vhodnou pro uživatele - programátora, je však nevhodná pro jeho implementaci; tvůrce překladače musí najít jinou vhodnou gramatiku, ale neexistuje algoritmus, který by ověřil, zda tyto gramatiky jsou ekvivalentní) • a řada dalších. Touto problematikou se budeme zabývat v kapitole 5, tj. až po studiu jazyků gene-rovatelných gramatikami v Chomského hierarchii. Detailněji se těmito otázkami zabývá teorie vyčíslitelnosti. Kapitola 2 Regulární jazyky a konečné automaty V této kapitole se budeme zabývat vlastnostmi regulárních jazyků. Ukážeme si alternativní způsoby jejich formální reprezentace, které jsou na první pohled velmi odlišné od regulárních gramatik - nejprve zavedeme pojem konečného automatu, který je matematickým modelem jednoduchého výpočetního zařízení s konečnou pamětí, schopného rozpoznávat určitý jazyk. Dokážeme, že třída jazyků, které lze rozpoznat konečnými automaty, je přesně třída regulárních jazyků; tento poznatek také přinese zajímavé výsledky o jejich struktuře a vlastnostech. Další způsob formální reprezentace regulárních jazyků představují tzv. regulární výrazy, kterými se budeme rovněž zabývat. Umožňují popsat libovolný regulární jazyk jako výsledek kompozice několika jednoduchých operací nad jazyky (jde tedy o nerekur-zivní popis, na rozdíl od gramatik a konečných automatů). V závěru kapitoly se také zmíníme o praktickém uplatnění prezentovaných teoretických poznatků; možnosti jsou velmi široké, a pečlivé studium tohoto textu proto rozhodně není ztrátou času. 2.1 Konečné automaty V každodenním životě se často setkáváme se zařízeními, která provádějí jistý druh činnosti na základě poměrně komplikované komunikace s okolím. Dobrým příkladem je třeba automat na kávu - představme si stroj, který je vybaven dvoumístným displejem (je tedy schopen přijmout hotovost až do výše 99 korun), dále otvorem pro mince, několika tlačítky pro výběr nápoje a samozřejmě výdejním systémem. Komunikace s automatem probíhá pomocí uvedených komponent. Jedinou výjimkou je v tomto směru displej; ten se komunikace přímo neúčastní, pouze signalizuje množství peněz, které byly do automatu vhozeny. To je také jediná veličina, která ovlivňuje další chování přístroje (pro jednoduchost neuvažujeme množství surovin, které v automatu zbývá). Určuje, které tlačítko pro volbu nápoje lze použít, zda je ještě možné vhodit další minci (pokud by výsledná částka přesáhla 99 korun, je mince odmítnuta), případně kolik peněz má automat po stisku speciálního 9 10 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY tlačítka vrátit. Hodnota na displeji tedy přesně a úplně vystihuje momentální stav automatu. Ten se mění na základě komunikace s okolím podle předem stanoveného protokolu - vhozením další mince nebo stiskem tlačítka se stav automatu příslušným způsobem upraví. Odebrání nápoje přístroj nijak nezaznamená, nemá tudíž na stav žádný vliv (čtenář se může snadno přesvědčit, že tento předpoklad je celkem realistický). Vnitřní protokol automatu musí přesně vystihnout, která posloupnost akcí je pro automat přijatelná a která nikoliv. Jestliže bílá káva stojí 8 korun a objednává se tlačítkem X, je např. posloupnost akcí 2 Kč, 5Kč, 1Kč, X pro automat přijatelná, zatímco sekvence 1 Kč, 1Kč, X nikoliv. Jelikož další činnost automatu je úplně určena jeho momentálním stavem, kterých je konečně mnoho (přesně 100), je možné zmíněný protokol specifikovat tak, že pro každý stav uvedeme seznam akcí, na které je automat schopen reagovat spolu se stavem, do kterého se po dané akci dostane. Existuje mnoho systémů, jejichž chování lze definovat pomocí konečně mnoha stavů, akcí a přechodů mezi stavy. Nemusí se vždy jednat zrovna o řídící jednotky - i některé společenské hry jako třeba šachy lze tímto způsobem chápat a přesně popsat; stavy jsou v tomto případě všechna možná rozložení figur na šachovnici (jelikož máme konečný počet figur i polí, je možných rozložení také konečně mnoho), akce jsou všechny možné tahy (např. „bílá věž z B 2 na B6") a v každém stavu lze provést pouze ty akce, které neodporují danému rozložení figur a pravidlům šachu. Pokud se zajímáme například o výherní strategii hráče s bílými figurami, můžeme stavy ve kterých dává bílý mat označit za koncové. Ověřit, zda bílý má v daném stavu šanci na výhru pak znamenená zjistit, zda z daného stavu existuje posloupnost akcí, která vede do některého z koncových stavů. Ne každá hra se ovšem dá popsat jako systém s konečným počtem stavů (dále jen stručněji: konečně stavový systém). Příkladem jsou tzv. „piškvorky" - hrací poleje potenciálně nekonečné a hra má tudíž nekonečně mnoho možných konfigurací. I počítače jsou konečně stavové systémy, nebof mají sice velkou, ale přece jen konečnou pamět, která tudíž může nabýt pouze konečně mnoha stavů (počítáme sem samozřejmě i disky, vyrovnávací paměti, velkokapacitní záznamová média sdílená po síti a podobně). Akce a přechody mezi stavy paměti nelze v tomto případě popsat nějak jednoduše - závisí na konstrukci počítače a samozřejmě i na samotném obsazení paměti (jaký program se provádí, jaká má data atd.). Zároveň je však třeba poznamenat, že omezení na velikost paměti je poněkud umělé. V praxi nepředstavuje zásadní problém a v abstraktních úvahách je proto účelné tento limit zcela pominout. Získané teoretické výsledky pak mnohem lépe odvídají realitě, nebof přesněji vystihují „výpočetní sílu" reálných počítačů, jak ostatně uvidíme v kapitole 5. Abstraktním modelem konečně stavových systémů jsou tzv. konečné automaty. Konečný automat je vybaven konečně stavovou řídící jednotkou (tj. konečnou pamětí), čtecí hlavou a páskou, na které je zapsané vstupní slovo - viz obrázek 2.1. Na začátku výpočtu je hlava umístěna na nejlevějším políčku pásky. Automat na základě přečteného symbolu a momentálního stavu svůj stav změní a posune čtecí hlavu o jedno políčko vpravo. Výpočet končí, pokud se automat ,zablokuje", nebo přečte celé vstupní slovo. Slovo zapsané na pásce je automatem akceptováno, pokud je celé přečteno a výsledný stav je některý z 2.1. KONEČNÉ AUTOMATY 11 a a b a b b b a čtecí hlava konečně stavová řídící jednotka vstupní páska Obrázek 2.1: Konečný automat předem určených koncových stavů. Množina všech slov, která daný konečný automat Á4 akceptuje, tvoří jazyk akceptovaný automatem M.. Formální definice vypadá takto: Definice 2.1. Konečný automat (Finite Automaton, FA) M. je pětice (Q, E, S, g0, F), kde • Q je neprázdná konečná množina stavů. • E je konečná množina vstupních symbolů, nazývaná také vstupní abeceda. • S : QxE^Qje parciální přechodová funkce. • qo G Q je počáteční stav. • F C Q je množina koncových stavů. Abychom mohli definovat jazyk přijímaný daným FA M., zavedeme rozšířenou přechodovou funkci S : Q x E* —>• Q, definovanou induktivně vzhledem k délce slova ze E*: • S(q,e) — q pro každý stav q E Q. \ô(ô(q,w),a) je-li ô(q, w) i ô(ô(q, w), a) definováno, • ô(q, wa) — < I _L jinak. Symbol _L značí, že funkce není definovaná. Zápis S (q, w) — p znamená, že automat M. přejde ze stavu q ,pod slovem" w (tj. postupným přečtením slova w znak po znaku zleva doprava) do stavu p. Jazyk přijímaný (akceptovaný, rozpoznávaný) konečným automatem M., označovaný L(A4), je tvořen právě všemi takovými slovy, pod kterými automat přejde z počátečního stavu do některého z koncových stavů: L{M) = {w e E* I ô(q0,w) e F} Jazyk, který je rozpoznatelný (nějakým) konečným automatem, nazveme regulární (viz však poznámka 2.2). Ekvivalenci konečných automatů definujeme podobně jako v případě gramatik - konečné automaty M. a M1 jsou ekvivalentní, pokud L(A4) — L(A4'). Poznámka 2.2. V části 1.2.2 jsme přívlastkem „regulární' označili jazyk generovatelný regulární gramatikou; jak uvidíme, jsou třídy jazyků, které lze generovat regulárními gramatikami, resp. rozpoznat konečnými automaty, ve skutečnosti stejné. Než toto dokážeme (viz Věta 2.73), bude slovo „regulární' jen zkratkou pro „rozpoznatelný konečným automatem". 12 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Příklad 2.3. Nectí M = ({g0, 9i, 92}, {a, 6}, 5, g0, {92}) je FA, kde ô(q0,a) = q1 S(q0,b) = q2 S(q1,a)^q2 %i,&) = 9o č(92,«) = 9o S(q2,b)^q1 Pak L (M) = {w G {a, 6}* | (#a(w) - #&M) mod 3 = 2}. Úplná definice konkrétního automatu musí zahrnovat popis všech složek pětice z definice 2.1. Není však nutné tyto složky vždy reprezentovat standardní množinovou symbolikou (tj. výčtem prvků). V praxi se často používají i jiné (přehlednější) způsoby reprezentace konečných automatů. Předvedeme si tři z nich na automatu M. z předchozího příkladu. Automat M. je možné reprezentovat pomocí tabulky přechodové funkce takto: a b 90 qi 92 qi 92 9o 92 9o 9i Stavy automatu jsou vypsány v záhlaví řádků, vstupní symboly v záhlaví sloupců, přechodová funkce je určena obsahem vnitřních polí tabulky (pokud je pro některé dvojice nedefinována, uvádí se v příslušném místě tabulky znak „-"), počáteční stav je označen znakem —>• a koncové stavy znakem «—. Ještě přehlednější, a proto nejčastěji používaná, je reprezentace pomocí přechodového grafu (též přechodového systému s návěštími ze £), který pro automat M. vypadá takto: 6 Stavy odpovídají uzlům, přechodová funkce je znázorněna ohodnocenými hranami, vstupní abeceda je tvořena symboly, kterými jsou hrany ohodnoceny, počáteční stav je označen šipkou a koncové stavy jsou dvojitě zakroužkovány. Nakonec ještě zmiňme reprezentaci výpočetním (či též stavovým) stromem. Kořen stromu odpovídá počátečnímu stavu (a není tedy nutné jej nějak označovat jako počáteční). Z každého uzlu, který není listem vychází - dle definice přechodové funkce - právě tolik hran ohodnocených symboly vstupní abecedy, kolik má odpovídající stav následníků (je-li tedy S totální, pak právě tolik hran, kolik symbolů má vstupní abeceda). Jestliže nějaký stav odpovídá více uzlům, pak hrany vycházejí jen z jednoho z těchto uzlů. Výpočetním stromem lze reprezentovat jen ty automaty, kde každý stav je tzv. dosažitelný z počátečního stavu (viz definice 2.18) - z hlediska schopnosti rozpoznávat daný jazyk, není přítomnost či nepřítomnost nedosažitelných stavů podstatná (viz lemma 2.19). Výpočetní strom pro daný automat není (obecně) určen jednoznačně - může se lišit dle toho, zda jej konstruujeme způsobem, který odpovídá například procházení do hloubky, 2.1. KONEČNÉ AUTOMATY 13 nebo do šířky, či dalším možnostem. Pokud však ve výpočetním stromu ztotožníme uzly označené stejným stavem, obržíme přechodový graf (v němž však musíme vyznačit stav počáteční). Výpočetní strom pro automat M. může tedy mít například tyto tvary: Příklad 2.4. Pro ilustraci nyní uvedeme důkaz faktu, že konečný automat M. z příkladu 2.3 skutečně rozpoznává jazyk L(A4) — {w G {a, b}* | (#a(w) — #&(w)) mod 3 — 2}. Důkaz. Dokážeme, že pro každé slovo v e {a,b}* platí, že S(qo,v) — qi, kde í — (^a(v) — ^b(v)) m°d 3. Indukcí k délce slova v: |v| — 0: Pak v — e a S(qo,e) — qo podle definice rozšířené přechodové funkce. Zřejmě (#a(e)-#6(e))mod3 = 0. Indukční krok: Nechť v — ux, kde m e {a, b}* aie {a, b}. Podle indukčního předpokladu platí S(qo,u) — qi, kde í — (#a(u) — #t,(u)) mod 3. Nechf např. x — a (případ kdy x — b se vyšetří stejným způsobem). Přechodová funkce S byla definována tak, že pro každé k e {0,1, 2} platí S(qk, a) — qi, kde l — (k + 1) mod 3. Proto také S(qo, ua) — S(Š(q0,u), a) = 5(qll a) = qJ7 kde j = (i + 1) mod 3 = (#a(u) - + 1) mod 3 = (#a(ua) — #b(?ia)) mod 3, což bylo dokázat. Jelikož koncovým stavem je pouze q^, platí L(A4) — {w G {a, b}* \ S(qo,w) — q^} — {w G {a, 6}* | (#a(W) - #b(W)) mod 3 = 2}. □ Podobným způsobem lze postupovat i v jiných případech. Jediný problém (a tedy jádro důkazu) je postihnout vztah mezi slovy ze E* a stavy daného automatu. Přechodová funkce S byla v definici 2.1 zavedena jako parciální, což umožňuje snadnější návrh a stručnější prezentaci konečných automatů - můžeme se soustředit jen na ,důležité" přechody z daného stavu. Příklad 2.5. Navrhneme konečný automat, rozpoznávající řetězcové konstanty podle (zjednodušené) konvence jazyka C - řetězec začíná uvozovkami, následuje posloupnost libovolných znaků s ASCII kódem 32-127 a na konci jsou zase uvozovky, před kterými ovšem nesmí být znak obráceného lomítka. Množinu znaků s ASCII kódem 32-127 označíme symbolem A (hrana s tímto návěštím A tedy reprezentuje, formálně vzato, množinu hran 14 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY - pro každý z uvažovaných symbolů právě jedna hrana): Parcialita přechodové funkce nemá podstatný vliv na výpočetní sílu konečných automatů, jak dokládá následující pomocné tvrzení: Lemma 2.6. Ke každému FA M. existuje ekvivalentní FA M.' s totální přechodovou funkcí. Důkaz. Nechť M. — (Q, X, S, g0, F). Automat M.' sestrojíme tak, že ke stavům automatu M. přidáme nový nekoncový stav p a chybějící přechody do něj nasměrujeme". Tedy M! — (Q U {p}, E, S', qo, F), kde p £ Q a S' je definována pro všechna q e Q U {p} takto: \ ô(q, a) je-li ô(q, a) definováno, ô {q, a) = < I p jinak. Zejména S' (p, a) — p pro každé a G S. Indukcí k délce slova se snadno ověří, že pro každé q G Q a w G S* platí \5(q,w) je-li (5(íj, w) definováno, 5 (g, w) = < I p jinak. Jelikož p g F, platí L(AÍ) = L(A-ť). □ Jazyk akceptovaný konečným automatem je možné definovat také pomocí pojmů konňgu-race a krok výpočtu. Jak uvidíme, tento způsob j e obecnej ší - lze ho aplikovat i na složitěj ší modely, než jakými jsou konečné automaty. Proto tuto alternativu rovněž uvedeme. Konňgurace konečného automatu M. — (Q, S, S, qo, F) je každá dvojice (q, w) G Q x E*. Na množině všech konfigurací automatu M. zavedeme binární relaci krok výpočtu, označovanou h, pomocí předpisu (q,aw) h (p,w) <í==> S(q,a)—p Reflexivní a tranzitivní uzávěr relace kroku výpočtu značíme h*. Jazyk akceptovaný automatem M. pak můžeme definovat také takto: L{M) = {w G E* I (q0,w) h* (q, e), kde g e F} Konfigurace konečného automatu M. přesně popisuje momentálni stav výpočtu, který M. na daném slově provádí. Obsahuje úplnou informaci, která je potřebná pro jeho další pokračování - první komponenta konfigurace (tj .stav) reprezentuje informaci o dosud přečtené 2.1. KONEČNE AUTOMATY 15 části vstupu, druhá komponenta udává dosud nezpracovanou část vstupu. „Programem" pro tento výpočet je samozřejmě přechodová funkce. Důkaz faktu, že obě uvedené definice jazyka L(A4) jsou ekvivalentní, lze přenechat čtenáři jako jednoduché cvičení - stačí ukázat platnost ekvivalence což se dá jednoduše provést indukcí vzhledem k délce slova w. 2.1.1 Konstrukce konečných automatů Konstrukce konečného automatu, který rozpoznává daný jazyk, je obecně netriviální úkol. V této části si ukážeme některé metody, s jejichž pomocí je možné vyřešit řadu konkrétních úloh. Základním trikem, který dokáže zjednodušit návrh konečného automatu, je zavedení jisté pomocné struktury na stavech. Uvědomme si, že stavy konečného automatu představují konečnou paměf, do níž je možné ukládat informace o dosud přečtené části vstupního slova. Informaci, která je spojená s daným stavem, je účelné zachytit v jeho označení. Příklad 2.7. Máme za úkol sestrojit automat rozpoznávající jazyk Označení stavů automatu zvolíme tak, aby bylo patrné, jaká část požadovaného podslova abaajiž byla automatem přečtena: Vhodná volba množniny stavů (struktury na stavech") dokáže konstrukci automatu zjednodušit a výsledný automat zpřehlednit. V některých případech je její zavedení dokonce nevyhnutelné, má-li být definice technicky zvládnutelná. Příklad 2.8. Sestrojme automat rozpoznávající jazyk L = {w e {a, b}* | #a(w) mod 1997 = 483 A #b(w) mod 1998 = 645} Ve stavech automatu je třeba zachytit informaci o počtu dosud přečtených symbolů „a" modulo 1997 a o počtu dosud přečtených symbolů „b" modulo 1998. Celkem tedy bude zapotřebí 1997.1998 — 3990006 stavů. Reprezentovat takovýto automat pomocí přechodového grafu není nijak přehledné (i když stále možné). Místo toho zavedeme jednoduchou strukturu na stavech, která umožní zapsat celou deňnici na několik (krátkých) řádků. Nechi M = (Q, {a, b}, S, go,o, {9483,645}), kde L — {w G {a, b}* | w obsahuje podslovo abaa} b Q = tii,j I 0 < i < 1996 A0 h{qi,w) = p Aô2(q2,w) = q (2.1) Důkaz se provede indukcí vzhledem k \w\. • |w| = 0: Platí ô((qi,q2),e) = (gi,g2), Si(qi,e) = gi, <52(g2,e) = q2. Pro w = e tedy obě strany ekvivalence, kterou je třeba dokázat, platí (přímo z definice rozšířené přechodové funkce). Samotná ekvivalence je proto rovněž platná. • Indukční krok: Nechf w — va, kde v g E*, a g E. Platí 5((qi,q2),va) — (p, q) ^=4> existují stavy r, s takové, že S((qi, q2), v) — (r, s)AÔ((r, s), a) — (p, q) ^=4> ôi(qi,v) — rAS2(q2, v) — s (indukčnípředpoklad) A ôi(r, a) — pAS2(s, a) — q (dle definice S) ^=4> Si(qi,va) — p A S2(q2,va) — q. Nyní již lze snadno dokázat vlastní tvrzení věty: w g L(M.1\Sjvl2) <í=^> S((qi,q2),w) — (p, q), kde p g Fl nebo q g F2 ^=> 5i(qi,w) — p A 52(q2,w) — q, kde p g Fi nebo q w g L(Aíi) u L(7W2). □ Poznámka 2.11. Podobným způsobem lze pro automaty M.\ — (Qi, E, Si, qi, Fi) a ■A^2 = (Q2, E, 52, í2, F2) s totálními přechodovými funkcemi sestrojit automat A/íiíňlA/í2, 2.1. KONEČNÉ AUTOMATY 17 resp. M\ Q M2, rozpoznávající jazyk L{M\) n L(M2), resP- L(Mi) — L(M2). Jediný rozdíl je v dennici množiny koncových stavů; taje v prípade M 1 íňl M2 rovna F\ x F2 a v prípade M\ Q M2je deňnována jako {(p, q) \ p G ŕ\ A q g F2} — Fx x Q2 — Qi x F2. Důkazy že L(Mi(n\M2) = L{M\) n L(M2) aL(MiQM2) = L{M\) - L(M2) jsou snadné; použije se vztah (2.1). Pro úplnost ještě poznamenejme, že pro automat M — (Q, S, S, qo, F) s totálni přechodovou funkcí lze také lehce sestrojit automat M rozpoznávající jazyk co-L(M) - stačí položit M — (Q,Y,,ô,qo,Q — F). Zřejmě w G L (M) <í=^ w $ L (M), tedy L(M) — S* — L(M) (předpoklad, že S je totální, je opět zcela nezbytný). Příklad 2.12. Nechi L C {0,1}* je jazyk, obsahující všechna slova w, která vyhovují těmto podmínkám: 1. w je binární zápis čísla dělitelného třemi (e chápeme jako jiný zápis čísla 0) a 2. w obsahuje lichý počet výskytů znaku „O" Prvky L jsou například slova 000, 011,1011010. Konečný automat rozpoznávající jazyk L sestrojíme jako paralelní kompozici dvou jednodušších automatů, které rozpoznávají slova vyhovující podmínce 1 resp. 2. Automat M\ rozpoznávající jazyk L\ — {w G {0,1}* I w je binární zápis čísla dělitelného třemi} vypadá takto: Indexy stavů odpovídají zbytkovým třídám modulo 3 (je třeba si uvědomit, že připsáním znaku „O" nakonec binárního čísla se zdvojnásobí jeho hodnota; připsáním „1" dosáhneme zdvojnásobení a přičtení jedničky. V obou případech se snadno zjistí, jak se změní zbytek při dělení ďemi.) Automat M 2 rozpoznávající jazyk L2 — {w G {0,1}* | #o(w)mod2 — 1} je jednoduchý: Výsledný automat M\ íňl M2, kdy namísto dvojice (qi, qj) píšeme qij, vypadá takto: 18 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Výčet metod a triků, které lze při návrhu konečných automatů použít, není zdaleka úplný. V části 2.2 se seznámíme s některými rozšířeními základního modelu konečných automatů, které sice nemají vliv na výpočetní sílu (ukážeme, že tyto „obecnější" stroje lze ve skutečnosti vždy simulovat konečným automatem), avšak jejich konstrukce je často velmi přímočará. Otevírá se tak další strategie pro návrh konečných automatů - nejprve navrhneme „rozšířený" stroj a ten pak transformujeme na ekvivalentní konečný automat. 2.1.2 Lemma o vkládání pro regulární jazyky O tom, že nějaký jazyk je regulární, se můžeme (více či méně) snadno přesvědčit konstrukcí příslušného automatu. V případě, že se nám takový automat zkonstruovat nepodaří, může to mimo jiné znamenat, že neexistuje. Jak to však dokážeme? Základními nástroji, které pro tento účel mohou posloužit, jsou tzv. lemma o vkládání (též známé jako „pumping lemma") pro regulární jazyky, které je nutnou (nikoli však postačující) podmínkou pro regularitu jazyka, a tzv. Myhillova-Nerodova věta (viz odstavec 2.1.3), která představuje podmínku nutnou a postačující. Lemma 2.13 (o vkládání). Nechi L je regulární jazyk. Pak existuje n G N takové, že libovolné slovo w G L, jehož délka je alespoň n, lze psát ve tvaru w — xyz, kde \xy\ < n, y ^ e a xylz G Lprokaždéí G No- (Číslo n se neformálne nazývá pumpovací konstanta.) Důkaz. Jelikož L je regulární, existuje deterministický FA M. — S, qo, F) roz- poznávající jazyk L. Položme n — card(Q). Ukažme, že pro libovolné slovo w G L délky alespoň n (tj. w — a,\ ... am, m > n) platí, že automat M. projde při akceptování slova w (alespoň) dvakrát stejným stavem: M. provede výpočet (q0, ai . .. am) I" (qi, «2 ■ ■ ■ am) H ... h (qm, e), kde qm G F při němž projde m + 1, tj. více než n konfiguracemi. Podle Dirichletova principu1 se tedy alespoň dvě z konfigurací musí shodovat ve svých prvních komponentách - stavech (těch je jen rí). Jinak řečeno, existují indexy i, j takové, že 0 < i < j < n a qi — qj — p. Schématicky: Slovo w se tedy rozpadne na tři části - w — xyz, kde x — a\ .. .a,i,y — a^+i ... a,j, z — Oj+i ... am a kde y ^ e. Jinak řečeno ô(qo, x) — p, 5{p,y) — p a 5{p, z) — qm. Je zřejmé, že ke zopakování nějakého stavu dojde nejpozději po zpracování prvních n znaků2 slova w, a tedy dostáváme \xy\ < n. Dále S(p, y1) — p pro libovolné i G No, proto také S(qo,xylz) — qm, tj. xylz G L (M.) pro každé z G Nq. □ 1. Nechf P, Q jsou konečné množiny takové, že card(P) > card(Q). Pak libovolná funkce / : P —> Q není prostá. 2. bez uvážení tohoto faktu bychom obrželi o něco slabší variantu lemmatu: Nechť L je regulární jazyk. Pak existuje n £ N takové, že libovolné slovo w £ L, jehož délka je alespoň n, lze psát ve tvaru w = xyz, kde 1 < |j/1 < ri a xylz £ L pro každé i £ Nq. 2.1. KONEČNÉ AUTOMATY 19 Je užitečné si uvědomit, že PL (díky alternování universálních a existenčních kvantifikátorů) lze zapsat takto : (Nechť) L je regulární =4> 3n e N. Vw G L. \w\ > n. 3 x, y, z. w — xyz A V + £ A \xy\ < n. Mi > 0. xyiz e L Zdůrazněme, že lemma o vkládání (na rozdíl od Myhillovy-Nerodovy věty, kterou zformulujeme a dokážeme v následujícím odstavci - viz 2.1.3) poskytuje podmínku, která je pouze nutná, ale nikoliv postačující pro to, aby daný jazyk byl regulární. Lze tedy pomocí něho dokázat, že nějaký jazyk regulární není (tím, že prokážeme jeho nesplnění), ale v žádném případě ne to, že regulární je. Pumping lemma (PL) je tvrzení tvaru implikace L je regulární Q. Při dokazování, že L není regulární použijeme kontrapositivní formu PL, tj. —>Q =4> L není regulární, či ekvivaletně důkaz sporem: L je regulární =4> Q A -iQ. V každém případě jde však o dokázání -iQ. Obecně tedy můžeme postupovat takto: (pro dosažení sporu s PL předpokládejme, že L je regulární; pak musí splňovat podmínky pumping lemmatu a ukážeme, že tomu tak není) tedy ukážeme platnost -iQ, tj. že • pro libovolné n e N (pumpovací konstantu) • existuje takové slovo w G L, které má délku alepoň n, a pro které platí, že • při libovolném rozdělení slova w na takové tři části x,y, z, že \xy\ < n a y ^ e, • existuje (alespoň jedno) z e No takové, že xylz ^ L. Pak z PL plyne, že L není regulární. Znovu si tedy uvědomme, že při použití PL k důkazu, že jazyk není regulární, volíme slovo w a počet pumpování i (viz výše podtržené existenční kvantifikátory). Nevolíme ani pumpovací konstantu n, ani rozdělení na podslova x, y, z. Příklad 2.14. Ukážeme, že L — {ap | p je prvočíslo} nad abecedou {a} není regulární. Důkaz. Pro dosažení sporu předpokládejme, že L je regulární. Buď n E N libovolné (pumpovací konstanta z PL). Jelikož prvočísel je nekonečně mnoho, existuje prvočíslo p, které je větší nebo rovno n; zvolme w — aP patřící do L. Při jakémkoli rozdělení w na podslova x, y, z musí být y — ak, k > 1. Napumpujeme-li y p + 1-krát, dostaneme: xyp+1z — xyypz — xyzyp — apakp — ap(k+1\ což je jistě slovo, které nepatří do jazyka L, protože p(k + 1) není prvočíslo - dostáváme tedy spor s naším předpokladem, že L je regulární. Podle PL tedy L regulární není. □ Příklad 2.15. Jazyk L — {cŕb1 \ í e N} nad abecedou {a, b} není regulární. Důkaz. Nyní již poněkud stručněji: buď n e N libovolné. Slovo anbn jistě patří do L; pokud ho jakkoli rozdělíme na tři části x, y, z tak, že \xy\ < n a \y\ > 1, pak x ay jsou složeny pouze ze symbolu a, tj. x — ak, y — a1, z — an~k~lbn, kde 1 < l, k + l < n. Pak pro í — 2 dostáváme aka2'1 an~k~lbn ^ L, neboť k + 2l + n — k — l — n+l ^ n. Obdobně bychom ke sporu dospěli volbou i — 0 (volba i — 1 by byla jen naše „nedostatečnost"). □ 20 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Formule s alternujícími kvantifikátory a hra 2 hráčů. Pro porozumění formuli s větším počtem kvantifikátorů je možné na ni nahlížet jako na hru dvou hráčů , kde universálnímu kvantifikátoru V odpovídá hráč AI a existeční kvantifikátor 3 je reprezentován hráčem Ex. AI a Ex hrají proti sobě (jsou na tahu) v tom pořadí, které odpovídá výskytu kvantifikátorů ve formuli (čteno zleva doprava). Je-li na tahu AI, snaží se formuli tvaru \/u.p(u) vyvrátit: je-li \/u.p(u) pravda, pak AI nemůže vyhrát; je-li \/u.p(u) nepravda, pak existuje aspoň jedna hodnota u, která vyvrací p(u) a AI může vyhrát tak, že pro u zvolí právě tuto hodnotu. Je-li na tahu Ex, snaží se formuli tvaru 3u.p(u) učinit pravdivou: je-li 3u.p(u) pravda, Ex může vyhrát volbou hodnoty pro u takovou, že p(u) je pravda. Je-li 3u.p(u) nepravda, nemůže se mu toto podařit a hru prohrává. Vrafme se nyní zpět k pumping lemmatu; to tvrdí, že pokud L je regulární jazyk, pak 1. 3n G N 2. Vw G L takové, že \w\ > n 3. 3x,y, z taková, že w — xyz A j/e A \xy\ < n 4. Ví > 0 : xylz G L Toto tvrzení obsahuje 4 kvantifikátory a podmínky za nimi uvedené budou ve hře 2 hráčů přestavovat omezení na možnosti volby, které každý z hráčů bude během hry činit. Zvolme nějaký regulární jazyk L; hra pro L probíhá takto: 1. Ex zvolí přirozené číslo n, 2. AI zvolí w, a to tak, že w G L a \w\ > n, 3. Ex zvolí x, y, z taková, že w — xyz a y ^ e a \xy\ < n 4. AI zvolí í > 0, přičemž se snaží volbu provést tak, aby vyhrál, tj. snaží se o xylz ^ L. Demonstrovat vyhrávající strategii pro hráče Ex značí (de facto) znovu provést důkaz pumping lemmatu, tentokrát ovšem v pojmech hry: nechf tedy L je jazyk akceptovaný nějakým konečným automatem, řekněme V. 1. Ex zvolí n — card(Q), kde Q je množina stavů automatu V. 2. AI zvolí slovo w takové, že w G La \w\ > n. (Pokud takové slovo neexistuje, pak AI prohrává: v tomto případě druhý kvantifikátor říká, že všechny prvky prázdné množiny mají jistou vlastnost, což je (bez ohledu na to o jakou vlastnost se jedná) triviálně pravda - AI nemůže formuli vyvrátit). 3. Nyní Ex najde v V akceptující výpočet pro w (ten jistě existuje, protože w G Ľ) a zaznamená si posloupnost p stavů řídicí jednotky, kterými se při akceptování w projde. Jelikož \w\ > n, je těchto ,průběžných" stavů alespoň n + 1, ale Q má jen n stavů, a tedy v p (akceptující posloupnosti stavů) se musí alespoň jeden ze stavů vyskytovat alespoň dvakrát (podle Dirichletova principu). Nechf q je první výskyt nějakého opakujícího se stavu v p. Ex rozdělí výpočet na 3 části (bude korespondovat postupnému přečtení řetězců x,y a z), a to podle prvních dvou výskytů konfigurací majících v 1. komponentě stav q. Výpočet pro vstupní slovo w — xyz lze zapsat jako (qo, xyz) h* (q, y z) h+ (q, z) h* (qf,e), 2.1. KONEČNÉ AUTOMATY 21 kde x je přečteno dříve, než se poprvé vejde do stavu q, po následném přečtení y se (poprvé) vrátíme do q (tj. druhý výskyt q) a z je zbytkem vstupního slova. Jistě tedy platí, že x,y, z jsou taková, že w — xyz a y ^ e a \xy\ < n. Ex tedy splnil podmínky volby. 4. Af AI nyní zvolí jakékoli i > 0, bude výpočet v V pro slovo xylz vždy tvaru což je ale akceptující výpočet v V, tj. xylz e L, a tedy AI prohrává, Ex vítězí. Zopakuj me tedy, že použití pumping lemmatu k důkazu (sporem) neregularity něj akého jazyka L tedy v termínech hry probíhá takto: 1. Ex zvolí přirozené číslo n, 2. AI zvolí w, a to tak, že w G L a \w\ > n, 3. Ex zvolí x, y, z taková, že w — xyz a y ^ e a \xy\ < n 4. AI zvolí i > 0, přičemž se snaží volbu provést tak, aby vyhrál, tj. snaží se o xylz ^ L. Příklad 2.16. Nechi L obsahuje právě všechna ta slova nad abecedou {a}, jejichž délky jsou druhými mocninami přirozených čísel, tj. L — {an \ n e N}. Ukažme, že L není regulární, a to tak, že presentujeme vyhrávající strategii Al-a: 1. Ex zvolí přirozené číslo n. 2. AI zvolí z e La \z\ > n2 (to vždy lze, protože L je nekonečný). 3. Ex zvolí u, v a w taková, že z — uvw a v ^ e a \uv\ < n. 4. AI zvolíí — 2, Protože z e L, platí\z\ — m2 pro nějaké přirozené m. AI volil z tak, že platím > n. Máme tedy 0 < \v| < n a označme k — \v\. Pak Délka slova uv2w tedy padne mezi druhé mocniny dvou po sobějdoucích přirozených čísel (m a m + 1), takže uv2w ^ L, a tedy AI vyhrává. Jelikož AI má vyhrávající strategii, bez ohledu na to, jak Ex hraje, L nemůže být regulární Fakt, že lemma o vkládání neudává postačující podmínku pro regularitu jazyka, lze názorně demonstrovat tímto příkladem: Příklad 2.17. Jazyk L — {a, b}* U {cjalbl \ i,j e N} nad abecedou {a,b,c} splňuje podmínky lemmatu o vkládání, přitom však není regulární (jak lze snadno dokázat užitím Myhillovy-Nerodovy věty). 2.1.3 Myhillova-Nerodova věta V tomto odstavci zformulujeme a dokážeme velice důležité tvrzení, tzv. Myhillovu-Nerodovu větu, která představuje algebraickou charakterizaci třídy regulárních jazyků a má četné důležité důsledky. Abychom ji mohli zformulovat, potřebujeme několik pomocných pojmů. Definice 2.18. Nechť M. — (Q, E, S, qo, F) je konečný automat. Stav q E Q nazveme dosažitelný, pokud existuje w G E* takové, že S(qo, w) — q. Stav je nedosažitelný, pokud není dosažitelný. m2 < m2 + k — \uv2w\ < m2 + n < m2 + m < (m + l)2 . 22 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Je zřejmé, že vypustíme-li z daného automatu M. nedosažitelné stavy, jazyk L(A4) se nezmění. Tuto transformaci lze navíc provést algoritmicky, jak dokládá toto lemma: Lemma 2.19. Existuje algoritmus, který pro každý konečný automat M. — (Q,Y.,S,qo, F) sestrojí ekvivalentní konečný automat M.1 bez nedosažitelných stavů. Důkaz. Nejprve dokážeme, že množinu Q' — {q e Q \ q je dosažitelný} lze algoritmicky zkonstruovat. Uvědomme si, že do každého dosažitelného stavu vede v přechodovém grafu automatu M. konečná cesta z počátečního stavu q0. Označíme-li pro každé z e No symbolem Si množinu stavů, do kterých se lze z qo dostat cestou o délce nejvýše í (tj. použitím nejvýše í přechodů), platí: Q' = (J Si (2.2) Do stavu qo se vždy lze dostat cestou délky 0 - pro každý konečný automat tedy platí So — { 1 již závisí na tom, jak je M. definován. Můžeme je však snadno vypočítat podle následujícího induktivního předpisu: • S0 = {q0} • Sj+i — St U {q I 3p G Si, a G E : ô(p, a) — q} Indukcí vzhledem k z se snadno ověří, že každé Si obsahuje pouze dosažitelné stavy. Dále pro každé z e No platí, že Si C Q a Si C Si+i. Označme n — card(Q). Vzhledem k tomu, že množina Q je konečná, nemohou se množiny Si pro rostoucí i neustále zvětšovat -existuje tedy k < n takové, že Sk — Sk+i - Z definice množin Si nyní vyplývá, že dokonce pro každé j > 0 platí Sk — Sk+j- Proto můžeme množinu Q' všech dosažitelných stavů, tj. vztah 2.2 vyjádřit také jako fe Q' = |J S, = Sk (2.3) i=0 Tato rovnost podává přesný návod na to, jak množinu Q' vypočítat. Formálně je tím dokázána správnost i konečnost algoritmu 2.1. Hledaný automat M.' je pak (Q', E, Ô/Q', qo, F n Q'), kde symbol ô/Q' značí zobrazení S zúžené na Q'. Přitom platí, že pokud je S totální, je i Ô/Q' totální. Fakt, že L{M) = L{M'), je zřejmý. □ Způsob, jakým jsme v algoritmu 2.1 zkonstruovali množinu všech dosažitelných stavů konečného automatu A4, je velmi speciální aplikací Knasterovy-Tarského věty o pevném bodě a Kleeneovy věty o rekurzi. Tento princip použijeme ještě mnohokrát. Definice 2.20. Nechť E je abeceda a nechť ~ je ekvivalence na E*. Řekneme, že ~ je pravá kongruence, též zprava invariantní ekvivalence, pokud pro všechna u,v,w G E* platí: u ~ v uw ~ vw. Index ekvivalence ~ je počet tříd rozkladu E*/^. Pokud je těchto tříd nekonečně mnoho, klademe index ~ roven oo. Poznámka 2.21. Snadno se nahlédne, že ekvivalence ~naE* je pravá kongruence, právě když pro každé u, v e E*, a G T, platí u ~ v =4> ua ~ va. (Z jedné strany triviální, obrácená implikace se snadno ukáže indukcí podle délky zprava priretězeného slova w.) 2.1. KONEČNE AUTOMATY 23 Algoritmus 2.1 Eliminace nedosažitelných stavů konečného automatu. Vstup: Konečný automat M — (Q, E, ô, qo,F). Výstup: Ekvivalentní konečný automat M.' bez nedosažitelných stavů. i := 0; So := {q0}; repeat Si+1 := Si U {q | 3p G 5Í; a G E : a) = g}; z := z + 1; until 5j — Si-i; Q '-—Si', M' := (Q', E, S/Q',q0,FnQ'); Konečné automaty a pravé kongruence s konečným indexem spolu velmi úzce souvisejí, jak ukazuje následující věta (a zejména její důkaz). Věta 2.22. (Nerodova). Nechi L je jazyk nad E. Pak tato dvě tvrzení jsou ekvivalentní: 1. L je rozpoznatelný konečným automatem. 2. L je sjednocením některých tříd rozkladu určeného pravou kongruencí naY>* skoneč-ným indexem. Důkaz. (1 =>■ 2) Nechf M. — (Q, E, S, qo, F) je FA, který rozpoznává L. Bez újmy na obecnosti předpokládejme, že M. je bez nedosažitelných stavů (viz lemma 2.19) a S je totální (viz lemma 2.6); pak také S je totální. Na E* definujme binární relaci ~ takto: u~v S(q0,u) = S(q0,v) Relace ~ je relací ekvivalence, která sdružuje taková slova, pro která automat M. přejde z qo do stejného stavu. Třídy rozkladu určeného relací ~ tedy odpovídají stavům automatu M., proto relace ~ má konečný index. Ukažme, že ~ je pravá kongruence. Nechf u ~ f a a G E. Pak ô(qo,ua) — ô(ô(qo,u),a) — ô(ô(qo,v), a) — ô(qo,va), tedy ua ~ fa, což bylo dokázat. Jazyk L(A4) je sjednocením těch tříd rozkladu určeného relací ~, které odpovídají koncovým stavům automatu M.. Označíme-li symbolem (q) třídu, která odpovídá stavu q, platí u E L ^=^> S(qo,u) — q, kde q E F ^=4> m G (g), kde q E F. (2 =4> 1) Nechf L je sjednocením některých tříd rozkladu určeného pravou kongruencia na E* s konečným indexem. Prvek faktorové množiny E*/^ (tj. třídu rozkladu) obsahující prvek u budeme značit [u]. Dále definujme konečný automat M. — (Q, E, S, qo, F), kde • Q — E*/~^, tj. stavy jsou třídy rozkladu na E* určeného ekvivalencí ~. Jelikož ~ má konečný index, je těchto tříd konečně mnoho. • S je definována pomocí reprezentantů: 5([u],a) — [ua]. Tato definice je korektní, tj. nezávisí na volbě konkrétního reprezentanta3, nebof ~ je zprava invariantní. • qo = N- 3. Nezávislost na volbě reprezentantů v tomto případě znamená, že pro každé u, v £ E*, a £ E platí 24 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY • F obsahuje právě ty prvky E*/^, jejichž sjednocením obdržíme jazyk L. Indukcí vzhledem k délce slova v se snadno ukáže, že ô ([e], v) — [v] pro každé f e E*. Zřejmě L = L (M), nebof v e L ^=4> [v] G F ^=4> ô ([e], v) e F. □ Poznámka 2.23. Každý konečný automat tedy jednoznačně určuje jistou pravou kongru-enci s konečným indexem a obráceně. Omezíme-li se pouze na automaty, které jsou bez nedosažitelných stavů a s totální přechodovou funkcí, jsou obě uvedená přiřazení navzájem inverzní až na označení stavů automatu. Předchozí věta rovněž udává podmínku, která je nutná a postačující k tomu, aby daný jazyk byl regulární. Lze tedy pomocí ní dokázat i to, že nějaký jazyk regulární není. Příklad 2.24. Dokážeme, že jazyk L — {cŕb1 \ í G N} nad abecedou {a, b} není rozpoznatelný žádným konečným automatem. (O tomto jazyku jsme již dokázali, že regulární není- viz příklad 2.15; tímto důkazem „jen" ilustrujeme techniku obsaženou ve větě 2.22.) Důkaz. Předpokládejme, že L je regulární. Pak podle věty 2.22 existuje pravá kongruence ~ na {a, b}* s konečným indexem taková, že L je sjednocením některých tříd rozkladu {a, b}*/^. Ukážeme, že to není možné; k tomu nám stačí nalézt dvě slova u, v, která prokazatelně leží ve stejné třídě rozkladu {a, a přitom u G L a v ^ L. Buď k index ekvivalence ~. Uvažme těchto k + 1 slov: ab, aab, aaab,..., ak+1b. Jelikož rozklad {a, má právě k tříd, musí ve výše uvedeném seznamu existovat dvě různá slova, která patří do stejné třídy - tedy cŕb ~ aPb pro nějaké í<í Vw G E* : (uw G L <í=> vw G L) . Tedy ~L obsahuje právě ty dvojice (u,v), které mají tu vlastnost, že po připojení libovolného w, vzniklá slova uw, vw budou do jazyka L patřit buď obě, nebo ani jedno z nich. Lemma 2.26. Nechi L je libovolný jazyk nad E. Pak relace ^L je pravá kongruence a L lze vyjádřit jako sjednocení některých (ne nutně konečně mnoha) tříd rozkladu E*/^ . Důkaz. Zřejmě ~L je ekvivalence. Dokážeme, že ~L je pravá kongruence. Nechf u ^L v a a G E. Platí ua ^L va, nebof pro libovolné slovo w G E* je uaw G L ^=4> vaw G L (vyplývá to z toho, že aw je rovněž slovo nad E a m ~l v — viz definice 2.25). Zbývá dokázat, že L je sjednocením některých tříd rozkladu E/^ . K tomu stačí ukázat, že pro libovolná u, v G E* platí u ^L v =4> (u G L ^=^> v G L), tedy že slova v každé třídě patří do L buď všechna, nebo tam nepatří žádné z nich. Nechf tedy u ^L v. Podle definice 2.25 pak pro každé w G E* platí uw G L ^=^> vw G L. Zvolíme-li za w prázdné slovo e, obržíme ue — u G L ^=^> ve — v G L, což bylo dokázat. □ 2.1. KONEČNÉ AUTOMATY 25 Každý jazyk nad abecedou E lze podle předchozího lemmatu vyjádřit jako sjednocení některých tříd rozkladu určeného jistou pravou kongruencí na E* (těchto tříd však obecně nemusí být konečně mnoho). Pozorný čtenář patrně namítne, že za účelem konstatování tohoto faktu nebylo nutné zavádět relaci ~L, protože např. také identická relace id je pravá kongruence a každý jazyk lze vyjádřit jako sjednocení jistých tříd rozkladu E*//j. Relace ~L však přece jen je něčím zvláštní: Lemma 2.27. Nechi L je jazyk nad abecedou E. Pro libovolnou pravou kongruencí ~ na E* takovou, že L je sjednocením některých tříd rozkladu E*/^, platí, že ~ C ~L, tj. ^L je největší pravá kongruence s touto vlastností. Též říkáme, že každá ~ je zjeměním ~L. Důkaz. Nechť u ^ v. Ukážeme, že pak také u ^L v, tj. pro libovolné slovo w G E* platí uw G L ^=^> fw ei.K tomu si stačí uvědomit, že uw ~ uro (viz definice 2.20); jelikož L je sjednocením některých tříd E*/~^, platí uw G L ^=^> t>w G L. □ Věta 2.28 (Myhillova-Nerodova). Nechi L je jazyk nad E, pak tato tvrzení jsou ekvivalentní: 1. L je rozpoznatelný konečným automatem. 2. L je sjednocením některých tříd rozkladu určeného pravou kongruencínaE* skoneč-ným indexem. 3. Relace ^L má konečný index. Důkaz. (1 =>■ 2) Viz věta 2.22 (ve směru 2.22-l=4> 2.22-2). (2 =4> 3) Nechť ~ je libovolná pravá kongruence na E* s konečným indexem taková, že L je sjednocením některých tříd rozkladu E*/^. Protože ~ je zjemněním ~L (viz lemma 2.27), pak rozklad E*/^ má nejvýše tolik tříd jako E*/~^, a tedy ~L má též konečný index. (3 =4> 1) Dle lemmatu 2.26 je L sjednocením některých tříd rozkladu E*/^ a ~L je pravá kongruence. Jelikož ~L má konečný index, lze opět použít větu 2.22 (tentokrát ve směru 2.22-2=^> 2.22-1), resp. druhou část důkazu Věty 2.22. □ 2.1.4 Minimální konečný automat Konečné automaty nacházejí velmi široké uplatnění v technické praxi (viz část 2.4). Z hlediska efektivity a nákladnosti implementace je důležité, aby počet stavů byl pokud možno co nejmenší. Přirozeným problémem je proto konstrukce tzv. minimálního automatu, tj. automatu s nejmensím počtem stavů a totální přechodovou funkcí, který rozpoznává daný regulární jazyk L. V této části ukážeme, že minimální automat lze sestrojit poměrně jednoduchým způsobem - stačí mít k dispozici nějaký konečný automat, který rozpoznává L. Minimální automat pak obdržíme ztotožněním některých jeho stavů. Pozorný čtenář jistě postřehl, že tvrzení o existenci minimálního automatu a do jisté míry i návod k jeho konstrukci, jsou skryty v Myhillově-Nerodově větě (specielně viz důkaz implikace (3 =4> 1) v 2.28, tj. konstrukce z druhé části důkazu věty 2.22 aplikované na ~L). Myhillovu-Nerodovu větu můžeme totiž reformulovat takto: 26 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Věta 2.29 (Myhillova-Nerodova, 2. varianta). Počet stavů libovolného minimálního automatu rozpoznávajícího jazyk L je roven indexu preňxové ekvivalence ~L. (Takový konečný automat existuje právě když index ^L je konečný.) Důkaz. Víme, že každý konečný automat (a bez újmy na obecnosti bez nedosažitelných stavů) určuje jistou pravou kongruenci s konečným indexem a obráceně (viz věta 2.22). Je-li jazyk L regulární, pak relace ~L je největšípravá kongruence s konečným indexem taková, že L je sjednocením některých tříd příslušného rozkladu (viz lemma 2.27). Konečný automat, který odpovídá relaci ~L, je tedy minimální automat rozpoznávající jazyk L a získáme jej tak, že aplikujeme postup uvedený v druhé části důkazu věty 2.22, tentokrát však nikoli pro ~, ale pro ~L. Jen pro zopakování připomeňme princip konstrukce: má-li ~L konečný index k, konstruujeme FA M. s k stavy. M. si ve své konečné množině stavů uchovává informaci o tom, do které třídy ekvivalence dosud přečtená část vstupu patří. Při značení jako v důkazu 2.22 má tedy množinu stavů {[u] | u e E*} o právě k prvcích (kde [u] — {v! | v! ^L u}). Stav [u\ je koncový, je-li u e L, jinak není koncový. Přechodová fuknce j e definována jako S([u], a) — [ua]. Důkaz korektnosti této konstrukce - viz 2.22. □ Příklad 2.30. Myhillovu-Nerodovu větu lze, tak jako větu 2.22, použít k důkazu, že jazyk je či není akceptovatelný nějakým FA. Pro srovnání dokažme o temže jazyku jako v příkladu 2.15 a v příkladu 2.24, tj. L — {erb1 \ i > 0}, že není regulární, a to pomocí 2.29 (tj. opět „jen" ilustrujeme důkazovou techniku implikovanou tvrzením této věty; čtenáři doporučujeme tyto techniky vzájemně porovnat). Žádné řetězy e, a, a2,... nejsou ekvivaletní vzhledem k ~L, protože předpoklad cř ^L a? pro i ^ j vede okamžitě ke sporu cŕb1 e L, ale aPb1 ^ L. Tedy ^L má nekonečný index; jinak řečeno, L nemůže být rozpoznáván žádným konečným automatem. Tvrzení o existenci minimálního konečného automatu můžeme tedy explicitněji zformulovat (jako bezprostřední důsledek Myhillovy-Nerodovy věty) takto: Důsledek 2.31. Minimální konečný automat akceptující jazyk L je určen jednoznačně až na isomorňsmus (tj. přejmenování stavů). 2.1.5 Minimalizace konečných automatů Věnujme se nyní problému, jak k danému automatu algoútmicky nalézt ekvivaletní minimální automat. Zopakujme, že máme-li k dispozici nějaký konečný automat M. rozpoznávající L, je příslušná pravá kongruence ~ zjemněním relace ~L. Rozklad tedy vznikne z E*/~^ sjednocením některých tříd. Jelikož třídy S*/~L odpovídají stavům minimálního automatu a třídy E*/~^ odpovídají stavům A4, můžeme také říci, že stavy minimálního automatu vzniknou ztotožněním některých stavů automatu M.. Zbývá zjistit, jak uvedené ztotožnění provést, a to samozřejmě beze změny akceptovaného jazyka. Jistě nelze ztotožnit nějaký koncový stav p s nekoncovým stavem q. Pokud totiž p — S(qo,x) a q — S(qo,y), pak x musí být akceptován a y zamítnut, a to i po ztotožnění p a q. Není však způsob, jak zajistit, že „ztotožněný" stav má někdy akceptovat a někdy zamítat. Dále, pokud bychom ztotožnili nějaké paq, pak bychom měli ztotožnit i jejich následníky 2.1. KONEČNÉ AUTOMATY 27 S(p, a) a S(q, a), abychom dodrželi funkcionalitu (tzv. determinismus) S: pro daný stav a symbol je jednoznačně určen následník. Z těchto dvou úvah plyne, že nemůžeme ztotožnit p a q, pokud S(p, x) E F a současně S(q, x) ^ F pro nějaké x. Ukazuje se, že tato podmínka je nutná i postačující pro rozhodování, kdy dva stavy ztotožnit, tj. pokud pro nějaké x S(p,x) G -Fa současně S(q, x) ^ F, pak stavy nemůžeme ztotožnit; pokud žádné takové x neexistuje, pak je ztotožnit můžeme. Tyto úvahy lze formalizovat takto: Definice 2.32. Nechť M. — (Q, X, S, g0, F) je FA bez nedosažitelných stavů a s totální přechodovou funkcí. Pro každý stav q E q definujeme jazyk LmÍi) Q £*, značený též jen L(q), pokud M. je zřejmý z kontextu, takto: L(q) = {x G E* I ô(q,x) G F} . Stavy p, q nazveme jazykově ekvivalentní, psáno p= q, pokud L(p) — L (q), tj.: p = q ^=4> Vx G £* : (ô(p, x) e F ^=^> ô(q, x) G F) L (q) je tedy jazyk přijímaný automatem M.q, který vznikne z M. tak, že za počáteční stav prohlásíme q. Zřejmě = je ekvivalence na Q. Intuitivně je jasné, že ztotožněním jazykové ekvivalentních stavů se přijímaný jazyk nezmění. K přesné formulaci tohoto faktu nejprve potřebujeme vědět, co se přesně myslí „ztotožněním stavů". (Čtenář, kterému je alespoň intuitivně jasné, jak by zkonstruoval ekvivalentní automat s množinou stavů Q/=, pokud by byla dána =, a že takto získaný automat Á4/= je minimální, může při prvním čtení přeskočit text až za důkaz věty 2.37, kde se věnujeme problému, jak spočítat = .) Lemma 2.33. Nechi M. — (Q,T,,ô,qo, F) je FA bez nedosažitelných stavů s totální přechodovou funkcí. Jestliže p = q, pak pro každé a G X platí S(p, a) = S(q, a). Důkaz. Označme r — S(p, a), s — S(q, a). Potřebujeme dokázat, že L(r) — L(s), tj. že pro libovolné slovo w G S* platí S(r, w) G F ^=^> S(s, w) G F. K tomu si stačí uvědomit, že <5(r, w) — ô(ô(p,a),w) — ô(p,aw) a podobně ô(s,w) — ô(ô(q,a),w) — ô(q,aw). Zřejmě S(p, aw) G F ^=4> S(q, aw) G F, neboť p = q. □ Definice 2.34. Nechť M. — (Q, S, 5, qo, F) je FA bez nedosažitelných stavů s totální přechodovou funkcí. Reduktem (též podílovým či faktor automatem) automatu M. nazveme konečný automat Á4/= — (Q/=, S, r], [qo], F/=), tj. automat, kde • Stavy jsou třídy rozkladu Q/= (třídu obsahující stav q značíme [q]). • Přechodová funkce r\ je definována pomocí reprezentantů. Je to nejmenší funkce splňující: Vp,q G Q,Va G S : S(q,a) = p =4> rj([q],a) = [p] . Aby tato definice byla korektní, nesmí záviset na volbě reprezentantů - pro každé dva stavy q, q' a každé a G S musí platit, že pokud q = q', pak také S(q, a) = S(q',a). To je však splněno podle lemmatu 2.33. • Počáteční stav je třída rozkladu Q/=, obsahující stav qo. • Koncové stavy jsou právě ty třídy rozkladu Q/=, obsahující alespoň jeden koncový stav (jednoduchým důsledkem definice 2.32 je, že v každé třídě jsou koncové buď všechny stavy, nebo ani jeden z nich - tento fakt ospravedlňuje použité značení F/=). 28 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Vztah mezi přechodovou funkcí S automatu M. a přechodovou funkcí rj automatu Á4/= si zasluhuje bližší pozornosti: Lemma 2.35. Nechi M. — (Q, Y.,S,qo,F) je konečný automat bez nedosažitelných stavů s totální přechodovou funkcí a Á4/= — (Q/=, E, rj, [qo], F/=) jeho redukt. Pro každé u,v,w G E* platí: 1. ŕ)([qo],w) = [q] ^=4> ô(q0,w) = p,kdep = q a 2. ŕj([qo],u) =ŕj([q0],v) ^> Š(q0, u) = Š(q0, v) Důkaz. (1): Indukcí vzhledem k délce slova w: • |w| — 0: Zřejmě S(qo,e) — qo a platí fj([q0],e) — [q] <í=4> q = g0. Dokazovaná ekvivalence je tedy pravdivá. • Indukční krok: Nechf w — va, kde v G E*, a G E. Platí fj([q0],va) — [q] VÍilo], v) — M a v([r]> a) — [i] Klo,v) — s kde s = r (indukční předpoklad) a S(s, a) — p, kde p = q (uvědomme si, že rj nezávisí na volbě reprezentantů; jelikož s = rai5(r,o) = q, musí také platit S(s, a) = q) <í=4> S(qo,va) — p, kde p = q. (2): Plyne přímo z tvrzení 1 tohoto lemmatu a definice množiny stavů automatu Á4/=. □ Následující věta formálně vyjadřuje, že ztotožnění jazykově ekvivalentních stavů nezmění přijímaný jazyk: Věta 2.36. Nechi M. — (Q,T,,ô,qo, F) je konečný automat bez nedosažitelných stavů s totální přechodovou funkcí. Pak L(A4) — L(A4/=). Důkaz. Podle první části lemmatu 2.35 platí S(qo, w) G F ^=4> fl([qo],w) G F/=, proto L(M) = L(M/=). □ Nyní již lze dokázat hlavní výsledek této části: Věta 2.37. Nechi M. — (Q,T,,ô,qo, F) je konečný automat bez nedosažitelných stavů s totální přechodovou funkcí, rozpoznávaj ícíjazyk L. PakM./= je minimální automat rozpoznávající jazyk L. Důkaz. Dokážeme, že pravá kongruence ~ určená automatem Á4/= ve smyslu věty 2.22 je přesně relace ~L. Pro libovolná u, v G E* platí: u ~ v ^=^> í7([<7o]; u) — vdlo], v) dle algoritmu z Nerodovy věty <í=^> S(qo, u) = S(qo, v) dle lemmatu 2.35 ^=^> (VwGE* : 5(5(q0,u), w) G F ^=> 5(5(q0,v),w) G F) dle definice = ^=^> (VwGE* : ô(q0,uw) G F ^=^> ô(q0,vw) G F) <í=> (VwGE* : uw G L <í=> vw G L) ^=^> u ^L v dle definice ~L . Dokázali jsme tedy, že pro všechna m, f G E* platí u ~ v ^=4> u ^L v, takže ~ — ~L, což bylo dokázat. □ Předchozí věta sice říká, jak pro daný konečný automat M. vypadá ekvivalentní minimální automat, ale nepodává algoritmus pro jeho konstrukci - není totiž na první pohled jasné, jakým způsobem lze zkonstruovat relaci =. Tímto problémem se budeme nyní zabývat. 2.1. KONEČNÉ AUTOMATY 29 Definice 2.32 říká, že p = q pokud pro každé slovo w platí, že S(p, w) g F ^=4> S(q, w) g F. Relaci = lze tedy velmi přirozeně aproximovat tak, že položíme omezení na délku slova w: Definice 2.38. Nechf M. — (Q, Y.,S,qo,F) je konečný automat bez nedosažitelných stavů, jehož přechodová funkce je totální. Pro každé z g No definujeme binární relaci =i na Q předpisem (srv. s definicí relace = v 2.32): def p =i q <í=^ Vw g E*.|w| < i : (S(p,w) g F ^=^> S(q,w) g F) Pokud p =i q, znamená to, že stavy p a q nelze „rozlišit" ve smyslu definice 2.32 žádným slovem délky nejvýše í. Tedy p = q právě když p =i q pro každé i e No. Množinovou symbolikou to lze vyjádřit takto: == n =i (2.4) Zřejmě každá z relací =i je ekvivalence na q a navíc =í+i je zjemněním =i pro každé í g No - Následující lemma obsahuje návod, jak relace = j počítat. Jedná se de facto o induktivní předpis vzhledem k délce rozlišujících slov. Musíme též ukázat korektnost tohoto předpisu pro výpočet =i vůči Definici 2.38. Lemma 2.39. Pro relace =i platí: 1. p =o q <í=4> (p E F ^=^> q e F) 2. p =i+\ q ^=^> p =i q A Va g E : ô(p, a) =4 ô(q, a) Důkaz. Tvrzení dokážeme indukcí vzhledem k í. Báze (případ í — 0) zřejmě platí, nebof slovem e lze ve smyslu definice 2.38 rozlišit pouze koncové a nekoncové stavy. Předpokládejme, že tvrzení 2 platí pro nějaké í a ukažme jeho platnost pro í + 1. Zřejmě platí (*): p =í+i q (tj. nejsou rozlišitelné žádným slovem délky nejvýše í + 1) ^=^> (í)p=iq (tj. nejsou rozlišitelné žádným slovem délky nejvýše z) a (ii) Vw.\w\ — i + 1 platí ô(p, w) g F ô(q,w) g F (tj. a nejsou rozlišitelné ani žádným slovem délky í + 1). Podmínku (ii) lze ekvivalentně zapsat takto: Vw g Eí+1.(<5(p, w) g F ^=4> S(q,w) g F) , což platí právě když Va g E .Ví; g E\(<5(j3, od)ěF^ ô(q, av) g F) <í=> Va g E.Ví; g E4.(ô(ô(p, a), v) e F ^ ô(ô(q, a), v) e F) ^> Va g E.(5(p, a) =i 6(q, a)). Z výše uvedeného tvrzení (*) a právě dokázaného ekvivalentního zápisu podmínky (ii) tedy dostáváme požadované: p =i+\ q <í=^> p =i q A Va g T,.(S(p, a) =j a)). □ Označme n počet stavů automatu M.. Připomeňme že, každá =i je relací evivalence a navíc =í+i je zjemněním =i pro každé í g No, tj. =í+i má alespoň tolik tříd rozkladu jako =i. Jelikož libovolná ekvivalence na n-prvkové množině může mít nejvýše n tříd a =o má aspoň jednu třídu, pak nutně (podle Dirichletova principu) platí, že musí existovat nějaké k < n — 1 takové, že a =fc+i mají stejný počet tříd, což (opět díky faktu o zjemnění) dává =fc — =fc+i. To ovšem znamená, že dokonce =k — =fe+j pro libovolné j g Nq, nebof 30 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY relace =í+i závisí pouze na relaci = j. Vztah (2.4) je tedy možné přepsat jako k Tím je formálně dokázána správnost i konečnost algoritmu 2.2 pro minimalizaci konečného automatu. Po inicializaci (i — 0) iterativně počítáme =i, i — 1,2,... a skončíme pro i — k takové, že platí =k — =fc-i- Algoritmus 2.2 Minimalizace konečného automatu. Vstup: Konečný automat M. — (Q, E, S, qo, F) bez nedosažitelných stavů s totální přechodovou funkcí. Výstup: ReduktA-f/=. i := 0; =o :={(p,g) Ipef^gef}; repeat =*+i := ífe ?) | P =s ? A Vo e E : a) =4 a)}; z := z + 1; until =i = =j_i M/= :=(Q/=,-Ľ,r,, [q0],F/=); Příklad 2.40. Mějme konečný automat M. daný níže uvedenou tabulkou. Pň konstrukci minimálního automatu je nejprve třeba odstranit nedosažitelné stavy a zúplnit přechodovou funkci. Obdržíme tak automat M.' (stav 7 byl nedosažitelný, za účelem zúplnění přechodové funkce byl dále přidán nový stav N): M a b M' a b 1 2 - 1 2 N 2 3 4 2 3 4 3 6 5 -í- 3 6 5 4 3 2 4 3 2 5 6 3 -í- 5 6 3 6 2 - -í- 6 2 AT 7 6 1 AT N AT Nyní již lze přistoupit ke konstrukci relací = j. Technicky to lze provést například tak, že v tabulce přechodové funkce sdružíme řádky odpovídající stavům, které jsou v relaci =i a jednotlivé skupiny (třídy rozkladu Q/=i) označíme římskými číslicemi. Aby bylo možné snadno určit následující relaci =í+i, doplníme do každého políčka (q, x) číslo třídy, do níž patří stav S(q,x) (dvojice (q, x) označuje políčko na řádku q ve sloupci x). Třídy rozkladu určeného =i+i pak lze získat tak, že existující skupiny dále rozdělíme - v rámci každé skupiny sdružíme stavy, které mají řádky vyplněné stejným způsobem. Pokud dojde k tomu, že 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 31 v každé skupině mají všechny stavy řádky vyplněné stejně, není již důvod něco rozdělovat; nalezli jsme relaci =. I —0 a b =i a b —2 a b 1 I I I 1 II I I 1 III II 2 II I N I I II N II II 4 II I II 2 III II III 2 IV III N I I 4 III II 4 IV III 3 II II III 3 IV III IV 3 V IV 5 II II 5 IV III 5 v IV 6 I I IV 6 II I v 6 III II Relace = je tedy v tomto případě rovna relaci =2. Minimální automat pro jazyk L(A4) vypadá takto: M/= a b I III II II II II III IV III IV V IV V III II 2.2 Konservativní rozšíření modelu konečných automatů V této části si ukážeme některé způsoby, jak lze základní model konečného automatu dále rozšířit či zobecnit bez toho, aby se změnila výpočetní síla - tj. ke každému rozšířenému modelu (akceptujícímu nějaký jazyk) bude existovat model základní s ním jazykově ekvi-valetní (akceptující týž jazyk). Takovéto rozšíření se nazývá konservativní. 2.2.1 Nedeterministické konečné automaty Nedeterministický konečný automat je zařízení, které je velmi podobné konečnému automatu z definice 2.1. Jediný rozdíl je v tom, že nedeterministický automat nemusí mít pro daný stav a vstupní symbol určen následující stav jednoznačně (na přechodových grafech si to lze představit tak, že z jednoho uzlu může vycházet více hran se stejným návěštím). Není tedy předem jasné, do jakého stavu se automat dostane po zpracování daného slova w, nebof automat si během výpočtu může „vybírat" jeden z možných následujících stavů. Slovo w bude akceptováno, pokud alespoň jeden z možných výpočtů nad slovem w skončí v koncovém stavu. Poznámka 2.41. V dalším textu budeme označovat konečné automaty z deňnice 2.1 přívlastkem deterministické, zkráceně DFA, abychom předešli nedorozumění. 32 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Definice 2.42. Nedeterministický konečný automat, zkráceně NFA, je M. — (Q,T,,ô,qo, F), kde význam všech složek je stejný jako v definici 2.1 s výjimkou přechodové funkce S. Ta je definována jako (totální) zobrazení S : Q x E —>• 2®. Na deterministické automaty tedy můžeme pohlížet jako na speciální případ nedeterministických automatů, kdy pro každé ge Qaa £ Sje množina S(q, a) nejvýše jednoprvková. Podobně jako v případě deterministických automatů zavedeme rozšířenou přechodovou funkcia : QxE*^ 2«: • <%,e) = {q} • ô(q,wa) = \JPe8(q,w)ô(P>a) Jazyk přijímaný nedeterministickým konečným automatem M. je definován takto: L{M) = {w e E* I 5(g0, w) n F ^ 0} Nedeterministické konečné automaty M. a Aí' jsou ekvivalentní, pokud L(A4) — L(A4'). Stejně jako v případě deterministických konečných automatů je také možné definovat jazyk L(A4) pomocí pojmů konfigurace a krok výpočtu; jediná změna je v definici relace kroku výpočtu: def (q,aw) h (p,w) ^=^> peS(q,a) Nedeterminismus je velmi silný popisný aparát, který často umožňuje zachytit strukturu jazyka elegantním a přirozeným způsobem. Uvažme např. jazyk L — {w E {a, b}* | w obsahuje podslovo abba nebo bab} Navrhnout deterministický automat, který rozpoznává L, není zcela triviální. Naopak nedeterministický automat lze zkonstruovat snadno: Struktura automatu velmi přímočaře odráží fakt, že L je složen ze slov, která začínají nějakým řetězcem symbolů a, b, pak následuje jedno z podslov abba, bab a na konci je zase nějaký řetězec složený z a, b. Nedeterminismus lze dobře využít jako popisný prostředek, nemá však vliv na výpočetní sílu konečných automatů. Ke každému nedeterministickému konečnému automatu totiž ve skutečnosti existuje ekvivalentní deterministický automat, který lze dokonce algoritmicky zkonstruovat. Důkaz tohoto faktu se opírá o zajímavou techniku, které se říká podmnožinová konstrukce: Věta 2.43. Pro každý NFA M — (Q,Y,,ô,q0,F) existuje ekvivalentníDFA. 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 33 Důkaz. Nechf M.' — (Q', E, S', {qo}, F') je deterministický konečný automat, kde: • Q' — 2®, tj. stavy automatu M.' jsou všechny podmnožiny Q. • Přechodová funkce S' je definována předpisem S'(P, a) — Uggp a) = ä'(H ó(qo, w) flF ^ 0 ^ 5'({g0}, w) n F ^ 0 ^ 5'({g0}, w) G f1' ^ w € )■ □ Algoritmus 2.3 Transformace NFA na ekvivalentní DFA. Vstup: Nedeterministický konečný automat M. — (Q,Y.,S,qo, F). Výstup: Ekvivalentní deterministický konečný automat M. — (Q', E, S', {qo}, F') bez nedosažitelných stavů s totální přechodovou funkcí. Q' == {{Qo}}; S' := 0; F' := 0; Done := 0; while (Q' - Done) ^ 0 do M := libovolný prvek množiny Q' — Done; if M n F tĹ 0 then F' := F' U {M}; end if for all a e E do N := IUm50>«); Q' := Q'U{W}; ô' :=ô>U{((M,a),N)}; end for Done := Done U {M}; end while M' := (Q', E, 5', {go}, F'); Uvedený důkaz je konstruktivní (podává návod na sestrojení automatu M.'). Nevýhodou prezentovaného algoritmu všakje, že automat M.1 může obsahovat mnoho nedosažitelných stavů. Tento nedostatek lze odstranit jednoduše - iterativní konstrukcí množiny dosažitelných stavů a přechodové funkce. Obdržíme tak algoritmus 2.3. Aplikujeme-li algoritmus 2.3 na dříve uvedený nedeterministický automat, rozpoznávající jazyk L — {w G {a, b}* | w obsahuje podslovo abba nebo bab}, dostaneme tento výstup: 34 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Tento příklad také demonstruje, že výstupem algoritmu 2.3 nemusí být minimální automat; ten totiž pro jazyk L vypadá takto: Čtenář se nyní může pokusit zjistit, jaká informace o přečtené části vstupního slova je spojena s jednotlivými stavy. Podmnožinová konstrukce je na první pohled značně neefektivní - nárůst počtu stavů při přechodu od nedeterministického konečného automatu k deterministickému je exponenciální. To je z technického hlediska nepříjemné. Nabízí se proto otázka, zda použitím „pomocných" technik (odstranění nedosažitelných stavů, minimalizace) je obecně možné dosáhnout lepšího výsledku. Následující věta říká, že nikoliv. Věta 2.44. Pro každé n E N existuje NFA o n stavech takový, že ekvivalentní DFA má i po minimalizaci 2™ stavů. Důkaz. Buď n e N libovolné přirozené číslo. Zkonstruujeme nedeterministický konečný automat o n stavech, který má požadovanou vlastnost. Nechť M. — (Q, X, S, 1, {1}), kde • Q = {l,...,n}, • £ — {a, b} a • S je nejmenší funkce splňující tyto podmínky: 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 35 - ô(i, b) — {í, í} pro 2 < i < n . Na obrázku 2.2 je znázorněn automat M. pro n — 6. Dokážeme, že deterministický konečný automat M!, který je výstupem algoritmu 2.3, má právě 2™ stavů a je minimálni. To, že M! má právě 2™ stavů plyne z toho, že libovolná podmnožina Q je dosažitelným stavem automatu M.'. Totiž prázdná množina je zřejmě dosažitelný stav, neboť ô'(í, b) — 0. Dále nechť {ki,... ,k[} C Q je neprázdná podmnožina. Předpokládejme, že ki < k j pro i < j a označme di — ki+i — ki pro 1 < i < l. Pak stav {ki,..., ki} je v automatu M.' dosažitelný pod slovem adl^1badl^2badl^3 ... adlbakl~1 (tedy např. stav {2,4, 5} je v automatu na obrázku 2.2 dosažitelný pod slovem abaaba). Tento fakt lze lehce ověřit indukcí vzhledem k l. Zbývá dokázat, že M1 je minimální. K tomu stačí ověřit, že pro každé dva různé stavy U, V automatu M.' platí U V (viz definice 2.32). Jelikož U ^ V, existuje k G {1,..., n}, které patří do U ale nepatří do V, nebo obráceně. Slovem, kterým lze stavy U a V rozlišit ve smyslu definice 2.32, je an~k+1. □ Tedy i pro poměrně „malý" nedeterministický konečný automat může být ekvivalentní deterministický automat „velmi velký" i po minimalizaci. V praxi je velikost stavového prostoru samozřejmě omezená použitou technologií. Znamená to tedy, že nedeterministické konečné automaty obecně nelze efektivně implementovat? Naštěstí tomu tak není; technický „trik", kterým lze exponenciální nárůst počtu stavů obejít, je skryt v samotné podmnožinové konstrukci: Nechť Q — {qi,..., qn} je množina stavů nedeterministického konečného automatu M.. Libovolnou podmnožinu X C Q pak můžeme jednoznačně ,6 Obrázek 2.2: Automat M. z důkazu věty 2.44 pro n — 6. - ô(i, a) — {í + 1} pro 1 < i < n — 1, - ô (n, a) — {!}, 36 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY zakódovat bitovým řetězcem B délky n takto: . „ J 1 Pokud qi e X, i-tý prvek B — < I 0 jinak. Libovolný stav deterministického automatu A4', který je výstupem podmnožinové konstrukce aplikované na A4, můžeme tedy reprezentovat n-bitovým řetězcem. Technická implementace automatu M.' pak spočívá v realizaci dvou funkcí: function NextState(state: StateCode, symbol: Char): StateCode Tato funkce má dva parametry: state je stav automatu M!, zakódovaný jako n- bitový řetězec (bitové řetězce jsou implementovány pomocí datového typu StateCode). Druhý parametr symbol je vstupní symbol. Funkce vrací kód stavu S'(q, symbol), kde g je stav s kódem state, function IsFinal(state: StateCode): Boolean Funkce má jeden parametr, kterým je stav automatu M!, zakódovaný jako n-bitový řetězec. Vrací True pokud je stav s kódem state koncový, jinak Falše. Jedinou datovou strukturou, která je potřebná pro implementaci těchto funkcí, je tabulka přechodové funkce S původního nedeterministického automatu M. s vyznačenými koncovými stavy. Funkce NextState na základě svých parametrů a tabulky pro S snadno určí kód výsledného stavu (i-tý bit výsledku bude nastaven na 1, právě když qi e ô {qj, symbol) pro nějaké j takové, že j-tý bit prvního parametru je nastaven na 1). Podobně funkce IsFinal vrátí hodnotu True, pokud existuje i takové, že q^ e F a i-tý bit parametru je 1. Není tedy zapotřebí implementovat tabulku přechodové funkce S', ani není nutné explicitně reprezentovat stavy automatu M.'. Na nedeterministický automat M. proto můžeme pohlížet jako na symbolickou reprezentaci automatu A4', která dokáže popsat stavy i přechodovou funkci M! podstatně hutnější (úspornější) syntaxí. 2.2.2 Automaty s e-kroky Model nedeterministického konečného automatu je možné dále rozšířit o tzv. e-kroky. Automat pak může svůj stav za určitých okolností změnit samovolně, tj. bez přečtení vstupního symbolu. Tato schopnost je formálně popsána pomocí e-přechodů, které si lze na přechodových grafech představit jako hrany, jejichž návěštím je prázdné slovo. Díky těmto přechodům v definici přechodové funkce může automat během výpočtu na slově w provést jeden či více e-kroků, tj. změnit svůj stav bez toho, aby ze vstupu cokoliv přečetl. Příklad 2.45. Následující automat s e-kroky rozpoznává právě ta slova w G {0,1}*, která jsou tvaru 01fel 01fe2 ... 01fe™, kde n > 1 a ki > 1 pro každé 1 < i < n: 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 37 Definice 2.46. Nedeterministický konečný automat s e-kroky, zkráceně eNFA, je pětice M. — (Q, E, S, qo, F), kde význam všech složek je stejný jako v definici 2.42 s výjimkou přechodové funkce S. Taje definována jako totální zobrazení S : Q x (E U {e}) —>• 2®. Rozšířenou přechodovou funkci S ovšem musíme definovat odlišným způsobem; nejprve zavedeme funkci DE : Q —>• 2®, která pro daný stav p vrací množinu stavů, kterých může M. dosáhnout z p bez toho, aby četl vstup. Pro dané p E Q je D£(p) definována (induktivně) jako nejmenší množina ICQ taková, že platí: • p e x, • je-li q E X a r E S(q, e), pak také r E X. Pro automat z příkladu 2.45 platí £>e(g0) = {e(gi) = DE(q2) = {go, 9i, íj-Funkci _De je rozšírime na množiny stavů, tj. na DE : 2® —>• 2^ takto: je-li y C Q, položíme De(y) = (J dm Nyní již můžeme definovat rozšířenou přechodovou funkci ô : Q x E* —>• 2^ takto: . 5(g,e) = De(g), • wo) = Upe5(g,^) A^OO, «))■ Pro automat z příkladu 2.45 mimo jiné platí S(q2,1) = {(Jo, íi, 92}, ô(qi, 1) = {90, íi, Q2} a5(q2,0) = {qi}. Jazyk přijímaný automatem M. s e-kroky je definován stejně jako v případě nedeterministických automatů, tj. L{M) = {w E E* I 5(g0, w) n F ^ 0} Není obtížné dokázat, že ke každému automatu M. s e-kroky existuje ekvivalentní nedeterministický automat M.'; v principu je třeba v přechodovém grafu automatu M. přidat hranu pi A qn pro každou cestu tvaru e e a e e Pi ->• ■ ■ ■ ->• Pm ->• qi ->• ■ ■ ■ ->• g™ kde m, n > 1, a G E. Pak lze e-hrany z přechodového grafu bez problémů odstranit. Nejprve dokážeme jedno pomocné tvrzení: Lemma 2.47. Nechi M. — (Q, E, S, g0, F) je automat s e-kroky. V přechodovém grafu automatu M. existuje cesta p\ A ... A pm A gi A ... A qn, kde to, n > 1, a G E, právě když qn E S(pi,a). Důkaz. Nejprve si uvědomme, že podle definice S platí 5(pi,a)= (J D£{5{r,a)) (2.6) Jelikož px A . .. A pm, platí pm G £>e(pi). Dále pm A gi, tedy qx E S(pm,a). Konečně gi A ... A qn, proto g„ G De(q\). Celkem qn E ó(pi, a) podle vztahu (2.6). Nechf qn E S(p±, a). Podle vztahu (2.6) pak musí existovat stav r E D£ (pi) takový, 38 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY že g„ G D£(5(r, a)). Jelikož r G D£(pi), existuje v přechodovém grafu cesta pi A ... A r. Protože qn G D£(S(r,a)), musí existovat stav s G S(r,a) takový, že qn G D£(s). V přechodovém grafu proto existuje hrana r A s a cesta s A ... A qn. Celkem pi A ... A r A s A ... A íj„, což bylo dokázat. □ Věta 2.48. Ke každému NFA s e-kroky existuje ekvivalentníNFA (bez e-kroků). Důkaz. Nechť M. — (Q, E, S, qo, F) je libovolný NFA s e-kroky a sestrojme ekvivaletní NFA M.' — (Q, E, 7, q0, G) bez e-kroků. Položme 7(0, a) — S(q, a) pro každé q G Q, a G E a množinu G definujme takto: (f pokud£>e(go)nF = 0, [FU{g0} jinak. Nejprve dokážeme, že pro libovolné p e Q, w e E+ platí <5(p,w) = 7(j),w), tj. q G <5(p, w) <í=4> q G 7 (p, w). V této souvislosti je třeba si uvědomit, že funkce S, 7 jsou definovány na základě funkcí S, 7 odlišným způsobem - 7 je rozšířenou přechodovou funkcí nedeterministického konečného automatu A4', je tedy určena předpisem uvedeným za definicí 2.42, zatímco S je určena předpisem za definicí 2.46 (pro w — e tedy uvedená ekvivalence platit nemusí). Důkaz provedeme indukcí k délce slova w. • |w| — 1: Pak w — a pro nějaké a G E a S(p, a) — ^(p, a) — A/(p, a) podle definic 7 a 7. • Indukční krok: Nechf w — va, kde v G E+ a a G E. Platí q G S(p, w) <í=4> existují stavy r, s takové, že r G S(p, v), s G S(r,a) a g G D£(s) (existuje tedy cesta r A s A ... A q) ^=4> r G ^(p, v) (s využitím indukčního předpokladu), q G S(r, a) (lemma 2.47) ^=^> r G Af(p, f) a g G 7(r, a) (podle definice 7) ^=4> g G 7(p,m). Pro libovolné w G E+ tedy platí: S(qo, w) — 7(go, w), tj. w G L(A'Í) <í=4> w G L(A4'). Případw — e je ošetřen v definici koncových stavů G takto: e G L(A'Í) <í=^ D£(qo)<~)F ^ 0 ^> g0 G G ^> e G L(AÍ')- TedY celkem dostáváme L (M) = L(M'). □ Předchozí věta podává algoritmus pro transformaci automatu s e-kroky na ekvivalentní nedeterministický automat (bez e-kroků). Pokud jej aplikujeme na automat z příkladu 2.45, pak dostaneme 2.2.3 Uzáverové vlastnosti regulárních jazyků - část I V této části dokážeme, že třída regulárních jazyků je uzavřená na některé operace nad jazyky definované v části 1.1.1. Důležitost uzáverových vlastností spočívá nejen ve zkoumání vlastností dané třídy jazyků, ale má i řadu praktických aspektů. Daný jazyk lze často 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 39 vyjádřit pomocí několika jazyků jednodušších, pro každý z nich navrhnout konečný automat a na jejich základě sestrojit žádaný výsledný automat - tento postup byl již ilustrován v příkladu 2.12. Uzáverových vlastností lze často využít i ke zjednodušení důkazu, že nějaký jazyk je (viz opět 2.12) či (a to zejména) není regulární - viz příklad 2.50 níže. Uvědomme si, že již na počátku této kapitoly (přesněji v 2.9 -2.11) jsme de facto ukázali, že třída regulárních jazyků je uzavřená na základní množinové operace sjednocení, průniku a komplementu. Věta 2.49. Třída regulárních jazyků je uzavřená na sjednocení, průnik a rozdíl. Důkaz. Nechf L\ a L2 jsou regulární jazyky rozpoznávané deterministickými konečnými automaty M.1 a M.2 s totálními přechodovými funkcemi. Bez újmy na obecnosti přitom můžeme předpokládat, že L\ i L2 jsou jazyky nad stejnou abecedou E (v opačném případě provedeme sjednocení abeced a dodefinujeme přechodové funkce automatů - viz lemma 2.6) Pak jazyky L\ U L2, L\ n L2 a L\ — L2 jsou rozpoznávané po řadě automaty M.1 y Jv[2, M.1 íňi Jv[2 a M.1 Q Jv[2 (viz definice 2.9 a poznámka 2.11), jsou tedy regulární. □ Příklad 2.50. Ukažme, že jazyk L — {w G {a, b}* | #a(w) — #&(w)} není regulární. Důkaz lze samozřejmě provést pomocí Myhillovy-Nerodovy věty (viz 2.28) či lemmatu o vkládání 2.13. Jestliže však již víme, že L\ — {erb1 \ i > 0} není regulární, stačí uvážit, že Li — L n a*b*. Kdyby totiž byl L regulární, pak by díky regularitě erb* a uzavřenosti regulárních jazyků na průnik musel být regulární i L\, což ale není. Věta 2.51. Třída regulárních jazyků je uzavřená na komplement. Důkaz. Důkaz okamžitě plyne z předchozí věty 2.49, neboť co-L — E* — L. Lze též uvést konstruktivní důkaz: nechf L je regulární jazyk nad abecedou E, rozpoznávaný deterministickým konečným automatem M. — (Q,T,,ô,qo, F) s totální přechodovou funkcí. Pak jazyk co-L je rozpoznávaný konečným automatem M — (Q, E, S, qo, Q — F) (viz poznámka 2.11). □ Věta 2.52. Třída regulárních jazyků je uzavřená na zřetězení. Důkaz. Nechf L\ a L2 jsou regulární jazyky, rozpoznávané nedeterministickými konečnými automaty Mi = (Qi, Ei; 5i, qi, F{) a M2 = ( LR je regulární Důkaz. Díky 2.55 zbývá ukázat implikaci LR regulární =4> L je regulární. Jelikož platí (LR)R — L, pak dle 2.55 dostáváme LR regulární (LR)R — L je regulární. □ Uzavřenost na další operace bude ukázána v části 2.3.1, kde s výhodou využijeme dalšího konservativnflio rozšíření základního modelu. 2.2.4 Regulární výrazy V této části zavedeme formalismus, který je rovněž užitečným prostředkem pro popis (specifikaci) a návrh konečných automatů. Jen zopakujme, že zatím jsme pojem regulární jazyk používali jako (syntaktickou) zkratku pro pojem jazyk přijímaný konečným automatem a ô' = ô U {((p, S), {q0})} U {((q, S), M) \qeF} koncových stavů do stavu p. Zřejmě L(A/Í*) — L*. □ 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 41 též pro pojem jazyk generovaný gramatikou typu 3. Tvrzení, že se jedná o tutéž třídu jazyků bude ukázáno v následující části. V této části budeme definovat regulární jazyky tak, jak byly historicky originálně (pod tímto názvem) zavedeny, uvedeme formalismus pro jejich specifikaci a konečně ukážeme, že takto definovaná třída jazyků je identická s třídou jazyků rozpoznávaných konečnými automaty. Definice 2.57. Třída regulárních jazyků nad abecedou E, označovaná jako i?(E), je definována induktivně takto: 1. 0, {e} a {a} pro každé a G E je regulární jazyk nad E. 2. Jsou-li Li,L2 regulární jazyky nad E, jsou také, Li.L2,Li U L% a L\ regulární jazyky4 nad E. 3. Každý regulární jazyk vznikne po konečném počtu aplikací kroků 1 a 2. Jinými slovy i?(E) je nejmenší třída jazyků nad E splňující podmínky 1 a 2. Jazyky uvedené ad 1 se nazývají elementární, operace nad jazyky uvedené ad 2 se nazývají regulární. Je tedy vidět, že každý regulární jazyk lze popsat určením elementárních jazyků a předpisu, který určuje jak na tyto jazyky aplikovat regulární operace. Taková specifikace je cílem následující definice. Definice 2.58. Množina regulárních výrazů (regular expressions) nad abecedou E, označovaná RE{Yj), je definována induktivně takto: 1. e, 0 a a pro každé a G E jsou regulární výrazy nad E (tzv. základní regulární výrazy). 2. Jsou-li E, F regulární výrazy nad E, pak také (E.F), (E + F) a (E*) jsou regulární výrazy nad E. 3. Každý regulární výraz vznikne po konečném počtu aplikací kroků 1-2. Základní regulární výrazy se podobají symbolům, se kterými jsme se v textu běžně setkávali. Tučně jsou zapsány proto, že je třeba je chápat jako symboly zcela nové; tyto ,dvojníky" jsme zavedli proto, abychom mohli vždy snadno rozlišit mezi syntaxí a sémantikou regulárních výrazů (předchozí definice popisuje pouze syntaxi). V regulárních výrazech se mohou vyskytovat také kulaté závorky jako metasymboly, které pomáhají vymezit rozsah operátorů. Abychom jejich použití omezili na minimum, přijmeme konvenci týkající se priority operátorů: Největší prioritu má „*", pak ,," a nakonec „+", přičemž „nadbytečné" závorky lze vypouštět. Výraz a + b.c* tedy odpovídá výrazu (a + (b.(c)*)). Každý regulární výraz E nad abecedou E popisuje (jednoznačně určuje) jazyk L(E) 4. je zřejmé, že požadavek ,,{e} je regulární ..." v 1 je nadbytečný, protože {e} = 0*. Je uveden čistě z pedagogických důvodů. 42 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY nad abecedou E (jazyk L (E) je sémantikou regulárního výrazu E) podle těchto pravidel: 0 {a} pro každé a G £ L(E).L(F) L{E) U L(F) Na levé straně definujících rovnic se vyskytují regulární výrazy; na pravé straně je třeba symboly „e", „0", atd. chápat v jejich původním významu - tj. jazyk určený regulárním výrazem e obsahuje pouze prázdné slovo, jazyk určený výrazem 0 je prázdný, atd. Tečka se v zápisu regulárních výrazů často vynechává. Například tedy platí: L ((a + b)*(ab + bb)(a + b)*) — {w G (a, b)* | w obsahuje podslovo ab nebo bb} ./.((aa \ ob \ ba \ bb)') — {w G {a, b}* \ w má sudou délku} L((0*l*2*)*) = {0,1,2}* Poznámka 2.59. Z výše řečeného se okamžitě nahlédne fakt, že jazyk je regulární nad E, právě když jej popisuje nějaký regulární výraz nad E. V tomto případě též říkáme, že jazyk je popsatelný nějakým regulárním výrazem. Na rozdíl od regulárních gramatik neobsahují regulární výrazy žádnou formu rekurze; aby bylo jasné, oč se jedná, uvažme např. gramatiku Q — ({S, A}, {a, b}, P, S), kde P obsahuje tato pravidla: S —>• a A | a , A -> bS | b . Neterminály S a A přirozeným způsobem určují jazyky L(S) a L (A): L(S) = {w G {a, b}* | S =>* w} L (A) = {w e {a,b}* \A^>* w} Platí tedy — L(S). Pravidla gramatiky Q lze přirozeným způsobem transformovat na systém vzájemně rekurzivních rovnic: Xs = {a}.XA U {a} XA = {6}.X5U{6} Proměnné a Xa zastupují jazyky nad abecedou {a, b}. První rovnice říká, že jazyk Xs dostaneme sjednocením zřetězení jazyků {a} a Xa s jazykem {a}. Význam druhé rovnice je obdobný - jazyk Xa je definován v závislosti na jazyku Xs- Dosadíme-li za Xs jazyk L(S) a za Xa jazyk L(A), obě rovnice platí. Není obtížné dokázat (čtenář se o to může pokusit), že L(S) a L(A) jsou také jediným řešením uvedených rovnic. Tento fakt má obecnou platnost, tj. jazyk generovaný libovolnou regulární L{e) L(0) L(o) L(E.F) L(E + F) L(E*) def def def def def def 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 43 gramatikou Q lze tímto způsobem vyjádřit jako řešení jistého systému rekurzivních rovnic. Podobná forma rekurze se objevuje také u konečných automatů; v definici 2.32 jsme pro každý stav q konečného automatu M. zavedli jazyk L(q). Přechodová funkce popisuje závislost mezi jazyky L(q) podobným způsobem, jako množina pravidel v případě gramatik. Rekurze je z hlediska popisné síly velmi důležitá - pokud definující rovnice určené pravidly regulární gramatiky Q neobsahují žádnou rekurzivní (tj. „cyklickou") závislost mezi proměnnými, je jazyk L(Q) nutně konečný. Příkladem takové gramatiky je třeba ({S, A, B}, {a, b, c}, P, S), kde P obsahuje pravidla S -> a | b A A^ c\aB B^b\c V případě regulárních výrazů, kde se rekurze v žádné podobě neobjevuje, se snadno vidí, že jediný prostředek umožňující definovat nekonečný jazyk je iterace. Výsledek o ekvivalenci regulárních výrazů a regulárních gramatik, který v této části dokážeme, lze tedy také interpretovat jako ekvivalenci popisné síly iterace a rekurze ve speciálním typu rovnic. Věta 2.60. Nechi E je regulární výraz. Pak existuje konečný automat rozpoznávající L(E). Důkaz. Pro libovolnou (konečnou) abecedu E lze zkonstruovat FA, které rozpoznávají elementární jazyky, tj. 0, {e} a {a} pro každé a G E. Tvrzení věty pak okamžitě plyne z uzavřenosti jazyků rozpoznatelných konečnými automaty vůči regulárním operacím, tj. sjednocení (viz věta 2.49), zřetězení(viz věta 2.52) a iteraci (viz věta 2.53). □ Čtenáře, který očekával přímočařejší algoritmus, jak k danému regulárnímu výrazu sestrojit ekvivalentní konečný automat, nezklameme a odkazujeme jej na pojem regulárního přechodového grafu a větu 2.65, které jsou uvedeny v závěru této části. Poznámka 2.61. Výše uvedená věta 2.60 tedy říká, že třída jazyků, která obsahuje všechny konečné množiny (každá z nich jistě rozpoznatelná nějakým FA) a která je uzavřena na sjednocení, zřetězení a iteraci je podďídou třídy jazyků rozpoznatelných konečnými automaty. Následující věta ukazuje, že platí i obrácená inkluse, což spolu s 2.60 říká, že třída jazyků rozpoznatelných konečnými automaty je nejmenší třída, která obsahuje všechny konečné množiny a je uzavřena na sjednocení, zřetězení a iteraci - srovnej s formulací tzv. Kleeneho věty (věta 2.63). Věta 2.62. Nechi L je akceptovaný nějakým (libovolným) DFA, pak L je popsatelný nějakým regulárním výrazem. Důkaz. Nechť A — ({qi, ■ ■ ■, qn}, S, S, q±, F) je DFA, který akceptuje L. Pro všechna h j '■ 1 < i, j < n definujme množiny slov FUj ={t»eS* I S(ql,w) = qj} tj. množiny slov převádějících A ze stavu qi do stavu qj. Je vhodné si uvědomit, že platí: L = L(A)=\Jq.eFRlj (*) Stačí tedy ukázat, že každá Rij je regulární (definice regulárního jazyka v sobě obsahuje uzavřenost na sjednocení), a tedy je popsatelná nějakým regulárním výrazem. 44 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Abychom dokázali regularitu R\j, dokažme, že každá Äý je regulární (žádané dostaneme specializací pro i — 1). Za tímto účelem definujme množiny slov ,k — 0,...,n, kde každá z nich bude množinou všech slov, která převádějí automat A ze stavu q^ do stavu qj (jako u Rij), ale při tomto výpočtu není povoleno projít žádným (mezi)stavem qm, který by měl index m větší než k. Formálně zapsáno: Rfj = {x | S(ql,x) = qj A ((Š(ql,y) = qm A e -< y -< x) m < k)} Zřejmě pak platí R^ — Rfj (a ukážeme-li regularitu všech stačí položit k — n). Nyní si uvědomme, že lze definovat induktivně, a tedy následně využít k dokazování regularity indukci. Navíc můžeme takovou definici využít k jejich výpočtu (ať už k rekursivnímu či iterativnímu). Definujme tedy: 1 def \{a EY.\ô{qlla) = qj} je-li i ^ j 13 \{a G E I ô(ql,a) = qj} U {e} je-li i = j 2. 4+1 dá i?řjfe+1(i?|+ljfe+1)*i?|+1U Ä* pro všechna k — 0,... ,n — í (**) Neformálně lze tuto definici vysvětlit takto: bod 1 představuje bázi výše uvedené definice. Bod 2 říká, že vstup, který automat A převede z qi do qj bez průchodu mezistavem o indexu větším než k + 1, je buď • z množiny (2. sčítanec v 2), tj. množiny slov odpovídající cestám z qi do qj, kdy není použit žádný mezistav „vyšší*' než q^, nebo • z množiny slov, která reprezentuje průchod stavem „vyšším" než q^, tj. stavem qk+i (viz 1. sčítanec v 2) - tuto množinu slov lze získat tak, že 1. nejprve vezmeme všechna ta slova, která automat A převedou z qi poprvé do qk+1 (tj. 1. činitel R*k+1), 2. následovaná (zřetězená se) všemi slovy, která převedou A z qt+i zpět do qu+i, aniž by se prošlo nějakým vyšším stavem než qi~. Pokud je množina těchto slov neprázdná, pak reprezentuje cyklus z qu+i zpět do qu+i, a proto tedy u 2. činitele fc+i)* je operace iterace. Množina těchto slov může být i prázdná (taková cesta neexistuje) - uvědomme si, že definice je korektní i v tomto případě, protože 0* — {e}. 3. Konečně ke slovům získaným ve dvou výše uvedených bodech připoj íme (zřetězením) všechna slova, která převedou A z qu+i do cílového qj bez průchodu stavem qk+i nebo vyšším, což je reprezentováno 3. činitelem j. Nyní se indukcí snadno ukáže, že každá je regulární, a tedy popsatená nějakým regulárním výrazem. I když z hlediska důkazu není nutno tyto výrazy specifikovat, uvedeme je (v komentářových závorkách '(*' a '*)' X neboť tak de facto specifikujeme algoritmus pro konstrukci hledaného výrazu. Báze indukce, k — 0. Pro libovolná z, j je iž?- C EU {e}, a tedy regulární - obsahuje totiž jen elementární jazyky. (*Odpovídající regulární výraz, značený rfj, lze zapsat jako a± + ... + ap (resp. a± + ... + ap + e, pokud í — j), kde {ai,..., ap} je množina všech symbolů a takových, že S(qi, a) — qj. Jetliže žádné takové a neexistuje, pak r\j — 0 (resp. r9- — e, pokud í —j).*) Indukční krok. (IP): předpokládejme , že pro jisté k, 0 < k < n a všechna í, j jsou regulární a ukažme, že pak i je regulární. To se však snadno nahlédne: je 2.2. KONSERVATIVNÍ ROZŠÍŘENÍ MODELU KONEČNÝCH AUTOMATŮ 45 definována - viz (**) - pomocí (dle IP jsou regulární) a pomocí regulárních operací sjednocení, zřetězení a iterace, a tedy (viz definice regulárního jazyka) je regulární i R^1-(*IP je ekvivalentní tomu, že pro všechna l,m existují regulární výrazy rfm takové, že L(rĽ) = Rim- Hledaný výraz rf/1 je tedy roven r£fc+1(r£+1 jfc+1)*r^+1 á U r*j..*) Tímto je důkaz ukončen (zopakujme: všechna jsou regulární, specielně i?" jsou regulární a i?™- — Ríj, a tedy i Rij je regulární a tedy dle (*) L (A) — {Jq.eF Rij je regulární). (*Tedy L (A) je popisován výrazem r™^ + ... + r™- , kde f1 = {q^ ,... qjp }.*) □ Obě předchozí věty 2.60 a 2.62 lze shrnout do tvrzení známého jako Kleeneho věta: Věta 2.63. (Kleene). Libovolný jazyk je popsatelný regulárním výrazem právě když je rozpoznatelný konečným automatem. V této části jsme dosud zavedli jistá rozšíření deterministických konečných automatů definovaných v části 2.1a ukázali jejich vzájemnou ekvivalenci. Strukturu těchto výsledků (mimo průběžně uváděné uzáverové vlastnosti) lze znázornit takto: V. 2.62 £^ \ (w> 1,2,3 • RE(Ľ) je parciální přechodová funkce. • I Q Q je množina počátečních stavů. • F C Q je množina koncových stavů. Regulární přechodové grafy tedy představují další zobecnění automatů s e-kroky. Hrany mohou být nyní ohodnoceny nejen prvky E U {e}, ale dokonce libovolným regulárním výrazem nad E (mezi libovolnými dvěma uzly je však nejvýše jedna hrana, což však není omezení podstatné - viz operátor +). Každý automat s e-kroky lze považovat za regulární přechodový graf s jedním počátečním stavem, jehož hrany jsou ohodnoceny regulárními výrazy tvaru Oi I • • • I an, kde n e N a každé a* patří do E U {e}. Slovo w G E* je grafem M. akceptováno, právě když existuje posloupnost stavů qo,.. ., qn, kde n > 1, qo G I, qn G F a ô(qi-i, qi) je definováno pro každé 0 < i < n taková, že w lze rozdělit na n částí w — v i... v n tak, že Vi G L(ô(qi-i, qi)) pro každé 0 < i < n. Navíc e je akceptováno také tehdy, je-li I n F ^ 0. Věta 2.65. Pro libovolný regulární přechodový graf M. — (Q, E, S, I, F) existuje ekvivalentní NFA M! s e-kroky. Důkaz. Přechodový graf automatu M.' s e-kroky vznikne transformací regulárního přechodového grafu M. (tento důkazový postup je korektní, neboť každý automat s e-kroky lze jednoznačně reprezentovat jeho přechodovým grafem a obráceně). Nejprve přidáme ke grafu M. nový stav qo a hranu qo A q pro každé q £ I. Stav qo bude (jediným) počátečním stavem automatu M.', prvky F jeho koncovými stavy. Další postup transformace spočívá v opakované realizaci dvou kroků (viz obrázek 2.3): 1. Odstraň všechny hrany, které jsou ohodnoceny symbolem 0. 2. Vyber libovolnou hranu p A q, kde E £ E U {s}, odstraň ji a proveď následující: • Pokud E — F + G, přidej hranyp4gap4g. • Pokud E — F.G, přidej ke Q nový stav s a hrany p A s a s A q. • Pokud E — F*, přidej ke Q nový stav s a hrany pAs, sAsasAg. Tyto dva kroky se provádí tak dlouho, dokud přechodový graf obsahuje alespoň jednu hranu ohodnocenou symbolem, který nepatří do E U {e}. Fakt, že popsaná transformace skončí, vyplývá z toho, že M. obsahuje pouze konečně mnoho hran a každý regulární výraz vznikne aplikací pravidel 1-2 z definice 2.58 v konečně mnoha krocích. Výsledný graf je přechodovým grafem automatu M.' s e-kroky. Snadno se ověří, že kroky 1 a 2 popsaného transformačního algoritmu zachovávají ekvivalenci automatů, proto L(A4) — L(M.'). □ Věta 2.66. Pro každý regulárnípřechodový grafM. — (Q,T,,Ô,I,F) existuje ekvivalentní regulární přechodový graf M.' — ({x, y}, E, S, {x}, {y}), kde S je deňnováno pouze pro dvojici (x,y). 2.3. VLASTNOSTI REGULÁRNÍCH JAZYKŮ 47 ^1 Obrázek 2.3: Pravidla pro transformaci regulárního přechodového grafu na ekvivalentní NFA s e-kroky Důkaz. Popíšeme způsob, kterým lze transformovat graf M. na graf M.'. Nejprve přidáme ke grafu M. nový počáteční stav x a nový koncový stav y. Přidáme také hrany 1A5 pro každé q e I a r A y pro každé reí1. Tato úprava jistě nezmění přijímaný jazyk. Každý stav p různý od x a y nyní odstraníme spolu s jeho incidentními hranami (tj. hranami, které do p vcházejí nebo z p vycházejí) takto (viz obrázek 2.4): Nechf {E\,..., En} je množina všech regulárních výrazů E takových, že p A p je hrana v upravovaném přechodovém grafu. Pro každou dvojici hran r A p, kde r ^ p a p A g, kde p ^ q, přidáme hranu z r do q s ohodnocením F.(E\ + ••• + £'„ + 0)*.G. Pak lze stav p spolu s incidentními hranami odstranit bez toho, aby se změnil přijímaný jazyk (0 bylo k množině {E\, En} přidáno pro případ, že uvedená množina je prázdná; připomeňme 0* — {e}). Pokud má stav p tu vlastnost, že do něj žádná hrana nevchází, resp. z něj žádná hrana nevychází, je p z počátečního stavu x nedosažitelný, resp. nelze z něj dosáhnout koncového stavu y. V takovém případě můžeme p odstranit aniž bychom nějaké hrany přidávali - tato úprava přijímaný jazyk nezmění. Po odstranění všech stavů různých od x a y zůstanou tyto dva stavy spolu s konečně mnoha hranami z x do y (hrana z x do x, nebo z y do y pomocí výše uvedené transformace vzniknout nemůže). Nechf {E\,..., Em} je množina všech regulárních výrazů, které se na těchto hranách vyskytují. Všechny hrany pak můžeme odstranit a přidat jedinou hranu s ohodnocením E\ + ■ ■ ■ + Em + 0. Tato úprava přijímaný jazyk rovněž nezmění. Obdržíme tak přechodový graf M.' se dvěma stavy a jedinou hranou. □ Shrnutí obou předchozích vět by bylo jen opakováním Kleeneho věty - viz 2.63. 2.3 Vlastnosti regulárních jazyků 2.3.1 Uzáverové vlastnosti regulárních jazyků - část II Již dříve jsme ukázali, že třída regulární jazyků je uzavřena vůči sjednocení, průniku, kom-plementu, zřetězení a iteraci (viz část 2.2.3). Díky Kleeneho větě lze velmi snadno ukázat, že třída regulárních jazyků je uzavřena vůči operaci (regulární) substituce. 48 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY F2.(E1+E2+(l)'.G1 F1.(E1+E2+(l)".G2 Obrázek 2.4: Eliminace stavu regulárního přechodového grafu. Věta 2.67. Nechi E je konečná abeceda a f : E —>• A substituce taková, že f (a) je regulární jazyk nad A pro každé a G E. Pak pro každý regulární jazyk L je též f (L) regulárním jazykem. Důkaz. Nechf E je regulárni výraz takový, že L (E) — L a Ea jsou regulární výrazy takové, že L(Ea) — f (a) pro každé a G E. Pokud pro každé a dosadíme do E za každý výskyt symbolu a odpovídající regulární výraz Ea, získáme opět regulární výraz, řekněme F, a to takový, že L(F) — f (L). Formální důkaz korektnosti těchto dosazení lze provést indukcí vzhledem k počtu operátorů v regulárním výrazu, přičemž bychom vzali v potaz, že /(Li U L2) — /(Li) U /(L2) a analogicky pro zřetězení a iteraci. □ Věta 2.68. Třída regulárních jazyků je uzavřena vůči homomorňsmu a inversnímu homo-morňsmu. Důkaz. Uzavřenost vůči homomorfismu okamžitě plyne z uzavřenosti vůči substituci: každý homomorfismus h je substitucí, kde každé h(a), a G E, je jednoprvkový jazyk. Abychom ukázali uzavřenost vůči inversnímu homomorfismu, mějme DFA M. — (Q, E, S, qo, F) takový, že L — L(A4) a homomorfismus h z A do E*. Zkonstruujme DFA M! akceptující h~x (L) tak, že čte symbol a G A a simuluje činnost M. nad h(a). Formálně M! — (Q, A, S', qo,F), kde pro všechna a G A a g G Q definujeme ô'(q, a) — S(q, h(a)). Poznamenejme, že h(a) je slovo (dokonce může být i prázdné), avšak ô jako rozšířená přechodová funkce je definována pro všechna slova. Indukcí vzhledem k délce slova x lze snadno ukázat, že S'(qo,x) — S(qo, h(x)), a tedy M! akceptuje x právě když M. akceptuje 2.3.2 Ekvivalence konečných automatů a regulárních gramatik Na začátku této kapitoly již byla zmínka o tom, že pojem regulárního jazyka byl vlastně definován dvakrát - nejprve pomocí regulární gramatiky (viz část 1.2.2) a pak ještě jednou pomocí konečného automatu. V této části dokážeme, že tato nejednoznačnost je nezávadná, nebof třídy jazyků, které lze generovat regulárními gramatikami, resp. rozpoznat konečnými automaty, jsou stejné. Začneme tím, že ukážeme, jak lze k dané regulární gramatice sestrojit ekvivalentní nedeterministický konečný automat (uvědomme si, že není podstatné, jestli jde o automat deterministický, nedeterministický, nebo dokonce s e-kroky, protože všechny uvedené h(x), tj. L(M') = h-1 (L(M)). □ 2.3. VLASTNOSTI REGULÁRNÍCH JAZYKŮ 49 modely jsou navzájem ekvivalentní ve smyslu vět 2.43 a 2.48). Myšlenka důkazu je jednoduchá - stavy automatu budou odpovídat neterminálům gramatiky, tj. pro každý neter-minál A bude existovat stav A. Pro každé pravidlo A —>• aB přidáme do S(A, a) stav B. Abychom se mohli vypořádat také s pravidly tvaru C —>• a, zavedeme speciální koncový stav qf, který přidáme do S(C, a). Počáteční stav bude 5, koncový stav qf a případně také 5, pokud gramatika obsahuje pravidlo 5 —>• e. Lemma 2.69. Ke každé regulární gramatice Q — (N, T,, P, S) existuje nedeterministický konečný automat M. — (Q, E, 5, g0, F) takový, že L(Q) — L{M). Důkaz. Položme • Q = {Ä | A G N} U {qf}, kde qf N. • qo = S. • S je nejmenší funkce Q x e —>• 2® splňující: - Pokud A —>• aP je pravidlo v P, pak B G 5(^4, a). - Pokud A —>• a je pravidlo v P, kde o^e, pak e 5(^4, a) {{5, g/} pokud 5 —>• e je pravidlo v P, {* ai ... cikB, kde ai,...,ak£e,B6JV ^=^> P e 5(5, a\ ... ak), kde B ^ qf Důkaz provedeme indukcí vzhledem ke k: • k — 0: Pak nutně B — 5, P — S a obě strany dokazované ekvivalence (a tedy i ekvivalence samotná) platí. • Indukční krok: Platí 5 =^>* ai... a^+iB ^=4> 5 =^>* ai... a^C => a\... a^+iB (tedy C —>• ak+iB G P) <í=^> C G 5(5, ai ... afc) (indukční předpoklad), P e 5(C, afc+i) B eô(S,a1...ak+i). Nyní lze již snadno ukázat, že w G P( w G L(A/Í). Pokud w — e, platí e G L(£) ^> 5 e G P ^=4> 5 G P ^> e G L (M). Nechf tedy w ^ e, tj. w = va, kde f G e*, a G e. Platí va G L( 5 -uP ^> í;a (tedy P ->• a G P) ^=^> P G ô(S,v),qf G ô(B,a) ^=4> g/ G ô(S,va) ^=4> vo G P(A-f). Je dobré si uvědomit, že poslední ekvivalence platí proto, že M. nemůže akceptovat neprázdné slovo pomocí stavu 5 - pokud 5 G P, obsahuje P pravidlo 5 —>• e, a tedy 5 se nevyskytuje na pravé straně žádného pravidla; v automatu M. pak do stavu 5 nevedou žádné přechody. □ Příklad 2.70. Nechí Q = ({5, A, P, C, D}, {a, b, c, d}, P, S), kde P obsahuje pravidla S^aA\bB\e C ^aA\cD A^bC\b D^aC\bB B^dD\a 50 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Ekvivalentní nedeterministický konečný automat má tento tvar: Způsob, kterým lze naopak ke každému konečnému automatu sestrojit ekvivalentní regulárni gramatiku, je do určité míry ,inverzní' ke konstrukci použité v důkazu předchozího lemmatu. Neterminály budou odpovídat stavům, pravidla budou simulovat přechodovou funkci. Je tu však jeden problém - pokud automat přijímá prázdné slovo (tj. počáteční stav je koncovým stavem), musí každá ekvivalentní gramatika nutně obsahovat pravidlo S —>• e, kde S je kořen. Pak se ale S nesmí vyskytovat na pravé straně žádného pravidla (viz část 1.2.2). Přitom je ale možné, že některé přechody automatu končí v počátečním stavu a mají být simulovány pravidly, které mají na pravé straně S, což by vedlo ke konfliktu s požadavkem pravostranných výsktů S. Tento problém vyřešíme tak, že ke zkonstruované gramatice (mající jak S —>• e, tak i pravostranné výskyty S) lehce nalezneme ekvivaletní gramatiku splňující (jak vidno, v případě typu 3 čistě formální) požadavky definice z 1.2.2. Lemma 2.71. Pro každý konečný automat M. — (Q, e, S, qo, F) existuje regulární gramatika Q = (N, e, P, S) taková, že L(M) = L{Q). Důkaz. Bez újmy na obecnosti předpokládejme, že M. je nedeterministický. Nechf • N' = {q \q G Q}. • P' je nejmenší množina pravidel splňující: - Pokud p G ô(q, a), jeq^ap pravidlo v P'. - Pokud p G ô(q, a) a p G F, je q —>• a pravidlo v P'. Gramatika Q' — (N', e, P',qô) je zřejmě regulární, protože pravidla jsou předepsaného tvaru. Podobně jako v předchozím důkaze, tentokrát však jen pro neprázdná slova (problém s e v případě q0 e F vyřešíme posléze) ukažme platnost tvrzení: 6(q0, ai .. .ak) n F ^ 0, kde k > 1, aí}..., ak G e ^=4> % ax... ak Indukcí vzhledem k délce akceptovaného slova, tj. ke k: • k — 1: pro p G F, p G ô(qo, a) ^=4> qô —>• « je pravidlo v P' ^=^> qô =>* «■ • Indukční krok: pro p E F, platí p e ô(qo, a±... ak+i) <í=^> existuje stav q takový, že q e ô(q0,ai ... ak) a p G ô(q, ak+i) ^=4> qô ^* a\ .. . akq (podle indukčního předpokladu) ag^ ak+\ je pravidlo v P1 <í=^> qô ^* «i ■ ■ ■ «fe+i- Tedy pro každé to/e platí w G L(A4) ^=^> w G L(Q'). (*) Je-li g0 G í1, pak e G L(M); v tomto případě — L(M) \ {e}. Abychom obdrželi hledanou Q — (N, T,, P, S) položme N — N' U {S}, kde S Q a 2.3. VLASTNOSTI REGULÁRNÍCH JAZYKŮ 51 P = p' u {S e} U {S a | qo- a}. Přidali jsme tedy nový neterminál (je nyní kořenem) a zajistili, aby jej bylo možné přepsat na cokoliv, na co se přepisoval kořen % (viz poslední sčítanec v definici P). Konečně do množiny pravidel jsme přidali kýžené S —>• e. Jelikož S je nově přidaný symbol, zcela jistě se nevyskytuje na žádné pravé straně v P. Zřejmě L(Q) — L(Q') U {e} — L(A4). Je-li q0 £ F, tj. s i L(M), pak stačí položit N = N', P = P' a S = • aql | e qi ->• aqo~ \ bq^ \ a \ b qô ->• aqi qž ^bqj Okamžitým důsledkem lemmat 2.69 a 2.71 je: Věta 2.73. Třídy jazyků, které lze generovat regulárními gramatikami, resp. rozpoznat konečnými automaty, jsou si rovny. 2.3.3 Rozhodnutelné problémy pro třídu regulárních jazyků Studujeme-li nějakou třídu jazyků (generovanou jistým typem gramatik či automatů), pak je zajímavé ptát se na existenci algoritmů (tzv. rozhodnutelnost či algoritmickou řešitelnost) jistých přirozených problémů. Máme-li dány dvě libovolné gramatiky (alternativně automaty) Q a Q' uvažovaného typu, pak nejtypičtějšími obvykle jsou tyto problémy: 1. ekvivalence: jsou Q a Q' ekvivaletní? Přesněji řečeno: existuje algoritmus, který pro dvě libovolné dané gramatiky Q a Q' (z uvažované třídy) rozhoduje, zda jsou ekvivaletní? Poznamejme, že obecně se nemusí jednat pouze o jazykovou ekvivalenci, tj. rovnost jazyků. 2. inkluse (jazyka): platí L(Q) C L(Q') ? (opět ve výše uvedeném smyslu existence algoritmu - podobně i u všech dále uvedených problémů). Obecněji se jedná o problém tzv. simulace vzhledem k danému uspořádání. 3. příslušnost (slova k jazyku): je-li dáno libovolné slovo w G E*, platí w G L(Q) ? 4. prázdnost (jazyka): je L(Q) —%1 5. universalita (jazyka): je L(Q) — E* ? (E je terminálni abeceda Q) 6. konečnost (jazyka): je L(Q) konečný jazyk? 7. regularita (jazyka): je L(Q) regulární jazyk?5 (či obecněji - srv. s poznámkou o ekvi-valeci v 1: existuje ke Q ekvivaletní regulární gramatika nebo konečný automat?) V předchozím textu jsme se již setkali s celou řadou algoritmů, které sloužili převážně pro transformaci (tj. „překlad") mezi různými typy popisných formalismů. Samotný pojem „algoritmus" ovšem nebyl nijak blíže vysvětlen ani definován; spoléhali jsme (a spoléháme) 5. pro regulární jazyky je tento problém rozhodnutelný triviálně, což pro ostatní třídy neplatí 52 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY se na to, že je intuitivně jasný. Z ryze matematického hlediska je takový postup samozřejmě nepřípustný. Vše uvedeme na pravou míru v kapitole 5, kde je problematika formální definice algoritmu podrobněji rozebrána. V této části budeme přitom předpokládat, že regulární jazyky jsou reprezentovány deterministickými konečnými automaty. Věta 2.74. Problém, zda libovolný daný regulární jazyk L nad abecedou E je prázdný, resp. roven E*, je rozhodnutelný. Důkaz. Nechť M. — (Q, E, S, qo, L) je deterministický konečný automat s totální přechodovou funkcí, rozpoznávající jazyk L. Zřejmě L je prázdný, právě když mezi dosažitelnými stavy automatu M. není žádný prvek F; tuto podmínku lze algoritmicky ověřit, neboť množinu dosažitelných stavů M. lze zkonstruovat užitím algoritmu 2.1. Dále L — E*, právě když co-L — 0. Jak již víme, je třída regulárních jazyků uzavřena na komplement: jazyk co-L je rozpoznávaný deterministickým automatem M. - viz poznámka 2.11. Stačí tedy výše uvedeným způsobem otestovat prázdnost jazyka L(M). □ Poznámka 2.75. Tvrzení předchozí věty lze též dokázat tak, že ukážeme platnost tvrzení: Jazyk rozpoznávaný konečným automatem M. o n stavech je neprázdný, právě když M. akceptuje alespoň jedno slovo délky menší než n. K důkazu lze využít přímo lemma o vkládání, resp. úvahy uvedené v jeho důkazu. Věta 2.76. Problém, zda libovolný daný regulární jazyk L je konečný, resp. nekonečný, je rozhodnutelný. Důkaz. Nechť M. — (Q, E, S, qo, F) je deterministický konečný automat, rozpoznávající jazyk L. Označme n — card(Q). Dokážeme, že L je nekonečný, právě když M. akceptuje alespoň jedno slovo w G E* s vlastností n < \w\ < 2n: (=4>) Je-li L nekonečný, nutně obsahuje alespoň jedno slovo u délky alespoň n (de facto je takových slov samozřejmě nekonečně mnoho). Je-li \u\ < 2n, jsme hotovi. V opačném případě lze slovo u rozdělit na tři části u — xyz tak, že 1 < \y\ < n a x z G L (viz lemma 2.13 o vkládání). Pokud je délka slova x z stále větší než 2n, celý postup opakujeme; po konečném počtu opakování dostaneme slovo w požadovaných vlastností. (^=) Jelikož \w\ > n, musí automat M. při akceptování slova w projít dvakrát stejným stavem; slovo w lze tedy rozdělit na tři části w — xyz tak, že \y\ > 1 a platí xylz G L pro každé z G No (viz důkaz lemmatu 2.13 o vkládání), tedy L je nekonečný. To, zda M. akceptuje alespoň jedno slovo w takové, že n < \w\ < 2n, lze algoritmicky ověřit - těchto slov je konečně mnoho, můžeme tedy „vyzkoušet" každé z nich. □ Věta 2.77. Problém rovnosti libovolných daných regulárních jazyků je rozhodnutelný. Důkaz. Pro libovolné L\, L% platí: (Li — L?) <í=^> (Li n co-L?) U (co-Li n L2) =0. Pro Li, L2 regulární lze všechny uvedené operace algoritmicky realizovat (viz 2.11). Zbytek plyne z rozhodnutelnosti problému prázdnosti regulárního jazyka ( 2.74). □ 2.3. VLASTNOSTI REGULÁRNÍCH JAZYKŮ 53 Uvedený důkaz obsahuje i návod na konstrukci algoritmu pro rozhodování problému, zda Li = L2.Nechť L\, L2 j sou po řadě rozpoznávány DFAAfi — (Qi, E, Si, q±, Fi) a M.2 — (Q2, E, S2, q2, F2) s totálními přechodovými funkcemi (je důležité, že oba automaty mají stejnou vstupní abecedu; tento předpoklad je bez újmy na obecnosti, neboť v opačném případě lze abecedy sjednotit a přechodové funkce znovu zúplnit). Položme M.% — (M.1 íňi Jžh) W (MlH M2). PakLi=L2 ^=4> L(M (Li ^ L2) ^> 3w G (Li n co-L2) U (co-Li n L2). Hledejme tedy množinu R dosažitelných stavů synchronního paralelního spojení automatů Á4i a M.2 (viz poznámka 2.11). R bude obsahovat aspoň jednu dvojici (p, q) z množiny Fi x (Q2 - F2) U (Qi - Fi) x F2 právě když 3w G (Li n co-L2) U (co-Li n L2) (Li 7^ L2). Tedy definujme množinu R C Qx x Q2 takto: i? = {(r, s) I 3w e E* : r = 5i(gi,w) As — ô2(q2, w)} Právě jsme tedy ukázali, že L(M.1) ^ L(A42) právě když i? obsahuje alespoň jednu dvojici stavů z (L\ x (Q2 — F2)) U ((Qi — Fi) x F2), či ekvivaletně vyjádřeno: Lemma 2.78. L(M.1) — L(A42) právě když R obsahuje pouze takové dvojice, vekterých jsou obě komponenty současně buď koncové nebo nekoncové stavy. Důkaz. Důkaz uvádíme jen pro snazší čtenářovu orientaci. Ukažme (srovnej s poznámkou 2.11 as konstrukcí dosažitelných stavů v důkazu lemmatu 2.19), jak lze množinu R algoritmicky zkonstruovat; vyjdeme z toho, že R lze přirozeně aproximovat tak, že v její definici položíme omezení na délku slova w. Obdržíme tak systém množin Ri, kde i e No, definovaný takto: Ri — {(r,s) I 3w G E* : \w\ < i A r — 5i(qi,w) As — ó2(q2,w)} Platí tedy 00 R = (J Ri (2.7) i=0 Každou z množin Ri lze ovšem snadno zkonstruovat na základě induktivního předpisu: • Ro = {(91,92)} • Ri+1 = Ri U {(5i(r, a),S2(s, a)) \(r,s)eRi A a e E} Označme n — card(Q\ x Q2). Jelikož Ri C a každá z množin Ri je podmnožinou Qi x Q27 nutně existuje k < n takové, že R]„ — Rk+i- Z induktivního předpisu pro Ri je vidět, že množina Rk+i závisí pouze na množině Rk - proto dokonce platí Rk — Rk+j pro libovolné j G No- Vztah 2.7 lze tedy přepsat do tvaru fe R={JRl = Rk (2.8) i=0 Tím je formálně dokázána správnost i konečnost algoritmu 2.4. □ 54 KAPITOLA 2. REGULÁRNÍ JAZYKY A KONEČNÉ AUTOMATY Algoritmus 2.4 Test rovnosti regulárních jazyků. Vstup: DFA Mj — (Qj, E, ôj,qj, Fj),j — 1, 2 s totálními ôj. Výstup: YES jestliže L (Mi) = L(M2), NO jinak. í := 0; R0 := {(q!,q2)}; repeat i?í+i := ižj U {(5i(r, a), 52(s, a)) (r,s)efi,Aa£ E}; if obsahuje dvojici (p, q), kde p e Fi^=/=> q E F2 then return NO; end if i :— í + 1; until i?i = Ri-i return YES; Algoritmus 2.4 je ve skutečnosti mírně zoptimalizovaný; test, zda R obsahuje „nedovolené" dvojice, se provádí po každé iteraci a pokud uspěje, algoritmus se ihned ukončí. Alternativně lze větu 2.77 (i s implicitně obsaženým algoritmem) dokázat takto: nechť L\ a L2 jsou regulární jazyky, po řadě rozpoznávané DFA M\ a M2. Ke každému z nich lze sestrojit minimální DFA M\, resp. M'2. Pak Li — L2 právě když M\ a M'2 jsou isomorfní (liší se jen pojmenováním stavů). Ověření tohoto isomorfismu, jako isomorfismu dvou přechodových grafů s konečně mnoha stavy (uzly), je jistě algoritmicky realizovatelné, či jinak řečeno rozhodnutelné. Tím je důkaz ukončen. Abychom však výše zmíněný isomorfismus nemuseli ověřovat zkoumáním všech možností, je vhodné si uvědomit, že každý automat (a tedy i M'i a M'2 z výše uvedeného důkazu) lze převést do jistého standardizovaného (tzv. kanonického) tvaru. Můžeme totálně uspořádat vstupní abecedu E — {cii,... am}, cii < cij+i a stavy postupně systematicky očíslovat: počátečnímu stavu přiřadíme číslo 1 a postupně procházíme všechny jeho následníky, tj. nejprve pro a,\ atd. až po am. Pokud najdeme následníka, který ještě nemá přiřazeno žádné číslo, přiřadíme mu nové, dosud nepoužité číslo; například bylo-li poslední přiřazené číslo i, přiřadíme jako nové číslo i+í. Pokud najdeme následníka, který již přiřazeno číslo má, neděláme nic. Takto zpracujeme všechny stavy, a to postupně dle jim přiřazených čísel. Detaily tohoto algoritmu ponecháváme čtenáři. Jen si uvědomme, že časově náročný test na isomorfismus dvou přechodových grafů lze převodem do kanonického tvaru nahradit jednoduchým testem na identitu přechodových grafů odpovídajících automatů v kanonickém tvaru. 2.4 Aplikace regulárních jazyků a konečných automatů S omluvou: jen stručně (výčtem) zmiňme několik z mnoha aplikačních oblastí. Vyhledávání vzorů (tzv. pattern matching) - například vyhledávání v textu (editory, textové systémy), v DNA sekvencích a v celé řadě dalších oblastí. Například v Unixu se 2.4. APLIKACE REGULÁRNÍCH JAZYKŮ A KONEČNÝCH AUTOMATU 55 jedná o programy grep - vyhledávání podle zadaného regulár. výrazu (RE); algoritmus implementující NFAů egrep - vyhledávání podle zadaného tzv. rozšířeného RE (viz uzavřenost na průnik a kom- plement); rychlý algoritmus(DFA), který může mít exponenciálně mnoho stavů, f grep - vyhledávání podle zadaného řetězce (rychlý, paměfově nenáročný DFA, jehož základem je tzv. Knuth-Morris-Prattův algoritmus - jedna z perel mezi algoritmy). Další použití regulárních vyřazuje například v emacs, vi, sed, sh,____ Rozpoznávání a zpracování lexikálních jednotek, například při automatizované konstrukci lexikálních analyzátorů v překladačích programovacích jazyků, v počítačové lingvistice a dalších. Opět v OS Unix jde o program lex (či jeho uživatelsky komfortnější variant f lex) - generuje C programy (deterministické FA), které mají být použity při nejrůznějším zpracování lexikálních jednotek. Speciňkace a veriňkace konečně stavových systémů, jak hardwerových, tak i softwarových, například komunikačních a řídicích protokolů. Zpracování obrazů (image processing). Jednoduché, ale velmi silné rozšíření FA na tzv. vážené konečné automaty (weighted FA), kdy přechodům a stavům jsou přiřazeny jistá čísla - váhy (např. u stavu určuje stupeň šedi daného pixelu). Konečné automaty nad nekonečnými slovy - reaktivní (paralelní a distribuované ) systémy. Konečné automaty s výstupem, tzv. překladové automaty - návrh hardwarových obvodů a řada dalších. KAPITOLA 2. REGULÁRNI JAZYKY A KONEČNE AUTOMATY Kapitola 3 Bezkontextové jazyky a zásobníkové automaty V této kapitole se budeme podrobněji zabývat bezkontextovými gramatikami (dále často jen CFGs či CFG pro singulár) a jazyky jimi generovanými - bezkontextovými jazyky (CFL). Podobně jako regulární jazyky mají též CFL i značný praktický význam, například při definici syntaxe programovacích jazyků, formalizaci pojmu syntaktická analýza a návrhu překladu programovacích jazyků a dalších. Pro ilustraci uveďme, že pomocí CFGs jsme schopni popsat dobře uzávorkované aritmetické výrazy, blokovou strukturu v programovacích jazycích či obdobnou strukturu například v sázecím systému ETpX(tj. dobré uzávorkování pomocí závorek begin a end,..., závorky typů \begin{itemize}, \end{itemize},..., \begin{description}, \end{description} - obecně tedy půjde o popis dobrého uzávorkování jazyka obsahujflio závorky (i, )i, ..., („, )„, n > 1 ). Žádný z těchto rysů nelze popsat pomocí regulárních gramatik, jak již ostatně víme z předchozí kapitoly (jazyk {0™l™|n > 0} není regulární). V části 3.2 zavedeme tzv. zásobníkové automaty, které akceptují právě CFL a ukážeme základní principy, na nichž jsou založeny transformace CFG na (jazykově) ekvivaletní zásobníkové automaty a naopak. Na závěr této kapitoly pak budeme v 3.3 studovat některé základní výsledky široce rozpracované teorie CFL, které nám například umožní vhodně upravovat/transformovat CFG, rozhodovat, zda daný jazyk je či zejména není CFL a další užitečné vlastnosti této třídy jazyků. 3.1 Bezkontextové gramatiky 3.1.1 Derivační stromy V gramatice je možné, aby různé derivace byly ekvivaletní v tom smyslu, že všechny tyto derivace používají stejná pravidla na stejných místech, tj. jsou aplikována na stejné výskyty neterminálů, avšak v různém pořadí. Zatímco definice takové ekvivalence je pro gramatiky typu 0 poněkud komplikovaná, lze v případě bezkontextových gramatik zavést pro třídu ekvivalentních derivací jednoduchou grafovou reprezentaci, tzv. derivační strom (někdy též zvanou strom odvození). Alternativně lze reprezentovat ve výše uvedeném smyslu ekvivalentní derivace jistými kanonickými derivacemi, v nichž aplikujeme pravidla jistým standardizovaným postupem (např. v každém kroku derivace přepisujeme ve větné formě nej- 57 58 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY levější neterminál, resp. nejpravější neterminál. Každou takovou derivaci nazveme levou resp. pravou deúvací. Uzly derivačního stromu v libovolné dané CFG Q jsou označeny návěštími, která jsou buď terminály nebo neterminály, případně e. Má-li vniřní uzel n návěští A a jeho bezprostřední následníci (dále jen synové) mají zleva doprava po řadě návěští X\,..., Xn, pak A —>• Xi,..., Xn musí být pravidlem v Q. Formálně řečeno: Definice 3.1. Nechť Q — (N, E, P, S) je CFG. Strom T nazveme derivačním stromem v Q právě když platí tyto podmínky: 1. každý uzel má návěští, které je symbolem ziVUEU {e}, 2. kořen má návěští S, 3. má-li vnitřní uzel návěští A, pak A E N, 4. má-li uzel n návěští A a jeho všichni synové n1;..., nk mají v uspořádání zleva doprava návěští Xi,..., Xk, pak A —>• Xi... Xk G P, 5. má-li uzel n návěští e, pak n je list a je jediným synem svého otce. Výsledkem derivačního stromu T nazveme slovo vzniklé zřetězením návěští listů v uspořádání zleva doprava. Příklad 3.2. NecM G0 je gramatika s pravidly E ->• E + T \ T T T * F I F F (E) | z pak derivační strom reprezentuje deset vzájemně ekvivalentních derivací, například 1. E^>E + T^>T + T^>F + T^>i + T^>i + F^>i + i nebo 2. E^>E + T^>E + F^>E + i^>T + i^>F + i^>i + i a též 3. E^>E + T^>T + T^>T + F^>F + F^>F + i^>i + ia další. Všimněme si, že 1 je levá, kdežto 2 je pravá derivace. Věta 3.3. Necht G = (N, E, P, S) je CFG. Pak pro libovolné a G (N U E)* platí S a právě když v Q existuje derivační strom s výsledkem a. Důkaz. Je-li G = (N, E, P, S) CFG a A e N, deŕinujmeme QA = (N, E, P, A), tj. gramatiku s týmiž pravidly jako Q, která však má kořen A. Důkaz povedeme tak, že nejprve ukážeme silnější tvrzení: 3.1. BEZKONTEXTOVÉ GRAMATIKY 59 \/A G N. (A =^>* a <í=4> v Q a existuje derivační strom s výsledkem a). (*) Tvrzení věty pak obdržíme specializací A — S. I. (<=) Předpokládejme, že a je výsledkem derivačního stromu, který má k vnitřních uzlů a indukcí vzhledem ke k ukažme, že pak A =^>* a. 1. k — 1. Existuje-li ve stromu jediný vnitřní uzel, A pak Xi ... Xn pro a — Xi ... Xn z definice derivačního stromu (bod 3. a 4.) plyne, že A —>• a G P. 2. k > 1. Předpokládejme (IP), že dokazované tvrzení platí pro stromy, které mají nanejvýš k — 1 vnitřních uzlů. Nechť a je výsledkem stromu s k vnitřními uzly. Následníci kořene (označme je 1,... rí) nejsou jen samé listy (mimo kořen zde musí být ještě aspoň jeden vnitřní uzel, protože k > 1) a nechť jejich návěští jsou v uspořádání zleva po řadě Xi ... Xn. Pak jistě A^X1...XneP. Nyní: (a) Je-li uzel i vnitřním uzlem, pak je současně kořenem nějakého podstromu Tj a Xi G N. Podstrom Ti má nejvýše k — 1 vnitřních uzlů a je stromem v Qxt s výsledkem cti. Dle IP ]&X, =^>* cti. (b) Je-li uzel i listem, pak Xi — cti (tedy triviálně Xi cti). Zřejmě a — ct\ ... ctn, a tedy celkem dostáváme A => XYX2...Xn ctxX2 ...Xn (dle IP, je-li Xx G N; triv. pro Xx G E) ai«2 ■ ■ ■ an-iXn ( dtto ) CtiCt2---Ctn —oi tj.A a II. Předpokládejme, že A a a máme ukázat,že v Q a existuje derivační strom s výsledkem a. Tentokrát použijeme indukci vzhledem k délce odvození A a. 1. Je-li A a, tj. v jednom kroku, pak i^aePaz definice derivačního stromu dostáváme existenci stromu s výsledkem a. 2. Předpokládejme (IP), že je-li A a v méně než k krocích, pak v Q a existuje derivační strom s výsledkem a (IP). Nechť tedy A a v k krocích a nechť 1. krok je tvaru A —>• Xi ... Xn. Zřejmě každý symbol v a je buď některé z Xi ... Xn nebo je symbolem v řetězu odvoditelného z některého z nich, a to v méně než k krocích (dle IP platí pro něj dokazované tvrzení). Dále, ta část a, která je odvoditelná z Xi leží vlevo od té části a, která je odvoditelná z Xj pro i < j. Můžeme tedy psát a — cti ... ctn, kde Xi cti a označme takový podstrom Tj. 60 KAPITOLA 3. BEZKONTEXTOVE JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Hledaný derivační strom nyní zkonstruujeme takto: začneme s konstrukcí odpovídající prvnímu kroku odvození, tj. A =>• Xi... Xn a dostaneme a dále každé Xi nahradíme stromem T (je-li Xi terminál, je náhrada triviální - nic nenahrazujeme). Výsledkem takto vzniklého stromu je zřejmě a. Tím jsme dokázali tvrzení (*); tvzení věty obdržíme (specializací) tak, že v (*) Specielně tedy pro terminálni řetěz w platí, že w G L(Q) právě když v Q existuje derivační strom s výsledkem w. Není těžké ukázat, že každému derivačnímu stromu v CFG odpovídá jediná levá derivace a obráceně, každé levé derivaci odpovídá jediný derivační strom. (Například v důkazu předchozí věty byla k derivačnímu stromu s kořenem A a výsledkem a nalezena levá derivace větné formy a z A za předpokladu, že každá z Xi =^>* a.i byla levou derivací.) Analogické tvrzení platí o vzájemně jednoznačné korespondenci mezi derivačními stromy a pravými derivacemi (a tedy i mezi levými a pravými derivacemi). Každý, kdo programuje v jazyce Pascal, jistě ví, že existují CF gramatiky, v nichž má jedna věta či větná forma několik různých derivačních stromů. Příklad 3.4. Mějme gramatiku s pravidly Pak například věta if b then if b then a else a má dva různé derivační stromy, které odpovídají interpretaci if b then (if b then a) else a resp. if b then (if b then a else a). Zkonstruujte oba stromy! Definice 3.5. CFG Q se nazývá víceznačná (nejednoznačná) právě když existuje w G L (Q) mající alespoň dva různé derivační stromy. V opačném případě říkáme, že Q je jednoznačná. Jazyk L se nazývá vnitřně (inherentně) víceznačný právě když každá gramatika, která jej generuje, je víceznačná. Příklad 3.6. Gramatika Q1 s pravidly E^-E + E\ E*E \ (E) \ i , která je ekvivaltní s gramatikou Qo z příkladu 3.2, je víceznačná; například proto, že věta í + í + í má dvě různé levé deúvace a jim odpovídající dva různé derivační stromy: A X n položíme A — S (Qs — G)- □ S ifb then S else S | ifb then S | a E E i i i i 3.1. BEZKONTEXTOVÉ GRAMATIKY 61 Nejednoznačnost gramatiky může v některých praktických aplikacích působit jisté obtíže: pokud nalezení derivačnflio stromu věty (například zdrojového textu programu) je základem pro stanovení významu věty, vznikl by v případě nejednoznačné gramatiky problém, který z těchto významů zvolit (nehledě k nárůstu časové i paměťové složitosti spojené s hledáním všech derivačních stromů). Ke gramatice Q\ z příkladu 3.6 lze zkonstruovat ekvivaletní jednoznačnou gramatiku Q2 s pravidly například E —>• E+T | E*T | T ; T ^ (E) \ i . Všimněme si však, že G0 z příkladu 3.2, na rozdíl od Q2, umožňuje postihnout (již na syntaktické úrovni) asociativitu tak, aby reflektovala i obvyklou prioritu operátorů, tj. že * váže silněji než +; věta i + í * í by v Q2 byla asociována zleva jako (i + i) * i. Poznamejme, že ne vždy lze k dané gramatice (resp. jazyku) nalézt ekvivaletní gramatiku, která by byla jednoznačná. Takovým vnitřně víceznačným jazykem je například L — {aí6Jcfe| i — j nebo j — k}. Intiutivně řečeno, každá gramatika generující L musí být schopna vytvářet jistou sadou pravidel jak slova spňující i — j, tak i jinou sadou pravidel slova s j — k, a tudíž nelze zabránit tomu, aby aspoň některá ze slov alblcl, tj. i — j — k nebyla generovatelná oběma různými způsoby. Jak ukážeme později, bohužel ani pro problém, zda libovolná daná CFG je (nejednoznačná neexistuje algoritmus. 3.1.2 Transformace bezkontextových gramatik Jak jsme již naznačili v závěru minulé sekce, bývá často výhodné modifikovat danou gramatiku Q tak, aby vytvářela takovou stukturu vět z L(Q), která by zajistila splnění některých kýžených vlastností jazyka či gramatiky. Mimo již zmíněné asociativity a jednoznačnosti je těchto vlastností (a jim korespondujících transformací) gramatik celá řada. Definice 3.7. Řekneme, že symbol X G N U E je nepoužitelný v CFG Q — (N, E, P, S) právě když v Q neexistuje derivace tvaru S =^>* wXy wxy pro nějaká w,x,y G E*. Řekneme, že Q je redukovaná, jestliže neobsahuje žádné nepoužitelné symboly. Poznámka 3.8. Povšimněme si, že výše uvedená dennice postihuje nepoužitelnost dvojího druhu: neexistence první části uvedené derivace říká, že symbol X e N U E se nevy skuje v žádné větné formě (jedná se o tvz. nedosažitelný symbol), kdežto neexistence druhé části zmíněné deúvace vyjadřuje skutečnost, že z neterminálu X nelze vyderivovat žádný terminálni řetěz (tzv. nenormovaný, někdy též redundatní netermináll). Poznamejme ještě, že existence obou zmíněných derivací ještě není postačující podmínkou pro použitelnost symbolu: X se může totiž objevit jen v takové větné formě, která obsahuje nenormovaný neterminál. Pokud z Q nepoužitelné symboly vypustíme, pak se L(Q) zřejmě nezmění. Řešme nejprve druhý z těchto problémů, tj. zda {w G E*\A w} — 0. Pokud pro tento problém nalezneme algoritmus, pak jeho existence implikuje (položením A — S) existenci algoritmu pro problém zda L(Q) — 0, či nikoli. Věta 3.9. Algoritmus 3.1 "Je L(Q) neprázdný?" vrací'ANO" ^=> 3w eE*.S w. 1. Normou neterminálu A obvykle rozumíme délku nejkratšího terminálního řetězu odvoditelného z A, pokud taková derivace existuje 62 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Algoritmus 3.1 Je L(Q) neprázdný? Vstup: CFG G = {N, E, P, S). Výstup: "ANO" je-li L(Q) ^ 0; "NE" v ostatních případech Dle následujících kroků konstruuj induktivně množiny Nq,N\, ... takto: i :— 0; Ao :— 0; (* inicializace *) (1) repeat i :—i + 1; (* iterace *) (2) Ni := Ni-! u -> a g P, a g (A^ u E)*} (3) until A^ = A^j-i; (* test ukončení *) (4) Ne := iVi; (5) if 5 g Ne then output("ANO") else output("NE"). (6) Důkaz. Poznamejme, že každá Ni je definována jako množina neterminálů, které lze v nejvýše i krocích přepsat na řetěz terminálni. Dokažme nejprve (opět) obecnější tvrzení: A g Ne ^=> 3w g E*.A =^>* w. (*) I.(=^) A g Ne =4> 3í. A g A^. Indukcí dokažme tvrzení: 3i. A g N => 3w g E*. A =>* w 1. i — 0 : platí triviálně, protože N0 — 0. (viz řádek (1) v Algoritmu 3.1) 2. i > 0 (IP): Předpokládejme, že dokazované tvrzení platí pro i. Nechf nyní A g A^+i: • je-li A rovněž prvkem z N, pak tvrzení plyne přímo z (IP). • je-li A g Ai+i \ A7*, pak existuje A ->• Aľi ... Aľfc e P, kde každé Aľj(l < j < k) je buď terminál, nebo neterminál patřící do A^ (viz řádek (3)). Tedy existují Wj tak, že Xj =^>* Wj pro všechna j g (í, k), Wj g E* (je-li Aľj e E, pak Wj — X j, jinak existence Wj plyne z (IP)). Tedy celkem A => Xi ... Xk =>* wiX2 ... Xk =>* ...=>* wi .. .wk, wi • • • wk g E* II. (<=) Definice množin A^ zajišťuje, že pokud nastane A^ — N-i, pak platí A^ — Ni+i — ■ ■ ■. Máme ukázat, že pokud A =^>* w pro nějaké w e E*, pak A g Ne, přičemž na základě předchozí poznámky stačí ukázat, že A E N pro nějaké i. Tedy indukcí dokažme: 4^iii,!De? A E N pro nějaké i. 1. n — 1, tj. A —>• w g P, w g E* okamžitě dává i — í (viz řádek (3) v Algoritmu 3.1). 2. n > 1 (IP): Předpokládejme, že dokazované tvrzení platí pro všechna n a nechf nyní A "A1 w. Pak zřejmě tuto derivaci lze rozepsat do tvaru A =>• X\... Xk =>• w, kde w — w\ ... wk takové, že Xj =4- Wj pro všechna j a kde n j < n. Je-li X j g N, pak dle (IP) je X j g Nj pro nějaké í j. Je-li X j g E, pak i, — 0. Položme í — í + m&x{íi,... ,ík}. Pak zřejmě A E N, čímž je důkaz indukcí ukončen. Položíme-li A — S v právě dokázaném tvrzení (*), dostáváme tvrzení věty. □ 3.1. BEZKONTEXTOVÉ GRAMATIKY 63 Poznamejme, že jsme právě dokázali, že pokud algoritmus 3.1 zastaví, pak dává koretkní odpověd. Důkaz, že algoritmus musí skončit, a to nejpozději po n + 1 iteracích (pro n — card(iV)), plyne okamžitě z faktu, že Ne C N - viz monotonie A^ vzhledem k inklusi (během iterace platí A^-i C A^) a tvaru testu ukončení. Celkem tedy máme: Důsledek 3.10. Existuje algoritmus, který pro libovolnou danou CFG Q rozhoduje, zda L(Q) = 0. Pro eliminaci nepoužitelných symbolů musíme ještě umět odstranit nedosažitelné symboly (viz Poznámka 3.8). Tuto činnost provádí Algoritmus 3.2. Algoritmus 3.2 Eliminace nedosažitelných symbolů Vstup: CFG Q — (N, E, P, S). Výstup: CFG Q' = (N', E', P', S) bez nedosažitelných symbolů: L {Q) = L{Q') Dle následujících kroků konstruuj induktivně množiny Vq, V\,... takto: i ■- 0; Vi := {S}; (* inicializace *) (1) repeat í i + 1; V* :=Vi_iU{X|3A(Ae Vi_iAA^aX/3eP)} (* iterace *) (2) until = Vi_i; (* test ukončení *) (3) N' :— N D Vt; E' E n V^; P':=Píl x ^*) (4) Ke korektnosti algoritmu 3.2 zbývá uvážit, že jeho ukončení je implikováno faktem, že Vi C U E, a tedy iteraci (2) - (3) lze provést jen konečně mnohokrát. Důkaz, že při skončení Q' neobsahuje nedosažitelné symboly spočívá v ukázání, že S aXf3 ^=4> 3i. X e Ví (indukcí vzhledek k i). Formální důkaz je ponechán čtenáři jako cvičení. Nyní jsme v situaci, kdy můžeme prezentovat algoritmus 3.3, který odstraňuje z CFG nepoužitelné symboly. Algoritmus 3.3 Eliminace nepoužitelných symbolů Vstup: CFG Q = {N, E, P, S) taková, že L(Q) ^ 0. Výstup: CFG Q' = {N', E', P1, S) bez nepoužitelných symbolů: L{Q) = L{Q') Použij algoritmus 3.1 se vstupem Q a s výstupem A^; (1) Polož g1 = {N n Ne, E, P1,S), kde P1 := P n (ATe x (ATe U E)*); Použij algoritmus 3.2 se vstupem výstupem je Q' — (N', E', P', S) (2) Krok (1) algoritmu 3.3 odstraňuje z (? všechny neterminály, které nemohou vygenerovat terminálni řetěz, krok (2) odstraní nedosažitelné symboly, tj. každý X e N' U E' se musí vyskytnout alespoň jednou v nějaké derivaci tvaru S wXy wxy. Konečně poznamenejme, že záměna pořadí kroků (1) a (2) obecně nevede k cíli (proč?). Věta 3.11. Každý neprázdný CFLje generován nějakou redukovanou CFG (tj. CFG bez nepoužitelných symbolů). 64 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Důkaz. Nechf L — L(Q) je neprázdný CFL a nechf Q\ a Q' jsou, jak uvedeno v algoritmu 3.3. Zřejmě L(Q) — L(Q') (kompozice transformací zachovávajích ekvivalenci). Předpokládejme, že Q' má nepoužitelný symbol X. Pak ovšem v Q' existuje derivace S =^>* aXf3 (viz krok (2)). Jelikož všechny symboly z Q' jsou též v Qi, pak (viz krok (1)) pro nějaký terminálni řetěz platí S =^>* aXf3 =^>* w, a tedy žádný symbol z derivace aXf3 =^>* w není krokem (2) eliminován. Tedy z X lze v Q' odvodit terminálni řetěz, což vede ke sporu s předpokladem, že X je nepoužitelný. □ Příklad 3.12. Nechi Q má pravidla {S ->• a\A,A ->• AB,B ->• 6} a aplikujme na ni algoritmus 3.3. Po kroku (1) máme Ne = {5, P}, takže (?i = ({5, B}, {a, b}, {S ->• a, B ^ b}, S); po kroku (2) obdržíme V2 = Vx = {S, a}, a tedy Q' = ({5}, {a}, {S a}, 5}. Poznamenejme, že pokud bychom na Q použili nejprve krok (2), tj. algoritmus 3.2, shledali bychom, že všechny symboly jsou dosažitelné - Q by se vůbec nezměnila. Následná aplikace kroku (1) by dala Ne — {S, B}, a tudíž bychom celkem dostali Q\ a nikoli Q'. Nyní se budeme zabývat eliminací pravidel tvaru A —>• e , tzv. e-pravidly. Pokud však L(Q) obsahuje e, pak zřejmě nelze eliminovat z Q všechna e-pravidla. def , Definice 3.13. Řekneme, že CFG Q — (N, E, P, S) je bez e-pravidel ^=> bud 1. P neobsahuje žádné e-pravidlo (tj. pravidlo tvaru A —>• e ) nebo 2. v P existuje právě jedno e-pravidlo S —>• e a S se nevyskytuje na pravé straně žádného pravidla z P. Algoritmus 3.4 Eliminace e-pravidel Vstup: CFG Q = (AT, E, p, 5) Výstup: CFG £' = (AT', E, P', S") bez e-pravidel: L(Q) = L(£') Zkonstruuj Ne — {A e N\A =^>* e} (* analogicky jako Ne z algoritmu 3.1 *); (1) Množinu pravidel P' zkonstruuj takto: for all A Xi... Xn e P do přidej do P' všechna pravidla tvaru A —>• ai... a„ z P splňující tyto podmínky: (2) (a) pokud X% i Ne (*tj. X, ^* e*), pak a, = (3) (b) pokud Xi G A^ (*tj. =^>* e*), pak a% je buď Xl7 nebo e; (4) (c) ne všechna jsou e; (* tj. nepřidávej pravidlo A —>• e *) (5) end for if 5 e iVe (6) then přidej do P' pravidla S" 5|e (S" ^JVU E); Nŕ :— N U {S'} (7) else AT' := AT; S' := 5 (8) Věta 3.14. Výstupní CFG Q' z algoritmu 3 A je bez e-pravidel a L(Q) = L(g)'. Důkaz. Snadno se nahlédne, že Q' je bez e-pravidel - viz řádek (5). Abychom ukázali, že L(G) = L(g)', lze ukázat, že A =^>* mjv5' ^=4> to^eAi^ w v £ Důkaz, který 3.1. BEZKONTEXTOVÉ GRAMATIKY 65 je ponechán čtenáři do cvičení, se vede indukcí vzhledem k délce derivace A =>• w v Q pro část analogicky pro obrácenou implikaci. Požadovanou jazykovou ekvivalenci pro neprázdná slova obdržíme položením A — S ve výše uvedeném tvrzení; fakt, že e e L(g) ^> e G L(gy je zřejmý z řádků (6) - (8). □ Další užitečnou transformací může být odstranění pravidel A —>• B, (A, B G N), která nazýváme jednoduchá pravidla. Algoritmus 3.5 Eliminace jednoduchých pravidel Vstup: CFG Q — (N, E, P, S) bez e-pravidel Výstup: CFG Q' — (N, E, P1, S) bez jednoduchých a e-pravidel: L {Q) = L{Q') foraWA^N do zkonstruuj Na — {B G N\A =>* B} takto (* opět: srv. s V0, Vi,... z alg. 3.2*): i := 0; Ni := {A}; (* inicializace: reflexivita =^>* *) (1) repeat i :— i + 1; (* iterace: transitivita =^>* *) (2) Ni := iVi_i U {C|P -> C G P, B G A^-i} (3) until Ni = /Yi_i; (* test ukončení *) (4) NA := JVi; (5) end for Množinu pravidel P' konstruuj takto: P' :— 0; for all B —>• a G P, které není jednoduché do přidej do P' pravidla A —>• a pro všechna A taková, že P G (6) end for Příklad 3.15. Mějme gramatiku Qo z přikladu 3.2 s pravidly: E^f E + T\ T T^T*F\F F^{E)\i Po skončení 1. cyklu (řádky (1) - (5)) dostaneme NE = {P,T,P}, NT = {T,P}, NF = {P}, což po skončení 2. cyklu (ř. (6)) dává výstupní gramatiku bez jednoduchých pravidel: E^E + T\ T*F\(E)\i T -+T*F\(E)\i F^{E)\i Věta 3.16. Gramatika Q' z algoútmu 3.5 je bez jednoduchých pravidel a L(Q) — L(Q)'. Důkaz. Množina pravidel P' je evidentně konstruována tak, že neobsahuje jednoduchá pravidla - viz řádek (6). Nejprve ukažme, že L(Q)' C L(Q). Mějme tedy w G L(Q)', tedy v Q' existuje derivace S — ccq =^ &i ■ ■ ■ => an = w. Bylo-li při kroku olí =>• a^+i použito v Q' 66 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY pravidlo A —>• f3, pak existuje nějaké B G Na (s možností A — B) takové, že v Q je A =^>* B a B ^ /3, a tedy i A =^>* /3 a a4 =^>* aí+i v Q. Odtud již snadno dostaneme, že v Q existuje derivace S =^>* w, tj. w G L (Q). Abychom ukázali platnost obrácené inkluse, tj. L(Q) C L(Q)', zvolme libovolné w G L(Q). Pak v č* existuje levá derivace S — «o =^ cki =^ ... ^ an = w. Pak lze nalézt posloupnost indexů íi,... ,ík složenou výhradně z j takových, že v Oj-i =>■ Oj nebylo použito jednoduchého pravidla (zejména derivace věty nemůže končit jednoduchým pravidlem, a proto ík — rí). Protože se jedná o levou derivaci, pak opakované použití jednoduchých pravidel nahrazuje neterminály na téže pozici v uvažované levé větné formě. Odtud vidíme, že v Q' je možná derivace S — «o =^ o^i =^ ■ ■ ■ =^ — w> tj. w "= L(Q)'. Celkem tedy máme žádané L(Q)' — L(Q). □ Definice 3.17. CFG Q — (N, E, P, S) se nazývá necyklická, právě když neexistuje A G N takový, že A A. Q se nazývá vlastní, právě když je bez nepoužitelných symbolů, bez e-pravidel a necyklická. A-pravidlem nazveme každé pravidlo tvaru A —>• a. Věta 3.18. Ke každému CFL existuje vlastní CFG, která jej generuje. Důkaz. Použitím výše uvedených algoritmů 3.3, 3.4 a 3.5 a odpovídajích tvrzení o jejich korektnosti. □ V dalším textu předpokládáme, že každá CFG je bez nepoužitelných symbolů a pokud nebude řečeno jinak, pak i vlastní. 3.1.3 Chomského normální forma, lemma o vkládání V této části nejprve ukážeme, že ke každé CFG existuje ekvivalení CFG v jistém speciálním tvaru, který je charakterizován zejména tím, že na pravých stranách pravidel vystačíme se dvěma výskyty neterminálů (přesná definice viz 3.19). Na základě tohoto tvrzení budeme schopni dokázat tzv. lemma o vkládání (obecně též známé jako pumping lemma) pro CFL, které nám umožní v některých případech dokázat, že daný jazyk není CFL. Definice 3.19. Řekneme, že CFG Q — (N, E, P, S) je v Chomského normální formě def (CNF) ^=4> ŕ? jebez e-pravidel (viz def. 3.13) a každé pravidlo z P (s eventuelní výjimkou S —>• e) má jeden z těchto tvarů: 1. A BC, kde B, C e N nebo 2. A —>• a, kde a G E. K důkazu tvrzení, že každý CFL je generovatelný nějakou CFG v CNF použijeme algoritmu 3.6; k důkazu jeho korektnosti využijeme následující lemma o substituci. Lemma 3.20. (o substituci) Necht g = (N, E, P, S) je CFG. Necht A ->• «^«2 G P je pravidlo a B —>• /3i |... \/3r jsou všechna B-pravidla z P. Necht dále Q\ — (N, E, Pi, S), kde P1 = (P\{A^ a1Ba2}) U {A -> ai/3ia2 | ■ ■ ■ KÄ-o^}- Pak L (Q) = L{Q)\. Důkaz. Zřejmě L(Q)i C L(Q), protože pokud je v derivaci v Q\ použito nějaké pravidlo A —>• u\p>iOL2, pak v Q lze použít A u\Bu2 ctif3ict2. K důkazu L(Q) C L(Q)i stačí uvědomit si, že A —>• ol\Bol2 je jediné pravidlo, které je v Q a není v Q\. Tedy kdykoli 3.1. BEZKONTEXTOVÉ GRAMATIKY 67 Algoritmus 3.6 Transformace do CNF Vstup: Vlastní CFG Q — (N, E, P, S) bez jednoduchých pravidel Výstup: CFG Q' = (N', E, P', S) v CNF: L(Q) = L(Q') P' je tvořena takto: P' :— 0; for all p G P do if pravidlo p je tvaru A —>• a nebo A^r BC nebo 5 —>• e then přidej p do P'; (1) if p = A —>• XX, kde aspoň jedno z Xi(í — 1, 2) je terminál then (2) . v v,• X{X^ ; (4) if p = A ->• Xi... Xk, k > 2 then (5) v d«/ j Xi} je-li I,eiV . poloz A4 = < (1 < z < k) (6) I nový neterminál, je-li X i G E a do P'přidej pravidla A ^ X'1(X2 ... Xk) (7) (X2...Xfc) ->■ X2{X3...Xk) (Xk-2 ■ ■ ■ Xk) ->• X^_2(Xfc_iXfc) (Xfc_!Xfc) ->• X'^X^ kde každé (Xj... X^) je nový neterminál end for for all neterminál tvaru a' nové zavedený v ř. (3) nebo (6) do do P' přidej pravidla a' —>• a (8) end for N' :— N U {všechny nové zavedené neterminály tvaru a' nebo tvaru (Xi... Xk)} (9) je v nějaké derivaci věty v Q toto pravidlo použito, pak neterminál B musí být přepsán v některém z pozdějších kroků derivace v Q\ pomocí nějakého P-pravidla, tj. P —>• Tyto dva kroky odvození v Q lze v gramatice Qi nahradit jedním krokem A u\p>iU2. □ Věta 3.21. NecM L je CFL. Pak L — L(G) pro nějakou CFG G v CNF. Důkaz. Bez újmy na obecnosti předpokládejme, že L je generován nějakou CFG Q, která je vlastní a bez jednoduchých pravidel, a tedy splňuje požadavky kladené na vstupní gramatiku algoritmu 3.6. Inspekcí tohoto algoritmu snadno zjistíme, že výstupní gramatika Q' splňuje požadavky CNF. Zbývá tedy ukázat, že L(Q) — L(Q'). Opakovaně použijme lemma o substituci (viz 3.20) nejprve na každé pravidlo v Q' obsahující nově zavedený neterminál a' a následně též na každé pravidlo s neterminálem tvaru (X ■ ■ ■ X)- Takto obdržíme původní gramatiku Q. Vzhledem k tomu, že jsme opakovaně použili pouze lemma o substituci, které zachovává ekvivalenci gramatik, pak tedy i Q a Q' jsou ekvivaletní. □ 68 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Příklad 3.22. Mějme Q s pravidly S ->• aAB \ BA A ->• BBB | a B^aS\AS\b Do množiny pravidel P' hledané gramatiky v CNF nejprve pridáme pravidla, která již požadavky CNF splňují, tj. S —>• BA, A —>• a, B —>• .AS | 6 (viz racřei (1) v algoritmu 3.6) V dalším kroku (viz r. (2)) procházíme pravidla s pravou stranou délky 2 obsahující alespoň jeden terminál: do P' tedypridámeB —>• a'S, kdea' je nový neterminál. Po tomto kroku máme zpracována všechna pravidla s délkou pravé strany nejvýše 2. Následující krok (viz řádky (5) - (7)) prochází pravidla s délkami pravých stran většími než 2 a do P' tedy díky pravidlu S —>• aAB postupně přidáme S —>• a' (AB), (AB) —>• AB a díky pravidlu A ->• BBB přidáme A ->• B(BB), (BB) ->• BS. Konečně v kroku (8) do P' přidáme pro všechny nově zavedené "čárkované" neter-minály pravidla, která je přepisují na původní terminály, tj. do P' přidáme a' —>• a. Poznámka 3.23. (O derivačních stromech gramatik v CNF) Uvědomme si, že (i) z každého uzlu derivačního stromu gramatiky v CNF vychází nejvýše 2 hrany a (ii) z uzlu vychází jedna hrana právě když tato vchází do listu - pokud bychom z takového stromu odstranili listy (a hrany do nich vcházející), obdrželi bychom binární strom, v němž platí, že pokud každá cesta má délku (tj. počet hran na této cestě) rovnu j, pak strom má 2J listů. Pro stromy odvození v CNF je však počet listů roven počtu jejich přímých předchůdců - viz (ii). Pokud tedy strom v CNF nemá žádnou cestu delší než j, pak má nejvýše 2J_1 listů. Věta 3.24. (Lemma o vkládám, pumping lemma pro CFL) Nechl L je CFL. Pak existují přirozená čísla p, q (závisejícína L) taková, že každé slovo z e L, \z\ > p lze psát ve tvaru z — uvwxy, kde • alespoň jedno ze slov v, x je neprázdné (tj. vx ^ e), • |fW2ľ| < q a • uvlwxly e L pro všechna i > 0. Idea důkazu: Mějme Q v CNF. Díky poznámce 3.23 víme, že pokud zvolíme slovo z "dostatečně dlouhé", pak v derivačním stromu musí být "dost dlouhá" cesta. Zvolme tedy z tak dlouhé, aby v jeho derivačním stromu byla tak dlouhá cesta, že se na ní některý (tj. alespoň jeden) neterminál, řekněme A, musí vyskytnout alespoň dvakrát (viz též obrázek 3.1). Tedy A se musí (díky výskytu, který je na zmíněné cestě blíže k listu) přepsat na nějaký terminálni řetěz, řekněme w (tj. A w). Rovněž však se A musí (díky výskytu, který je na téže cestě blíže ke kořenu) přepsat na řetěz opět obsahující sebe sama, řekněme vAx (tj. A vAx); toto přepisování můžeme libovolněkrát opakovat (též i 0-krát). Vždy obdržíme korektní odvození nějakého slova z L(Q). Neprázdnost alespoň jednoho z řetězů f či x je zajištěna tím, že CFG v CNF nemá e-pravidla. Konečně si uvědomme, že na dosti dlouhé cestě se může vyskytnout celá řada několikrát se opakujících neterminálů. Můžeme však A zvolit tak, aby oba jeho výše zmíněné výskyty nebyly "příliš daleko" od listu, tj. tak, aby úsek vwx nebyl příliš dlouhý. Důkaz. Nechť L je generován nějakou CFG Q — (N, E, P, S), která je (bez újmy na obecnosti) v CNF. Označme k — card(N) a položme p — 2fe~1, q — 2k. 3.1. BEZKONTEXTOVÉ GRAMATIKY 69 Je-li z E L, \z\ > p, pak v libovolném derivačním stromu slova z existuje cesta délky větší než k - viz poznámka 3.23 o derivačních stromech gramatik v CNF. Zvolme pevně jeden takový derivační strom Tav něm (libovolnou) nejdelší cestu C, která má jistě délku větší než k. Na této cestě C lze zvolit tři uzly u\, u2,1*3 s těmito vlastnostmi: 1. uzly ui, u2 jsou označeny týmž neterminálem, řekněme A, 2. ui leží blíže ke kořenu než u2, 3. w3 je list a 4. cesta z ui do «3 má délku nejvýše k + 1. Uzel Mi určuje v T podstrom Ti s kořenem u\, tedy výsledek z\ podstromu Ti je podslo-vem ve slově z, které je výsledkem stromu T; tj. existuje derivace S =^>* uAy pro nějaká u, y. (1) Podobně u2 určuje v T podstrom T2 s kořenem u2, přičemž T2 je podstromem stromu Ti - viz obrázek 3.1. Obrázek 3.1: Derivační strom s cestou C se dvěma výskyty neterminálu A Strom Ti odpovídá (levé) derivaci nějakého slova z\, přičemž z\ má délku nejvýše 2fe (viz vlastnost 4 a pozn.3.23 - každá cesta v T\ má délku nejvýše k + 1: kdyby v Ti existovala od u\ k nějakému u4 cesta delší, pak by i v T byla cesta delší než je zvolená C, a to by byl spor s předpokladem o volbě C jako cesty s největší délkou). Jistě tedy platí Strom T2 též odpovídá derivaci nějakého slova, označme jej w. Jelikož T2 je podstromem ve stromu T\, musí být w podslovem slova z\, tj. existují řetězy v, x takové, že lze psát z\ — vwx, což spolu s již ukázaným \zi\ < 2k — q dává žádané \vwx\ < q. Dále si uvědomme, že je vnitřním uzlem, a tedy mu odpovídá aplikace pravidla tvaru A —>• BC, a tedy alespoň jedno ze slov v, x je neprázdné (CFG v CNF je bez e-pravidel), tj. vx ^ e. Současně jsme též ukázali, že Nyní použijme jedenkrát derivaci (1), pak z-krát (i > 0) derivaci (2) a nakonec derivaci (3), tj. S uAy uvlAxly uvlwxly tedy uvlwxly e L (Q). = q- A vAx a A=>* iv (2) (3) 70 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Všimněme si, že derivace ad (2) umožňuje náhradu, kdy v T místo podstromu T2 opakovaně (z-krát) vložíme podstrom Ti s kořenem označeným týmž A - takto získáme opět korektní derivační strom; derivace (3) umožňuje (mimo jiné) místo Ti použít přímo \fz g L. \z\ > p. 3u,v,w,x,y. z — uvwxy A v x ^ e A \vwx\ < q . \/i > 0. uvlwxly g L Uvědomme si, že lemma o vkládání je (opět) pouze podmínkou nutnou k tomu, aby L byl CFL. Zopakujme, že i toto lemma je - stejně jako PL pro regulární jazyky - tvaru implikace P =4> Q, kde P je nyní výrok, že L je CFL a Q jsou uvedené vlastnosti; této implikace (resp. v kontrapositivní formě ekvivaletní implikace =4> ~^P), lze použít k důkazu, že nějaký jazyk L není CFL, nikoli však obráceně, tj. k důkazu, že L je CFL. Čtenáři doporučejeme, aby si explicitně vyjádřil. Poznámka 3.25. Všimněme si, že pokud ve výše uvedeném lemmatu 3.24 namísto konstant p, q budeme všude psát jen (jedinou) pumpovací konstantu n, tvrzení zůstane v platnosti: v důkazu stačí položit p — q — 2k, kde k — card(N). Příklad 3.26. Ukažme, že jazyk L — {cŕb1 d] i > 1} není CFL. Náš postup bude tento: předpokládejme opak, tj. P = L je CFL a dokazujme 1. Nechi n je libovolná konstanta z poznámky 3.25 (či první konstanta z lemmatu 3.24 a p — q — n). 2. Zvolme nyní slovo z (v závislosti na n - pro každé n musí existovat takové z) a 3. uvážíme všechny možnosti, jak jej zapsat jako z — uvwxy tak, aby splňovalo podmínky lemmatu (vx ^ e, \vwx\ < n); 4. následně pak ukažme, že pro každé takové rozdělení z na u,v,w,x,y lze nalézt (existuje) takové í, že napumpováním získáme uvlwxly ^ L. Dle 1 nechi n je libovolné; zvolme (viz 2) z — anbncn a dále postupujeme podle 3 a 4. Pokud by v obsahovalo kladný počet symbolů a a kladný počet symbolů b, pak napumpované uv2wx2y ^ L, protože po nějakém výskytu b by následoval výskyt a, tj. uv2wx2y ^ a*b*c*. Podobně postupujeme ve všech ostatních případech, kdy v nebo x obsahují nenulový počet výskytů (alespoň) 2 různých znaků. Uvažme proto zbývající možnosti, kdy v patří do a* nebo b* nebo c* a též x obsahuje jen samé stejné znaky, přičemž alespoň jedno ze slov v, x je neprázdné. Je-li v e a+ a x g b*, pak uv2wx2y obsahuje více symbolů a než symbolů c, tj. uv2wx2y ^ L. Podobně dojdeme ke sporu při všech ostatních možných volbách: protože vx obsahuje aspoň jeden výskyt symbolu d s možností výskytu jiného symbolu e, nezbývá žádná možnost pro výskyt třetího symbolu f (pro d,e, f g {a, b, c} vzájemně různé ), a tedy uv2wx2y bude mít vždy více výskytů symbolu d než výskytů symbolu f. T2 - odpovídá situaci pro i — 0. □ 3.1. BEZKONTEXTOVÉ GRAMATIKY 71 Jak již víme, pro porozumění formuli s větším počtem kvantifikátorů je vhodné na ni nahlížet jako na hru dvou hráčů (viz též pumping lemma pro regulární jazyky), kde kvantifikátoru V odpovídá hráč AI a 3 je reprezentován hráčem Ex. Nechť tedy L je jazyk, pak hra (ve variantě p — n — q) probíhá takto: • Ex zvolí přirozené číslo n • AI zvolí z E L takové, že | z \ > n • Ex zvolí u, v, w, x, y tak, aby platilo z — uvwxy, \vwx\ < n a v x ^ e • AI zvolí i Pokud AI zvolí i tak, že uvlwxly ^ L, pak vyhrává AI. Pokud AI může vždy vyhrát bez ohledu na to, jak hraje Ex (má vyhrávající strategii), pak L není CFL. Pokud však AI prohraje (ať už vždy či jen někdy), pak z pumping lemmatu nelze o L odvodit nic korektního. Příklad 3.27. Jiným příkladem jazyka, který není CFL, je L — \alWcld?\ i, j > 0}. Abychom to ukázali, předpokládejme, že L je CFL. Jelikož chceme dospět ke sporu, hrajeme roli hráče AI. • Hráč Ex zvolí libovolnou pumpovacíkonstantu n; • dále AI zvolí nějaké z — anbncndn. • Dle pumping lemmatu tedy mají existovat u, v, w, x, y tak, že z — uvwxy, \vwx\ < nav nebo x je neprázdné (volí Ex). • Máplatituvlwxly e L pro všechna i > 0. AI tedy má ukázat, že pro každou Ex-ovu volbu vyvrátí predikátmi. uvlwxly e L): Jelikož \vwx\ < n, vwx musí být tvaru cŕb* nebob*c* nebo ďd*. Pro jakoukoli z těchto voleb však "pumpování' musí vyústit v řetěz nepatřící do L (např. vwx e cŕb* značí, že uwy má méně symbolů a a b, než symbolů c ad). K důkazu, že například L — {aí6Jcfe| í ^ j a j — k} nebo L — {aí6Jcfe| í ^ jaj ^ k} není CFL je nutno použít některou ze silnějších variant Pumping lemmatu pro CFL, například tzv. Ogdenovo lemma, resp. jeho důsledky. Dokonce existuje též nutná a postačující podmínka pro to, aby jazyk byl CFL. Čtenáře odkážme na seznam literatury uvedený v závěru. 3.1.4 Greibachové normální forma Naším cílem je nyní prezentovat další, tzv. Greibachové normální formu (GNF), v níž každá pravá strana každého pravidla v CFG začíná terminálním symbolem (za nímž případně následují neterminály). Abychom mohli dokázat tvrzení o existenci ekvivaletní gramatiky v GNF, potřebujeme ukázat několik lemmat o modifikacích pravidel v CFG. Definice 3.28. Neterminál A v CFG Q — (N, Y., P, S) se nazývá rekursivní jestliže existuje derivace A aAf3 pro nějaká a, f3. Je-li a — e (resp. f3 — e), pak A se navývá levorekursivní (resp. pravorekursivní). CFG bez levorekursivních neterminálů se nazývá nelevorekursivní. Poznamenejme, že pojem rekursivity neterminálů je diametrálně odlišný od pojmu rekursivity gramatiky, tj. existence algoritmu pro rozhodování problému zda w G L (Q). 72 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Pro transformaci CFG do GNF bude nutné z gramatiky odstranit levou rekursi: pokud v gramatice nebudou levorekursivní neterminály, budeme moci na nej levější neterminály na pravých stranách pravidel aplikovat lemma o substituci. Schopnost eliminovat levou rekursi se ukáže jako velmi užitečná též v řadě prakticky orientovaných aplikací. Lemma 3.29. (O eliminaci bezprostřední levé rekurze). Nectí Q — (N, E, P, S) je CFG, v níž všechna A-pravidlajsou tvaru A ->• Actx | ... | Aam | /3i \ ...\/3n, kde 1 : /34 ^ A pro všechna 1 < i < n. (*) Nectí Q' — (N U {A'}, E, P', S), kde P' obdržíme z P tak, že všechna pravidla označená (*) nahradíme pravidly A -> p1 |... | pn\ pxA' |... | pnA', A' -> ai |... | am \ aiA' \...\ amÄ. (**) PakL(g)=L(g'). Důkaz. Neformálně řečeno jsme levou rekursi v A-pravidlech, která generují řetězce tvaru (Pi + ... + /3n)(ai + ... + am)*, nahradili nově zavedeným pravorekursivním A', který zajistí, že A generuje tutéž množinu. Formální důkaz možno vést například takto: V libovolné nejlevější derivaci nějaké věty v Q musí posloupnost použití pravidel typu A —>• Aai být ukončena použitím nějakého pravidla A —>• f3j. Tedy místo derivace A => Aalt => Aal,2alí => ... => Aalp ... al,2alí => Pjalp ... al,2alí v Q, lze v gramatice Q' použít derivaci A => p j A' => l3j(xlpA' => ... => I3j(xlp ... al2A' => Pj(xlp ... al2an. Jelikož výše uvedená úvaha platí i v obráceném směru (po jisté posloupnosti použití pravidel tvaru A' —>• otiA' musí být použito A' —>• aj, dostáváme žádané L(Q) — L(Q'). □ Příklad 3.30. Mějme Q0 s pravidly: PakQg má pravidla: E —>• E+T | T T^T*F \ F F^{E)\i E^T\TE' E'^+T\+TE' T F\ FT' T' ^ *F\ * FT' F^{E)\i Poznámka 3.31. Jestliže Q z lemmatu 3.29 je bez e-pravidel, pak i ekvivaletní Q' má tuto vlastnost. Pravidla (*) lze též nahradit namísto pravidel (**) pravidly: A^p1A'\...\pnA', A'^aiA'\ ...\amA'\e. (***) Tato náhrada však zavádí e-pravidla: ke Qo z příkladu 3.30 bychom obrželi Qq s pravidly: E —>• T E' E'^+TE'\e T FT T' *FT' I e F^(E)\i Lemma 3.29 nedává návod jak postupovat, když v Q existuje levorekursivní smyčka A =^>+ Aa délky větší než 1. Tento problém řeší algoritmus 3.7. 3.1. BEZKONTEXTOVÉ GRAMATIKY 73 Algoritmus 3.7 Eliminace levé rekurze Vstup: Vlastní CFG Q — (N, E, P, S) Výstup: CFG G' = (N', E, P', S) : L(G) = L(£') a Q' je nelevorekurzivní 1: Uspořádej libovolně N, N — {A\,... ,An} 2: for i :— 1 to n do 3: for j := 1 to i - 1 do 4: for all pravidlo tvaru Ai —>• Aj a (*tj. zde platí j < í *) do 5: přidej —>• /3ia|... \f3ka, kde Aj —>• /3i| ... |/3fc jsou všechna Aj-pravidla; 6: vypusť pravidlo Aj —>• Aj a (* = aplikace lemmatu o substituci *) 7: end for 8: end for 9: (* dále následuje použití eliminace bezprostřední levé rekurze pro A^-pravidla: *) 10: for all pravidlo tvaru Ai —>• A^a do 11: přidej Ai —>• aAj | e; (* tj. použití pravidel (***); variantu (**) lze též použít *) 12: vypusť pravidlo Ai —>• A^a 13: end for 14: for all Ai ->• /3i |... |/3; taková, že 1 : /3k ^ A4 do 15: přidej Aj ->• /3iA-|... |/3;A-, 16: end for 17: end for Věta 3.32. Každý CFLje generovatelný nelevorekursivní CFG. Důkaz. Nechť Q je vlastní CFG generující L. Jelikož algoritmus 3.7 používá jen transformace uvedené v lemmatu o substituci (3.20) a lemmatu o eliminaci bezprostřední levé rekurze (3.29), které zachovávají ekvivalenci gramatik, pak použití tohoto algoritmu na Q dává ekvivaletní CFG Q'. Zbývá tedy ukázat, že výsledná Q' je bez levé rekurze. Indukcí ukažme platnost následujících dvou tvrzení: 1. po skončení i-té iterace vnějšího cyklu (začínajícího na řádku 2) platí, že všechna Aj-pravidla začínají buď terminálem nebo neterminálem Ak,k > i 2. po skončení j-té iterace vnitřního cyklu (začínajícího na řádku 3) a dané i platí, že Aj-pravidla začínají bud terminálem nebo neterminálem Ak,k > j. Tuto indukci povedeme vzhledem k hodnotě s — n ■ í + j, kde i e (0, n), j e (0, i —ľ). Báze indukce je pro s — n, tj. i — 1, j — 0 a odpovídá provedení eliminace levé rekurze pro A\ (cyklus pro j se vůbec neprovedl); žádné /3i,..., f3i nezačíná A\. Tedy pro i — l tvrzení 1 platí; tvrzení 2 platí triviálně. Indukční krok: předpokládejme, že tvrzení 1 a 2 platí pro všechny hodnoty menší než s a nechť nyní jsou i, j taková, že0 j (je-li totiž j > 1, pak 74 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY instance 2 pro i a j — 1 má hodnotu menší než s; případ j — í plyne z 1). Tvrzení 2 pro parametry í a j tak okamžitě plyne z tvaru nově přidaných pravidel. Induktivní krok pro tvrzení 1 a hodnotu s (tj. n ■ í — s, j — 0) je ponechán čtenáři. Z právě dokázaného tvrzení 1 plyne, že žádné z A\,... An nemůže být levorekur-sivní: kdyby totiž bylo Ai =^>+ AiCt pro nějaké a, pak by musely existovat neterminály A j a Ak,k < j takové, že Ai =^>* Aj/3 Ak"f Aíol. Zbývá ukázat, že žádný z A\ není levorekursivní, což však plyne z předpokladu, že Q je vlastní CFG - tj. žádné a z řádku 10 není e, a tedy A\ nemůže nikdy být nejlevějším symbolem na pravé straně přidávaného pravidla A\ —>• aA[ (viz řádek 14). □ Definice 3.33. Nechf Q — (N, E, P, S) je CFG. Řekneme, že Q je v Greibachové normálni formě (GNF) právě když Q je bez e-pravidel (viz def. 3.13) a každé pravidlo z P (s eventuelní výjimkou S —>• e) je tvaru A ^ aa kde a G E, a G W*. Algoritmus 3.8 Transformace do GNF Vstup: Nelevorekursivní, vlastní CFG Q = (AT, E, P, 5) Výstup: CFG Q' v GNF: L(£) = L(Q') 1: Zkonstruuj na A7 lineární uspořádání takové, že je-li A Označme N — {A\,... ,An\ Ai-i -< Ai, 0 < i < n} 2: fori :— n—1 downto 1 do 3: for all pravidlo tvaru Ai —>• Aja, j > i do Ba G P, pak A -< B. 4: přidej Ai —>• .. 5: vypusf pravidlo Ai 6: end for 7: end for 8: for all pravidlo tvaru Ai 9: v pravidle Ai —>• aATi |/3fca, kdeAj —> AI Aja ... |/3fc jsou vš. A j -pravidla; (* = aplikace lemmatu o substituci *) ■aXi... Xk,3XjA < j < k : Xj G E do . X k nahraď všechny ty X j, které jsou terminály, novými neterminály AT' (přidej je do množiny neterminálů) a přidej pravidla AT' —>• X j 10: end for Věta 3.34. Nectí L je CFL. Pak L — L(Q) pro nějakou CFG Q v GNF Důkaz. Bez újmy na obecnosti lze předpokládat, že L je generován CFG Q\ splňující vstupní předpoklady algoritmu 3.8 (aby Q\ byla vlastní, tj. specielně bez e-pravidel, stačí v algoritmu 3.7 uvažovat na řádku 11 variantu (**) - viz též poznámka 3.31). Lineární uspořádání požadované v řádku 1 algoritmu 3.8 lze zkonstruovat například takto: na množině neterminálů definujme relaci R : {A, B) G R <í===> A Ba pro nějaké a. Pak díky tomu, že Q\ není levorekursivní, je R částečným uspořádáním na množině neterminálů N, a tedy N lze lineárně douspořádat tak, aby platilo iiC^. Nyní ukažme, že po skončení cyklu, který začíná na řádku 2, pro hodnotu i musí platit, že všechna A^-pravidla začínají terminálem. Toto se snadno ukáže indukcí pro hodnotu k — n — í, i — 0,... ,n — 1 (stručně zvanou zpětná indukce pro i od n po 1). 3.1. BEZKONTEXTOVÉ GRAMATIKY 75 Báze indukce je pro k — n, tj.í — 0. Pravé strany An-pravidel jistě začínají terminálem (viz definice ^), což je též důvodem, proč se cyklus 2: pro í — n vůbec neprovádí. Indukční krok: jestliže dokazovanou vlastnost mají všechna A3-pravidla pro í < j < n, pak evidentně pro provedení řádků 4 a 5 mají tuto vlastnost i všechna A^-pravidla. Tedy po úplném skončení cyklu na řádcích 2-7 začínají všechna pravidla terminálem. Konečně uvažme, že algoritmus používá jen transformace zachovávající ekvivalenci gramatik, a tedy dostáváme žádané. □ Příklad 3.35. Mějme Q'0 z příkladu 3.30 s pravidly: E^T\TE' E' -^+T \+TE' T F\FT' T' *F | * FT' F^(E)\z Požadované lineární uspořádání (jedno z možných) je například: E'-• F | FT' nahradíme pravidly T^{E)\Í \ (E)T | íT. • V dalším průchodu (pro T') neprovádíme žádné změny. • Při zpracování E nahradíme existující E-pravidla novými pravidly E -> (F) I i | (F)T' I iT' | (F)F' | iE' \ (F)T'F' | iT'E'; • pro E' opět žádné náhrady neprovádíme. Konečně (viz řádky 8 - 10) ve všech takto získaných pravidlech nahradíme na jejich pravých stranách všechny výskyty terminálu ")" novým neterminálem ")"' a přidáme pravidlo )'—>•). Poznamenejme, že výše uvedená metoda převodu libovolné CFG do GNF není jediná možná - další metody lze nalézt v publikacích uvedených v seznamu literatury. Námi uvedená metoda byla zvolena zejména z toho důvodu, že explicitně obsahuje algoritmus na odstranění levé rekurze, jejíž přítomnost může činit jisté problémy v některých praktických aplikacích. Mimo uvedenou GNF (viz definice 3.33) existují i její další varianty. Řekneme, že Q jev k-GNF právě když je v GNF a žádná pravá strana v pravidlech gramatiky Q nemá délku větší než k, k > 3, tj. neobsahuje více než k — í výskytů neterminálů (na intuitivní úrovni se jedná o GNF beroucí v potaz fakt, že díky CNF vystačíme v CFG na pravých stranách s (nejvýše) dvěma neterminály). Další variantou je tzv. zdvojená GNF, kdy všechny pravé strany pravidel j sou ze EAr*EUE, tj. začínají i končí terminálem. Konečně Q je ve zdvojené k-GNF jestliže je ve zdvojené GNF a každé pravidlo má délku nejvýše k, k > 4. Například tedy 3-GNF či zdvojená 4-GNF neobsahují na pravých stranách pravidel více než 2 výskyty neterminálů. Algoritmy převodu libovolné CFG do každé z výše uvedených normálních forem lze nalézt v obsažnějších monografiích o bezkontextových jazycích. 76 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Na závěr zmiňme ještě tzv. operátorovou normální formu, kdy na pravých stranách pravidel spolu nesmí sousedit žádné dva neterminály, tj. všechny pravé strany jsou ze E*JVS+ ... E+]VS*. Algoritmus převodu libovolné CFG (či bez újmy na obecnosti CFG v CNF) spočívá v zavedení nových neterminálů (X, a) pro každou dvojici X G N, a G E s tím, že (X, a) má generovat množinu slov u takových, že X generuje slova ua. Tedy každý jazyk L(X) je přesně sjednocením (přes a G E) všech jazyku L((X, a)).a, případně doplněném o {e}, pokud L(X) obsahuje prázdné slovo. Tedy na pravých stranách pravidel lze každý ne-terminál X nahradit zřetězením (X, a).a; přidáním pravidel tvaru (X, a) —>• a pro každé X —>• aa, získáme ekvivaletní gramatiku v požadovaném tvaru. Detaily algoritmu i důkazu jeho korektnosti ponecháváme čtenáři jako cvičení. Použití normálních forem pro další zkoumání vlastností CFL bylo již částečně ilustrováno v této části (viz CNF a její využití v důkazu pumping lemmatu pro CFL); s dalšími aplikacemi se setkáme v části 3.3. 3.2 Zásobníkové automaty Tak jako k regulárním gramatikám existují konečné automaty, které rozpoznávají právě jazyky generované těmito gramatikami, tak i ke gramatikám bezkontextovým existují ve výše uvedeném smyslu ekvivaletní automaty - tzv. zásobníkové automaty (push-down automata - PDA). PDA si lze představit jako (nedeterministický) konečný automat s tím, že navíc obsahuje (pomocnou) paměť (a díky ní i další zdroj nedeterminismu), která pracuje jako zásobník (push-down store) a jejíž velikost není shora omezena - je tzv. potenciálně nekonečná v následujícím smyslu: v každém okamžiku (konečného) výpočtu je sice konečná (tj. v zásobníku je uloženo jen konečně mnoho symbolů), ale kdykoli ji můžeme rozšířit o další konečný počet paměťových míst (přidat další symboly na zásobník). a a b a b b b a čtecí hlava konečně stavová řídící jednotka vstupní páska zásobník r— I a Obrázek 3.2: Zásobníkový automat Ze vstupní pásky, na níž je zapsáno slovo nad jistou vstupní abecedou, lze pouze číst a čtecí hlava se pohybuje jen vpravo. Automat může na vrchol zásobníku ukládat symboly (opět z jisté abecedy) a takto uložené symboly může následně číst s tím, že smí číst pouze z vrcholu zásobníku: přečtený symbol je z vrcholu odstraněn (tj. systém LIFO - Last In 3.2. ZÁSOBNÍKOVÉ AUTOMATY 11 First Out). Jinými slovy, nelze číst do hloubi zásobníku, aniž by přečtené symboly nebyly odstraněny - zásobník, u něhož naopak toto "nedestruktivní" čtení lze realizovat se v angličtině nazývá stack, na rozdíl od našeho push-down store s desktruktivním čtením. Takto intuitivně popsané zařízení nyní formalizujme. 3.2.1 Definice PDA Definice 3.36. Nedeterministický zásobníkový automat (PDA) je sedmice M = (Q,-Ľ,T,ô,q0,Z0,F), kde • Q je konečná množina, jejíž prvky nazýváme stavy, • E je konečná množina, tzv. vstupní abeceda, • T je konečná množina, tzv. zásobníková abeceda, • 5 : Q x (E U {e}) xľj^ VfíuÍQ x T*) je (parciální) přechodová funkce2 , • ío G Q je počáteční stav, • Z0 e T je počáteční symbol v zásobníku, • F C Q je množina koncových stavů. Je-li S(p, a, Z) definováno, pak zápis S(p, a, Z) — {{q%, 7i)| í < í < n} intuitivně interpretujeme tak, že PDA M. může ze stavu p po přečtení symbolu a ze vstupní pásky a symbolu Z z vrcholu zásobníku (Z se při tomto čtení z vrcholu odstraní) přejít do jednoho ze stavů qi a na vrchol zásobníku zapíše řetěz 7^ (přičemž na vrcholu zásobníku je nyní nejlevější symbol z 7J. Čtecí hlava se na vstupní pásce posune o jeden symbol vpravo. Obdobně interpretujeme (pokud je definováno) S(p, e, Z) s tím rozdílem, že pozice čtecí hlavy na vstupní pásce se nemění. Tuto intuitivní představu o jednom kroku výpočtu budeme formalizovat (obdobně jako u konečných automatů) zavedením pojmu konfigurace, popisujícím celkovou situaci automatu. U konečných automatů byla konfigurace dána popisem situace na vstupní pásce (tj. specifikací dosud nepřečtené části vstupního slova) a vnitřní situací automatu (tj. specifikací jednoho, momentálního stavu, který reflektoval změny v automatu dané zpracováním již přečtené části vstupu počínaje počátečním stavem q0). Co se týče vstupu, je situace u PDA identická, avšak zpracování již přečtené části vstupu se ve vnitřní situaci projeví nejen změnou stavu qo, ale i tím, co si automat zapamatoval v zásobníku. Konfigurace by tedy měla opět popisovat jak vnitřní situaci jako dvojici (stav, obsah zásobníku), tak i dosud nepřečtenou část vstupního slova. Krok výpočtu pak bude definovat vztah mezi dvěma konfiguracemi - situací před provedením kroku výpočtu a situací po provedení tohoto kroku. Automat bude akceptovat vstupní slovo, jestliže bude existovat posloupnost kroků výpočtu začínající v jisté počáteční konfiguraci, která skončí v nějaké finální, akceptující konfiguraci. Definice3.37. Nechf M — (Q, E, r, ô, q0, Z0, F) jePDA. Vnitřníkonňgurací(též totálním stavem) M. nazveme libovolný prvek (q, 7) e Q x ľ* (kde q je momentálni stav PDA M. a 7 je celý obsah zásobníku s vrcholem psaným vlevo). Konňgurací nazveme libovolný prvek (p, m, a) z Q x E* x T* (udávající mimo totální stav navíc i w - dosud nepřečtenou 2. zápis T'fítíÍQ x T*) značí množinu všech konečných podmnožin množiny Q x V 78 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY část vstupního řetězu). Na množině všech konfigurací automatu Á4 definujeme binární relaci | (krok výpočtu) takto: def (p, aw, Za) | M (q, w, 7a) <í=^> 3(q, 7) G S(p, a, Z) pro a G E U {e} Reflexivní a tranzitivní uzávěr relace kroku výpočtu značíme | *M , její fc-násobný součin značíme | ^ . Je-li M. zřejmý z kontextu, píšeme stručněji pouze |—, resp. \^—, 1 k resp. f——. Jazyk akceptovaný (též rozpoznávaný) PDA M. koncovým stavem definujeme jako L(M) = {w G E* I (q0,w,Z0) \^- (qf,e,a), kde g/ G F, a G T*} a jazyk akceptovaný (též rozpoznávaný) PDA M. prázdným zásobníkem definujeme jako Le{M) = {w G E* I (g0,w,Z0) |^- (g,e,e), kde g G Q} Každý výpočet pro vstupní slovo w tedy začíná v konfiguraci (qo,w,Zo), tj. ve vnitřní konfiguraci (q0, Z0) a dosud nečteným vstupem. Způsobů akceptování je obecně více: každá akceptující (finální) konfigurace je charakterizována zcela přečteným vstupním slovem, tj. (q, e, a), vzájemně se však tyto způsoby liší tím, co prohlásíme za akceptující totální stav (vnitřní konfiguraci). Ve výše uvedené definici 3.37 jsou to po řadě totální stavy z F x T*, resp. Q x {e}. Další způsoby akceptování lze definovat tak, že za akceptující vnitřní konfigurace prohlásíme např. prvky z F x {e} (akceptování koncovým stavem a prázdným zásobníkem, resp. prvky z Q x Y'T* pro nějakou ľ' C ľ (akceptování vrcholovými symboly v zásobníku). Formální definice jsou ponechány čtenáři. Poznámka 3.38. 1. U takto deňnovaného PDA se opět jedná o nedeterministický automat, který akceptuje vstup, jestliže existuje alespoň jeden výpočet, který vede z konňgu-race počáteční do konňgurace akceptující (při možnosti volby tedy PDA "hádá správně", protože nesprávná volba sama o sobě nemůže způsobit zamítnutí vstupu - ten může být zamítnut jedině tedy, pokud žádná správná volba neexistuje). 2. Dále si povšimněme jedné důležité vlastnosti zásobníkových automatů, kterou lze parafrázovat takto: to, co se děje na vrcholu zásobníku (ve výše deňnovaném smyslu push-down store, nikoli však obecnějším stack), děje se zcela nezávisle na tom, co je pod jeho vrcholem. Přesněji: pokud (q, w, A) \^— (q', e, e), pak (q, w, Aa) \^— (q', e, a) pro všechna A G T, a G T*. Toto tvrzení se snadno dokáže indukcí vzhledem k n. Věta 3.39. Jazyk L — Le(M) pro nějaký PDA M ^> L = L (N) pro nějaký PDA Af. Idea důkazu: 1. <í=: k danému M zkonstruujeme M. simulující jeho činnost. Kdykoli M vejde do koncového stavu, bude M. mít možnost volby, zda pokračovat v simulaci automatu M nebo přejít do svého, nově přidaného stavu qe, v němž vyprázdní svůj zásobník. Musíme však uvážit možnou komplikaci: M může projít takovou posloupností kroků, kdy jeho vstup způsobí vymazání zásobníku a M není v koncovém stavu, tedy zamítá vstup. Musíme zabránit tomu, aby M. v tomto bodě vstup (prázdným zásobníkem) akceptoval. 3.2. ZÁSOBNÍKOVÉ AUTOMATY 79 Řešení spočívá v tom, že ještě před zahájením simulace bude u M. na dně zásobníku nový symbol, který nedovolíme odstranit jinde, než v koncovém stavu q E F nebo ve stavu qe. 2. =^>: M simuluje činnost M. a má opět nově přidaný symbol jako své dno zásobníku. Jakmile je M schopen číst tento symbol (tj. zásobník simulovaného automatu M. je prázdný), pak M přejde do nově přidaného stavu qf, který je koncovým stavem. Důkaz. 1. Nechf J\í — (Q, E, T, ô, q0, Z0,F) je PDA takový, že L — L {N). Sestrojme M. takový, že L — Le(A4). Položme M = (QU{q,0,qe},'Z,T\j{Z'},ô',q'0,Z',), kde Z' i r l^qeíQ a kde S' je definována takto: 1. ô'(q'0,e,Z') = {(qo,Z0Z')}, 2. jestliže S(q, a, Z) obsahuje (r, 7), pak S'(q, a, Z) obsahuje (r, 7) pro všechna q E Q, a E E U {e} a Z E T , 3. Vg E F.VZ e T U {Z'} : S'(q, e, Z) obsahuje (qE,e) , 4. VZETU{Z'}: ô'(qE,e,Z) = {(qE,e)}. Pak zřejmě (q'0,w,Z') |-^- (q0,w,Z0Z') -diel h£p (q,e,Y1...Yr) -dle 2 (qE,e,Y2...Yr) -dle 3 \^-{qE,e,é) -dle 4 (MeYr = Zr) právě když (g0,w,^o) (q, £, *i ■ ■ ■ ^-1), pro nějaké g E F. 2. =^>: Nechf M = (Q, E, T, 5, g0, Z0, 0) je PDA takový, že L — Le(M). Sestrojme Aľ takový, že L — L (N). Položme Aí — (Q Li {q'0, qf}, E, T U {Z'}, 5', q'0,Z', {qf}) kde 5' je definována takto: 1. 5'(gí,,e,Z') = {(g0,^')} 2. jestliže a, Z) obsahuje (r, 7), pak 5'(g, a, Z) obsahuje (r, 7) pro všechna g G Q, a G E U {e} a Z ET 3. \fq E Q : ô'(q,e,Z') = {(qf,e)} Požadovaný důkaz, že Le(A/í) = L (A/-), je obdobný jako v části 1 a je ponechán čtenáři. □ Poznámka 3.40. Ve výše uvedeném důkazu je prezentována technika zavedení nového symbolu Z' označující dno zásobníku simulujícího automatu, která umožňuje de facto testovat prázdnost zásobníku simulovaného automatu. Jestliže též požadujeme (srv. odstranění Z' pouze v q£), aby každá vnitřní konňgurace (s eventuelní výjimkou ňnální při akceptování prázdným zásobníkem) byla tvaru (p, "/Z'), budeme říkat, že takový PDA umožňuje test dna zásobníku. Pokud tedy PDA čte dno Z', musí jej též znovu na dno zapsat, tj. pokud S obsahuje jako argument Z', pak je tvaru S(p, a, Z') — {(qi, "fiZ'),..., (qn, 7„Z')}. Je zřejmé, že ke každému PDA A lze setrojit PDA A' s testem dna zásobníku akceptující tentýž jazyk. Poznamejme, že obdobně lze ukázat i ekvivalenci (ve smyslu výše uvedené věty 3.39) mezi akceptováním koncovým stavem a akceptováním koncovým stavem a (současně) 80 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY prázdnym zásobníkem či akceptováním vrcholovými symboly v zásobníku. Příklad 3.41. Mějme PDA V = ({p, q, r}, {0,1}, {Z, 0}, S, p, Z, {p}), kde S je definována takto: ô(p,0,Z) = {(q,0Z)} ô(q,0,0) = {(9,00)} ô(r,l,0) = {(r, e)} <%,1,0) = {(r, e)} č(r,e,Z) = {(p, e)} Automat V pracuje tak, že nejprve ze vstupu načte do zásobníku všechny symboly '0' a následně s každým čteným (vstupním) symbolem '1' odstraní jeden symbol '0' z vrcholu zásobníku. Navíc se kontroluje, zda žádná '1' není před '0' Ctím, že pro tyto situace je S nedeňnována, a tedy není deňnován krok výpočtu pro žádnou takovou situaci). Možná posloupnost (v obecném, nikoli však v tomto případě, pouze jedna z možných posloupností) konfigurací automatu V pro vstupní slovo například 0011 může být (p, 0011, Z) |— (g,011,0Z) \— (g.H.OOZ) I— (r,l,0Z) I— (ľ,e,Z) I— (ř>,e,e) Lze ukázat, že V akcetuje koncovým stavem jazyk L — {0™1™| n > 0}. Snadno se nahlédne, že L C L(V): pro n > 1 lze po jediném přechodu z p do q (přečtení '0' a jeho uložení do zásobníku - viz 1. přechod výše) provést n\ přechodů z q do q (opět čtení '0 'a uložení do zásobníku - viz 2. přechod). Následně lze při čtení prvního symbolu '1' provést jediný přechod z q do r následovaný n\ přechody z r do r po nichž zůstane v zásobníku pouze Z; následuje přechod do koncového stavu p. Případ n — Oje triviální. Ukázat obrácenou inklusi (tj., že V neakcetuje jiná slova než 0nín)je obecně těžší úkol. Abychom to ukázali, uvědomme si, že při libovolném výpočtu nad neprázdným slovem musí automat procházet (s případnými cykly) postupně stavy p, q,r a skončí v p. Je-li (p, w, Z) \^— (q, e,ce),i > 1, pak w — 0l aa — 0lZ. Podobně, je-li (r, w, a) \^— (r, e, (3), i > 1, pak w — V a a — 0J/3. Dále přechod (q, w, a) \— (r, e,/3) nastane jedině tehdy, pokud w — 1 a a — 0/3; podobně (r, w, Z) \— (p, e,e), pokud w — e. Tedy celkem, je-li (p, w, Z) \^— (p, e,a),i > 0, pak buď w — e a i — 0 nebo w — 0lll, i — 2n + 1 a a — e. Tedy L D L{V). Zdůrazněme, že tak, jak byl PDA definován, může dělat (e) kroky i po přečtení celého vstupu; PDA nemůže udělat žádný krok, pokud je zásobník prázdný. Poznámka 3.42. O přechodových grafech ('stavových' diagramech) PDA. Na stavové diagramy konečných automatů lze nahlížet tak, že jsme grafově znázornili vzájemné závislosti (dané přechodovou funkcí) mezi vnitřními konňguracemi (tj. stavy) automatu. Podobně můžeme postupovat i v případě PDA V — (N, E, T, S, qo, Z, F). Uzly přechodového grafu (stavového diagramu) budou označeny vnitřními konňguracemi uvažovaného PDA (pro 3.2. ZÁSOBNÍKOVÉ AUTOMATY 81 jednoduchost pišme vnitřní konňguraci (p, a) E Q x T* ve tvaru pa G QT*). Analogicky jako u dennice kroku výpočtu veďme z uzlu pZa hranu s návěštím a (a G E U {e}) do uzlu q'ja právě když S(p, a, Z) obsahuje (q, 7), což zapisujme jako pZ a A q'ja . Poznamenejme, že stavový diagram PDA má obecně nekonečně mnoho uzlů (proto je PDA prvním příkladem "nekonečného" automatu). Část stavového diagramu pro V z příkladu 3.41 má tento tvar pZ —^ qOZ —A4 qOOZ —^ qOOOZ —^ ... -^—> qOlZ-^ ... 111 1 pe^—rZ^-—rOZ-^—rOOZ «—i— ... ^—qO^Z^— ... kde koncovými totálními stavy jsou pZ a p, v diagramu pro názornost zapsaný jako pe. Povšimněme si, že ve výše uvedeném stavovém diagramu automatu V jsou uvedeny pouze tzv. dosažitelné totální stavy, tj. ty ke kterým existuje cesta z počátečního uzlu (zdepZ) končící v uzlu daném; ostatní nazveme nedosažitelné a obvykle je ve stavovém diagramu neuvádíme (ve výše uvedeném diagramu to jsou např. qZZ, qZOZ a další). V souladu s právě zavedenou notací lze při specifikaci funkce S místo S(p,a,Z) — {(9i,7i); {in, In)} psát pZ A 9171 I ... I g„7„. Relaci A můžeme zřejmým způsobem rozšířit ze symbolů ze E na řetězy nad touto abecedou ( ™ = 4 o A); značení A, w G E* lze chápat jako zobecněnou přechodovou funkci pro PDA). V dalším textu budeme rovněž používat následující značení. Je-li pa nějaká vnitřní konfigurace PDA V — (Q, E, T, S, qo, Zo, F), pak definujme L(P)(pa) = {weZ*\pa^qP,qeF} a Le(P)(pá) = {weZ*\pa^qe,qeQ}. Zřejmě tedy L (V) — L(V)(qoZo) a Le(V) — Le(V)(qoZo). Bude-li V zřejmý z kontextu, budeme stručněji psát pouze L(po) resp. Le(po). Příklad 3.43. Nechi L — {wwR\ w G {0,1}*}. Pak PDA rozpoznávající L prázdným zásobníkem je například M. — ({p, q}, {0,1}, {R, G, B}, S, p, R, 0) (tj. množina koncových stavů nehraje žádnou roli), kde S je deňnována (ve výše zavedené notaci) takto: (1) pR A pBR (4) pG A pBG (7) qB A qe (2) pR A pGR (5) pB A pGB (8) qG A qe (3) pB A pBB I qe (6) pG A pGG \ qe (9) pR A qe (10) qR A qe Pravidla (1) až (6) ukládají vstup na zásobník s tím, že pravidlech (3) a (6) je možnost alternativní volby: jestliže M. uhodne, že bylo dosaženo středu vstupního slova, volí druhou alternativu; v ní pak přejde do stavu q, v němž postupně porovnává zbytek vstupního slova s obsahem zásobníku. Pokud M. hádal správně a slovo bylo tvaru wwR, pak dojde k přečtení celého slova a vyprázdnění zásobníku - vstupní slovo bylo akceptováno. Pokud by M. hádal chybně a slovo bylo tvaru wwR, pak by akceptujícíkonňgurace nedosáhl, což ovšem neznamená zamítnutí vstupního slova - viz téžpozn. 3.38. Uvedený příklad ilustruje nedeterminismus PDA, avšak u PDA z př. 3.41 se možnosti volby způsobující nedeterminismus nevyskytly - v každé (vnitřní) konfiguraci je další krok 82 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY určen jednoznačně. Definice 3.44. Rozšíreným PDA nazveme 1Z — (Q, E, T, S, qo, Zo, F), kde všechny symboly mají tentýž význam jako v definici PDA s výjimkou S, která je zobrazením z konečné podmnožiny množiny Q x (E U {e}) x T* do konečných podmnožin množiny Q x ľ*. Pojmy konfigurace, kroku výpočtu, výpočtu a akceptovaného jazyka (koncovým stavem, prázdným zásobníkem) zůstávají rovněž beze změny. Povšimněme si, že rozšířený PDA činí rozhodnutí o dalším kroku nikoli na základě jen jednoho (vrcholového) symbolu na zásobníku, ale na základě řetězu (konečné délky!), který je tvořen nejhornějšími symboly na zásobníku. Zápis pa A qj3 (resp. 5(p, a, a) obsahuje (q, f3)) interpretujeme tak, že pokud má automat ve stavu p na vrcholu zásobníku a, pak po přečtení symbolu a ze vstupní pásky (analogicky pro e-krok) vymaže ze zásobníku řetěz symbolů a, zapíše na něj řetěz symbolů f3 a změní svůj stav na q. Specielně může rozšířený PDA učinit krok bez ohledu na zásobník (uvažuje řetěz e), a tedy obecně je schopen dělat kroky i v situaci, kdy zásobník je prázdný. Lemma 3.45. Nechí 1Z je rozšířený PDA. Pak existuje PDA V takový, že L(V) — L(11). Idea důkazu: Pro daný 1Z — (Q, E, r, S, qo, Zq, F) označme m maximální délku řetězu symbolů na vrcholu zásobníku, který 1Z používá k rozhodnutí o dalším kroku výpočtu (tj. m — max{|a|; S(q, a, a) ^ 0, pro nějaká q G Q, a G E U {e}}). Budeme simulovat 1Z tak, že k rozhodování o dalším kroku potřebných m symbolů, které má 1Z k dispozici na zásobníku, si bude simulující PDA V uchovávat (a aktualizovat) ve "vyrovnávací paměti" (konečné) délky m (tu bude mít ve své konečně stavové řídící jednotce - stavy automatu V budou tedy dvojice j stav simulovaného 1Z, stav vyrovnávací paměti^). Tedy V bude vědět před provedením každého kroku, kterých m symbolů má 1Z na vrcholu zásobníku. Zmíněná aktualizace probíhá takto: je-li v 1Z nahrazeno k vrcholových symbolů, řekněme a, l symboly, řekněme f3, pak v paměti PDA V nahradíme též těchto k symbolů týmiž l symboly; Je-li l < k, pak V udělá navíc k — l aktualizačních kroků, při nichž postupně přenáší symboly z vrcholu zásobníku do paměti. Je-li l > k, je zapotřebí (ještě před náhradou a za f3) "nadbytečných" l — k symbolů z konečné vyrovnávací paměti postupně přesunout na zásobník. V obou případech tak bude vyrovnávací paměť automatu V opět obsahovat přesně m symbolů, které má 1Z momentálně na vrcholu na zásobníku. Důkaz. Nechť 1Z — (Q, E, t, s, qo, Zq, F) je rozšířený PDA a označme m — max{|a|; S(q, a, a) ^ 0, pro nějaká q e Q, a G E U {e}})- Nyní definujme PDA P = (Qi,E,ri,5i, qi,Zlt Fi), kde 1. Qi = {[q, a] | q G Q, a G , 0 < |a| < m} , 2. Jľi = T U {Zi\, kde Zx je nový symbol, 3. Si je definována takto: (a) Nechť S(q, a,X1... Xk) obsahuje (r, Yx... Yt). Pak i. je-li l > k, pak pro všechna Z e Y\ a a G Y\ taková, že |a| — m — k, klademe Si([q, Xi ... Xka], a, Z) obsahuje ([r, (3],^Z), kde /?7 — Y\ ... Yia a \/3\ — m; ii. je-li l < k, pak pro všechna Z e Y\ a a G Y\ taková, že |a| — m — k, 3.2. ZÁSOBNÍKOVÉ AUTOMATY 83 klademe Si([q, X\ ... Xkce], a, Z) obsahuje ([r, Y\ ... YiaZ], e). (b) pro všechna q G Q, Z G Ti a a G T\ taková, že |a| < m, klademe Si([q,a],e,Z) = {([q, aZ],e)} 4. Ql = [q^ZvZ™-1] 5. F! = {[g,a] | g G F, a G T{} . Na základě takto definované S± není obtížné ověřit, že (q, aw, Xi ... XfcXfc+1 . .. X„) \-^- (r, w, Yx . .. YtXk+1 . .. Xn) ([q, a],aw,P) |-±-([r, a'\,w,P'), kde 1. a/3 = Xi... X„Z{™, 2. a'/3'=y1...y;xfc+1...x„z1m, 3. |a| = \a'\ — ma. 4. mezi dvěma výše uvedenými konfiguracemi PDA V neexistuje taková konfigurace, kde druhá komponenta stavu (tj. paměť) by měla délku m. Odtud pak okamžitě plyne, že (qo,w, Z o) |-^— (q, e, a) pro nějaká q E F a a G T* právě když ([go.Zo^"-1],^^) ([g, /3], e, 7), kde |/3| = m a /37 = aZJ". Tedy L(K) = L(P). □ Poznámka 3.46. Poznamenejme, že i pro rozšířené PDA platí tvrzení věty 3.39 o ekvivalenci rozpoznávání prázdným zásobníkem a koncovým stavem. Toto tvrzení se dokáže naprosto stejně jako u zmíněné věty. 3.2.2 Zásobníkové automaty a bezkontextové jazyky V této části ukážeme fundamentální výsledek, že třída jazyků rozpoznávaných zásobníkovými automaty tvoří právě třídu bezkontextových jazyků. Věta 3.47. (O nedeterministické syntaktické analýze shora dolů) Nechl Q je libovolná CFG. Paklze sestrojit PDA M takový, že L(G) = Le(M). Idea důkazu: Ke Q zkonstruujeme (jednostavový) PDA tak, aby ve svém zásobníku byl schopen simulovat levé derivace v Q, přičemž budeme požadovat, aby v každé konfiguraci platilo: M. z konfigurace s obsahem zásobníku a a zbytkem vstupu w akceptuje prázdným zásobníkem ^=4> v Q lze. derivovat a w V G je v jednom kroku odvození nahrazen (nejlevější) neterminál A (naráz, celou) pravou stranou Xi.. .Xn, kdežto v M. bude této situaci odpovídat (1): náhrada neterminálu A na vrcholu zásobníku toutéž pravou stranou následovaná (2): postupným (symbol po symbolu) zpracováním této, na vrchol zásobníku přidané, pravé strany: nechť se má zpracovat (tj. je na vrcholu zásobníku) Xj. Je-li Xj neterminál, postup ad (1) opakujeme, je-li (2) Xi terminál, pak zkontrolujeme (tj. ověřuje se korektnost nedeterministické volby v kroku typu (1)) zda Xj je stejný jako první, dosud nečtený terminál na vstupu; pokud ano, pak terminál z vrcholu zásobníku odstraníme a čtecí hlava se posune o jeden symbol vpravo. Korektnost uvedeného postupu spočívá v důkazu, že v jeho průběhu platí tvrzení (*). Odstartujeme-li M. v situaci, kdy v zásobníku je pouze kořen (a na vstupu slovo z L(Q)), 84 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY pak (*) platí. Dále se (indukcí) ověří, že operace (1) a (2) zachovávají platnost (*). Pro pochopení činnosti M. je vhodné si uvědomit, že (*) implikuje tuto (opět v celém procesu invariantní) vlastnost: dosud přečtená část vstupu zřetězena s obsahem zásobníku v M. je odpovídající levou větnou formou v Q (a obráceně) (tedy vstupní slovo je z L(Q), právě když celý proces skončí v akceptující konfiguraci s celým přečteným vstupem a prázdným zásobníkem). Důkaz. Nechť Q — (N, E, P, S). Definujme M. akceptující prázdným zásobníkem jako M = ({q}, S,JVUS, 5, q, S, 0), kde 5 je definována takto: (1) qA A qa G ô, je-li A —>• a G P (tj. 5(q, e, A) obs. (q, a) (2) qa A qe G ô, pro všechna a G E (tj. 5(q, a, a) = {(q, e)}) Abychom ukázali L(Q) — Le(A4), ukažme, že pro nějaká m,n>l platí: A =>m w <í=4> (q,w,A)\-^—(q,e,e) (tj. qA A v n krocích) (*1) 1. =>: Mějme A =>m w a ukažme, že (q, w, A) (q, e, e) (tj. qA A qe): (a) je-li m — 1 a w — a,\ ... ak, (k > 0), pak zřejmě A —>• w G P, a tedy (g, ai .. .afc, A) |—(q, aľ ... ak, aľ... ak)\^-(q,e,e) (b) Přepokládejme, že (*1) platí pro všechna m' < m a nechť A ^>m w pro m > 1. Pak 1. krok derivace je tvaru A X\X2 ■ ■ .Xk, kde Xi ^>m« Xi,0 < mi < m, což dle definice S, bodu (1) dává (q, w, A) |— (q, w, XXX2 ■ ■ ■ Xk). (1-1) Je-li Xi G N, pak dle indukčního předpokladu máme (q, Xi, Xi) \^— (q, e, e). (1-2) Je-li Xi G E (tj. Xi — Xi), pak dle definice S, bodu (2) máme (q, xÍ7 x i) \—(q,e,e). (1.3) Kompozicí přechodů (1.1) - (1.3) tedy dostáváme (q, w, A) \—— (q, e,e). 2. Předpokládejme, že (q, w, A) \-^— (q, e, e) a ukažme, že A w: (a) n — 1 implikuje qA A G S, a tedy to^Eai^eG F. (b) Předpokládejme, že dokazované tvrzení platí pro všechna n' < n. Pak 1. krok je tvaru (q,w,A) \—{q,w,X1X2...Xk), tj.A^X1X2...XkeP (2.1) Dále (q, Xi, Xi) \ "' (q, e, e), kde rii XXX2 ...Xk ^*xxX2...Xk ^*x\ ... xk — w , což je (korektní) levá derivace slova w v gramatice Q. Položíme-li A — S v právě dokázaném tvrzení (*1), okamžitě dostáváme žádané S w <í=^> (q, w, S) |—— (q, e, e), tj. qS A qe . □ Poznámka 3.48. Poznamenejme, že uvedený důkaz lze modiňkovat tak, že (bez újmy na 3.2. ZÁSOBNÍKOVÉ AUTOMATY 85 obecností) předpokládáme, že daná CFG je vGNF Pak body (1) a (2) v dennici přechodové funkce S lze nahradit jediným, a to q A A qa G S, je-li A —>• aa. Pňncip důkazu ovšem zůstává beze změny. (Přechodový graf takto vzniklého PDA k dané CFG Q, resp. k ekvivalentní CFG v GNF, nazveme rovněž přechodovým grafem CFG Q.) Prezentovaná varianta byla zvolena proto, že (dle našeho názoru) zřetelněji artikuluje nedetermininismus vznikající právě v bodu (1) dennice S (viz též poznámka 3.50) a nevyžaduje převod do GNF. Příklad 3.49. Mějme gramatiku Q0 — ({F, T,F}, {+,*,(,), i}, P,E) s pravidlyPdanými takto: E E+T | T T T*F | F F {E)\i Pak PDA sestrojený dle konstrukce z důkazu věty 3.47 je F = (M, {+, *, í,), i}, {E, T, F, +, *, G S, q, E, 0), kde ô je deňnována takto: qE A qE+T | qT dle bodu (1) qT A qT*F\qF dle bodu (1) qF A q(E) | qi dle bodu (1) qa A qe pro všechna a G {+, *, (,), z} dle bodu (2) Akceptující výpočet automatu V pro vstupní slovo í+í*í je uveden na obrázku 3.3. Jelikož V je jednostavový, nebudeme stav v konňguracích uvádět; tyto jsou tedy dvojicemi tvaru (vstup, obsah zásobníku). Doporučujeme ověřit si platnost vlastnosti (*) a (**) speňkované v idei důkazu věty 3.47. krok odpovídající pravidlo z Qq (i + i*i, e) yž— ( z - - z * z, + T) F - -> F + T H5- ( z - - z * z, T + T) F - -> T ( z - - z * z, f + T) T - * F H5- ( z - - z * z, z + T) F - ■> z M- -fz * z, +T) H^- z * z, T) H5- z * z, T* f) T - >T*F H5- z * z, f *F) T - * F H5- z * z, z *F) F - ■> z *z, *F) ^ f1) i) F - ■> z P- 1 ) Obrázek 3.3: Výpočet automatu P z příkladu 3.49 pro vstupní slovo z + z * z Poznámka 3.50. Jestliže PDA nejen koretně rozhoduje zda w G L(Q), ale při kladné odpovědi je navíc schopen určit derivační strom vstupní věty, říkáme, že PDA provádí syntaktickou analýzu. Ve výše uvedeném příkladu 3.49 je posloupnost odpovídajících pravidel 86 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY z Qo použitých pii výpočtu v V posloupností pravidel použitých pri levé derivaci vstupní věty. Pokud bychom na základě této posloupnosti postupně konstruovali odpovídající derivační strom, povšimneme si, že konstrukce začíná u jeho kořene a jde směrem k listům; odtud název této techniky - nedeterministická syntaktická analýza shora dolů. Nedetermi-nismus se objevuje jen v konňguracích, kdy PDA má na vrcholu neterminál a volí, kterou z odpovídajích pravých stran jej nahradit. Věta 3.51. Ke každému PDA M lze sestrojit CFG Q takovou, že Le(M) = L(Q). Idea důkazu: Nejprve si uvědomme, že pokud by PDA byl jednostavový, pak nalezení ekvivaletní CFG by bylo velmi snadné - konstrukce z důkazu věty 3.47 resp. poznámky 3.48 (tj. k CFG sestrojit ekvivalentní PDA) je plně reversibilní. V podstatě tedy půjde o tento cíl: (***) k danému PDA M. nalézt ekvivaletní PDA M1 s jedním stavem (označeným např. symbolem '*') takový, že levé odvození v hledané Q má být simulací práce M1 (tj. neterminály, které se vyskytují v libovolném kroku levé derivace v Q, odpovídají symbolům v zásobníku automatu M.' v době, kdy tento již přečetl ze vstupu to, co Q nalevo od nejlevějšího neter-minálu vygenerovala (srovnej s vlastnosti (*) resp. (**) uvedenými v idei důkazu zmíněné věty). Klíčovým úkolem důkazu je tedy ukázat, jak simulovat libovolný PDA M. jednosta-vovým PDA M.' - oba dva akceptující prázdným zásobníkem. Informaci o stavu simulovaného PDA nelze v simulujícím jednostavovém PDA umístit jinam než na zásobník, tj. "vhodným způsobem" ji na zásobník přidat. Je-li w G Le(M), pak qoZ0 -H> q do nějakého q G Q, jinak řečeno M. odstartován v (jo-^o přečetl w a skončil vymazáním zásobníku v nějakém q. Pak v souladu s naším cílem (***) je přirozené požadovat dostupnost přesně této informace v zásobníku jednostavového PDA: požadujme po M!, aby odstartován s informací tvaru (qoZ0q) jako jediným symbolem v zásobníku byl schopen přečíst vstup w a akceptovat jej prázdným zásobníkem, tj. mít v hledané gramatice neterminál tvaru (q^Z^q) takový, aby (q^Z^q) =^>* w. Uvědomme si, že v průběhu celého výpočtu zásobník neklesl - s výjimkou poslední konfigurace - pod hladinu danou vrcholovým symbolem Z0 v počátečním totálním stavu qoZ0. Původní PDA M. ovšem prochází při svém (výše naznačeném) výpočtu celou posloupností kroků, a proto je přirozené zjemnit informaci qoZg —> q (resp. (q^Z^q) =^>* w) tak, že jednostavový PDA M.' bude mít v zásobníku symboly tvaru (pAq) z QTQ takové, aby platilo: M.1 odstartován s (pAq) jako jediným symbolem ve svém zásobníku akceptuje vstup x prázdným zásobníkem právě když M. odstartován ve vnitřní konfiguraci pA akceptuje x prázdným zásobníkem ve stavu q, tj. (připomeňme, že symbol '*' reprezentuje jediný stav PDA M'): Nyní zbývá definovat přechody v M!. S každým přechodem pA^q1B1...Bn (aGEU{e» v M přidejme do M.' všechny přechody tvaru *(pAq) A *(qiB1q2)(q2B2q3) . . . (qnBnqn+1) pro všechny možné volby q2,..., qn+i takové, že qn+i — q. V případě n — 0, tedy 3.2. ZÁSOBNÍKOVÉ AUTOMATY 87 p A —>• qe v M, přidáme do M.' přechod *{pAq) —>• *e. Intuitivně řečeno, M.' simuluje M. tak, že nedeterministicky hádá, v kterých stavech se M. ve svém budoucím výpočtu ocitne: uloží si tato hádání na zásobník s tím, že posléze kontroluje korektnost svého nedeterministického hádání. V následujícím důkazu explicitní konstrukci M.' vypustíme a budeme pracovat přímo s hledanou Q, protože je zřejmé, že každému přechodu *{pAq) A *{qiBiq2){q2B2q3) ■ ■ ■ {qnBnqn+i) v M! odpovídá v gramatice přímo pravidlo (pAq) —>• a{qiBiq2) (q2B2q3) ■ ■ ■ (qnBnqn+i). Navíc, protože gramatika může mít jen jeden kořen (resp. PDA jen jeden počáteční symbol v zásobníku), kdežto symbolů tvaru (q^Z^q) je obecně více, přidáme i pravidla S —>• {qoZ0q) pro všechna qeQ (pro M platí Le{M) — {w | qoZ0 A g, g GQ}). Důkaz. Nechť PDA M — (Q, E, T, S, qo,Z0, 0) a nechť Q — (N, E, P, S) je CFG, kde • N — {S} U {{pAq)\p, q G Q, A G T, kde S Q U E U T je nový symbol • P obsahuje pravidla: 1. S —>• (qoZ0q) pro všechna q e Q 2. (pAq) ^ a(qiB1q2}(q2B2q3} ■ ■ ■ (q„Bnqn+1) pro gn+1=g,o€SU{e}, AB,(i<í<«) er,?,e Q, je-lipA A q1B1B2. ..Bn e S; je-li n = 0, tj. A gi, pak klademe gi — q a {pAq) —>• a G P. Abychom ukázali, že = Pe(A/í), tj. 5 ^> (q^Z^q) ^>*w ^=^> (Jo-^o A ge, dokažme: (pAq) x ^=^> A qe (1) 1. Dokazujme, že (p, x, A) \^— (q, e, e) implikuje (pAq) x, a to indukcí vzhledem k i (vzhledem k čemu ještě by šlo indukci vést?). (a) Je-li i — í, pak jistě pA A qe G 5 (a G E U {e}), a tedy (pAq) —>• a je pravidlo z P. (b) Nechť i > 1 a nechť x — ay a (p,ay,A) |—(q1,y,B1B2 ... Bn) \ ' ~ 1 (g, e, e). (1.1) Řetěz y lze zapsat ve tvaru y = yiy2 ■ ■ ■ yn takovém, že přečtení y i způsobí odstranění P^ ze zásobníku (posloupností kroků, kdy zásobník může ještě vzrůst, ale nikdy neklesne pod úroveň, na níž je Pí). Jinak řečeno, yi je takovou předponou slova y, že po jejím přečtení se zásobník poprvé zkrátí na úroveň (hloubku) n — 1 (bude obsahovat B2 ... P„); y2 je takový řetěz, že následuje za yi a po přečtení y2 se poprvé zásobník zkrátí na úroveň n —2 atd. Podstatné je, že během zpracování y i se žádné z P^+i ... Bn neobjevilo na vrcholu zásobníku, a tudíž nemohlo ovlivnit průběh této části výpočtu, tj. B j zůstává na zásobníku bez vlivu na výpočet nad yi ... yj-i - viz obrázek 3.4. Tedy existují stavy q2, q$, ... , qn+i (kde qn+i — q) takové, že výpočet (yj>Bj) ^—(qj+i,£,£) proběhne v méně než i krocích (g^ je stav, do kterého se automat dostal, když se zásobník poprvé zkrátil na úroveň n — j + 1). Podle indukčního předpokladu tedy dostáváme (qjBjqj+i) yj pro všechna 1 < j < n (1-2) Protože první krok celého výpočtu (1.1) nad x — ay byl (p, ay, A) \— (g1; y,BiB2... Bn) (tj. p A A q\B\B2 ... Bn G S), máme též (pAq) a(q1B1q2)(q2B2q3) . . . (qnBnqn+1), což spolu s (1.2) dává žádané (pAq) ay±y2 ... yn — x. 88 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY výška zásobníku <— vi —><— V2 >< ^3 <— y™ —»• přečtený vstup Obrázek 3.4: Výška zásobníku jako funkce přečteného vstupu - k důkazu Věty 3.51 2. =^>: Nyní předpokládejme, že (pAq) =^>J x a indukcí vzhledem k i ukažme, že pak (p,x,A) \^-(q,e,e). (a) Je-li i — 1, pak (pAq) —>• x je pravidlo v Q, což značí, že pA Agec>(xe£U {e}). (b) Nechť i > 1. Derivaci (pAq) =^>J x lze zapsat jako (pAg) a{q1B1q2){q2B2qz) ■ ■ ■ {qnBnqn+1) =>í_1 x, kde g„+i = g (2.1). Pak x lze zapsat ve tvaru x = axiX2 ... xn takovém, že pro každé j(í < j < n) platí (qjBjqj+i) =^>* Xj, kde každá tato derivace má méně než i kroků. Tedy dle indukčního předpokladu platí (qj, Xj, Bj) (qj+i, e, e) pro všechna j(í < j < n). Pokud v každé této posloupnosti konfigurací vložíme na dno zásobníku řetěz Bj+i ... Bn, obdržíme (qj, Xj, BjBj+i . .. Bn) |-(qj+i, e, Bj+i .. . Bn). (2.2) Z prvního kroku derivace (2.1) máme, že (pA A g1£?1£?2 ■ ■ ■ Bn) e S, tj. (p, x, A) I— (gi, xix2 ... xn,B1B2 ... Bn) je korektní krok, což spolu s (2.2) pro j — 1,2,... ,n dává žádané (p, x, Ä) (q, e, e). Jestliže v právě dokázaném tvrzení (1) položíme p — qo a A — Zq, dostáváme (qoZ0q) x ^> q0Z0 A qe, což spolu s pravidlem 1. pro konstrukci množiny P pravidel gramatiky Q dává S =>* x ^=> qoZ0 A qe pro nějaký stav q G Q, tj. x e L(Q) ^=^> x e Le(A4), což jsme měli dokázat. □ Sumarizujme dosud dosažené výsledky o rozpoznávání CFL pomocí PDA. Důsledek 3.52. 1. L — L(G) pro nějakou CFG G 2. L = L(M) pro nějaký PDA M 3. L — Le (N) pro nějaký PDA Af 3.2. ZÁSOBNÍKOVÉ AUTOMATY 89 4. L — L(V) pro nějaký rozšírený PDA V. Důkaz. 3 => 1 (dle 3.47); 1 => 3 (3.47); 4 ^> 2 (3.45); 2 ^> 4 (triviálni); 2 ^> 3 (3.39). □ Příklad 3.53. Mějme dán PDA M = ({g0, gi}, {a,b}, {X, Z0}, 5,g0, Z0,%), kde 5 je deňnována takto: q0Z0-%q0XZ0 qiX Agi q0X -%q0XX qxX Agi qoX\qi qiZ0^qi a konstruujme CFG Q — (N, Y., P, S) tak, aby generovala Le(A4). Zřejmě E Aa,i}a« = {S} U{(qiXqj)\i,j G (0,1)} U {(qiZoqj)\i,j G (0,1)}. Při konstrukci množiny pravidel P lze postupovat systematicky tak, že začneme s kořenovými S-pravidly a další pravidla přidáváme jen pro ty neterminály (...), které se již vyskytly na některé pravé straně do P již přidaného pravidla (proč?). Tedy S-pravidla jsou S ->• (q0Z0qo) | (qoZ0qi) Nyní přidávejme pravidla pro (go^o^o) 3 ilo^oli)- Díkyq0Z0 A q0XZ0 G S přidáme (qoZ0qo) a(q0Xq0)(q0Z0q0) \ a(q0Xq1)(q1Z0q0) , (qoZ0qi) a(q0Xq0)(q0Z0q1) \ a(q0Xq1)(q1Z0q1) . Opakováním tohoto postupu pro nově vznikající neterminály celkem ještě přidáme (q0Xq0) ->• a(q0Xq0)(q0Xq0) | a(q0Xq1)(q1Xq0), a též (qoXqx) ->• a(q0Xq0}(q0Xq1} \ a(q0Xq1)(q1Xq1), protože q0X A g0XX G 5, (q0Xqi) —>• 6, protože q0X A gi G 5 (ffi-^offi)-^ protože qxZ0 A gi G 5, (gi-Xgi) —>• e | 6, protože qíX A gi; giX A gi G č. Poznamenejme, že neexistují žádná pravidla pro (qiXqo) a (qiZoqo); tyto se ovšem na pravých stranách v P vyskytují, tedy tato pravidla nemohou vygenerovat žádný terminálni řetěz, tj. i příslušné levostranné neterminály (qoXqo) a (go^o^o) Jsou nenormované (nepoužitelné). Pak ekvivalentníreduková gramatika má těchto sedm pravidel: 1. £->■ (q0Z0qi) 2- (qoZ0qi)^ a(q0Xq1)(q1Z0q1) 5. (giZ0gi)^ e 3., 4. (qí)Xq1)^a(qí)Xq1)(q1Xq1) \b 6., 7. (qiXqi)^ e \ b Příklad 3.54. Nechí je dán PDA V = ({p, g, r, s}, {a, 6, c, d}, {X}, ô, p, X, 0), kde ô je dána takto: pX A pXX, pX A re, pX A ge, qX A sX, A qe, rX A re. Pro V zkonstruujte část přechodového grafu (např. z pX alespoň dva a-přechody vedoucí postupně do pXX a pXXX a všechny b, c, d-přechody (a totální stavy) vedoucí postupně do akceptujících qe, re). Nalezněte ekvivaletní CFG a zkonstruujte její přechodový graf. Na závěr této části uveďme ještě jedno tvrzení, které je sice již obsaženo v důsledku 3.52, avšak v jeho důkazu bude uvedena přímočará a velmi důležitá konstrukce, která (mimo jiné) ozřejmí, proč jsme definovali rozšířený PDA. Lemma 3.55. (O nedeterministické syntaktické analýze zdola nahoru) Nechl Q je libovolná CFG, paklze zkonstruovat rozšířený PDA 7Z takový, že L(Q) — L(7Z). Idea důkazu: Z důvodů čitelnosti (viz dále) budeme nyní vrchol zásobníku psát (v definici S i v konfiguracích) vždy vpravo. 7Z bude opět de facto jednostavový (druhý stav bude 90 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY sloužit jen jako koncový). Na rozdíl od důkazu analogického tvrzení pro obyčejný PDA (viz věta 3.47), budeme konstruovat rozšířený PDA TZ tak, aby simuloval pravé odvození vstupní věty, přesněji řečeno reverzi tohoto odvození: práci začne nad vstupní větou (a - v pricipu - s prázdným zásobníkem) a skončí s pražným vstupem a v zásobníku bude kořen gramatiky (odtud název analýza zdola nahoru. Pravou větnou formu aAy bude mít k dispozici tak, že aA (jako výsledek dosavadní práce nad x - již přečtenou částí vstupu) je obsah zásobníku (s A na vrcholu) a y je dosud nepřečtená (nezpracovaná) část vstupu. Tedy invarintem výpočtu bude vlastnost: obsah zásobníku zřetězen se zbytkem vstupu v TZ — pravá větná forma v Q (*) či přesněji řečeno, začne-li TZ pracovat nad vstupem, který je větou z L(Q), pak: aAy je obsah zásobníku zřetězen se zbytkem vstupu <=> (**) aAy je pravá větná forma. Rozšířený PDA TZ má kroky dvojího typu: (1) může kdykoli číst do zásobníku vstupní symbol, (2) je-li na vrcholu zásobníku řetěz tvořící pravou stranu nějakého pravidla v Q, může nahradit v zásobníku tuto pravou stranu odpovídajícím levostranným neter-minálem; ze vstupu nic nečte. Krok typu (2) nazveme redukcí podle příslušného pravidla. Automat TZ bude tedy (opět) nedeterministický, tj. bude hádat, kdy (postupně) číst symboly ze vstupu a kdy a jak redukovat podřetězy v pravých větných formách (vrcholové řetězy v zásobníku), a to počínaje vstupním slovem tak, aby bylo dosaženo kořene gramatiky, právě když vstup je větou v Q. Důkaz. Nechf Q = (N, E, P, S) a položme TZ = ({q, r}, E,JVUSU {_L}, S, q, _L, {r}), kde _L je nově přidaný symbol a kde S je definována takto: 1. S(q, a, e) — {(q, a)} pro všechna a G E , 2. je-li A —>• a, pak S(q, e, a) obsahuje (q, A) , 3. ô(q,e,±S) = {(r,e)}. Úmluva: každé niže uvedené odvození je pravým odvozením. Nyní zformulujme a dokažme implikaci "<^" v (**). Indukcí vzhledem k n tedy ukažme tvrzení (všimněme si, že =^>* jen říká, že aAy je pravá větná forma - viz úmluva): S =>* aAy =>n xy => (q, xy, _L) (q, y, A.aÁ) (1) Báze, tj. n — 0 je triviální - TZ neudělá žádný krok. Předpokládejme, že (1) platí pro všechna n' < n. Pak můžeme psát aAy =>• af3y ^>™_1 xy. Mohou nastat 2 případy: Je-li aj3 G E*, pak aj3 — x a (q, xy, _L) (q, y, _La/3) |— (q, y, J-aA). Je-li a/3 ^ E*, pak lze psát a/3 — "fBz, kde B je nejpravější neterminál. Podle indukčního předpokladu máme, že S =>* "/Bzy =^>n^1 xy implikuje (q,xy,±) \^— (q, zy, A-jB). Jelikož (g, zy, A-jB) (q, y, As^Bz) je možná posloupnost kroků (čtení do zásobníku), dostáváme celkem, že (1) platí. Konečně (q, e, A.S) \— (r, e, e), a tedy L(Q) C L(TZ). Abychom ukázali obrácenou inklusi (tj. implikaci "^>" v (**)), dokažme indukcí vzhledem k n tvrzení 3.2. ZÁSOBNÍKOVÉ AUTOMATY 91 {q,xy,±)]r-{q,y,±-oiA) aAy =^>* xy (2) Báze indukce, n — O, platí triviálně. Pro indukční krok předpokládejme, že (2) platí pro všechna n < m. Pokud symbol na vrcholu zásobníku je neterminál, pak jistě musel být poslední krok proveden na základě pravidla redukce (viz bod 2 v definici S automatu 7Z) - na vstupu neterminály nejsou. Můžeme tedy psát (q,xy,-L) I m~1 (q,y, -La/3) |— (q,y,-LaA), kde A —>• /3 je pravidlo z P. Pokud se v řetězu a/3 vyskytuje nějaký neterminál, pak dle indukčního předpokladu máme a/3y =^>* xy. Celkem tedy dostáváme aAy =>• af3y =^>* xy, čímž je (2) dokázána. Nyní specializací (2) dostaneme, že (q, w, _L) |-^— (q, e, J-S) implikuje S =>* w. Jelikož 1Z akceptuje w jen pokud (q, w, _L) \—(q, e, -LS) |— (r, e,e), dostáváme, že L(1Z) C L (Q), a tedy celkem L(7Z) — L(Q), čímž je důkaz ukončen. □ Příklad 3.56. Mějme G0 s pravidly E ->• E+T \ T, T —>• T*F \ F, F ^ (E) \ í. Pak rozšířený PDA z lemmatu 3.55 je V = ({q, r}, {+, *, (, ),i}, {E, T, F, +, *, _L}, S, q, _L, {r}), kde S je deňnována takto (připomeňme, že vrchol zásobníku píšeme vpravo): q qa Va G {+ -, *, (,),«} dle bodu 1 qE+T qE dle bodu 2 qT qE dle bodu 2 qT*F qT dle bodu 2 qF qT dle bodu 2 q(E) qF dle bodu 2 qi qF dle bodu 2 q±E re dle bodu 3 Všimněme si, že pokud bychom nepřijali konvenci, že vrchol zásobníku píšeme vpravo, museli bychom ve výše uvedené deňnici funkce S místo pravé strany a pravidla z P psát méně přehledný zrcadlový obraz a, tj. aR. Z těchže důvodů jsou v akceptujícím výpočtu pro vstupní slovo í + í * í (viz obrázek 3.5) konňgurace psány ve tvaru trojic (stav, obsah zásobníku, vstup) s vrcholem zásobníku vpravo (a to i pro názornost ověření podmínky (*) z úvodu k důkazu lemmatu 3.55). Poznámka 3.57. Na obrázku 3.5 si všimněme, že posloupnost odpovídajících pravidel z Qo použitých při výpočtu v V je reverzíposloupnosti pravidel použitých při pravé derivaci vstupní věty v Qq. Pokud bychom na základě této posloupnosti postupně konstruovali odpovídající derivační strom, povšimneme si, že konstrukce začíná u jeho (levých) listů a jde směrem ke kořenu; odtud název této techniky - nedeterministická syntaktická analýza zdola nahoru. Nedeterminismus se objevuje v těchto dvou základních variantách: (1) v konfiguracích, kdy PDA má na vrcholu pravou stranu nějakého pravidla a volí zda redukovat tuto pravou stranu na odpovídající neterminál nebo zda číst ze vstupu - viz výše např. (q, ±E + T, *i), kde lze nejen provést uvedené čtení symbolu '*', ale též redukci dle E —>• E+T). Tuto situaci nazýváme konňiktem typu čtení versus redukce; (2) v konňguracích, kdy PDA má na vrcholu takový řetěz, že jsou možné alespoň 92 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY krok výpočtu odpovídající pravidlo z Q0 pro následující krok (g, i _, i + í * í) \^— (9, -L*, -fz * z) f - ■> z (9, -LF, -fz * z) t - * f (9, -LT, -fz * z) e - -> T H5- (9, -L#, -f z * z) F^- "(9, -L^ •t z * z) P- (9, -le + -i, *z) f - ■> z H5- (q, -le-i -F, *z) t - * f (q, ±e-\ -t, *z) ^ (q, -le-\ -T*, z) (q, ±e^ -t* í, e) f - ■> z H5- (q, ±e-\ -t* f, e) t - ^t*f H5- (q, -le-i -t, e) e - e + t H5- (q, -le, e) H5- (r, S e) Obrázek 3.5: Výpočet automatu V z příkladu 3.56 pro vstupní slovo z + z * z civě různé redukce (tj. redukce podle různých pravidel); jako příklad může opět sloužit výše uvedená (q, ±E + T, *i), kde lze redukovat jak E + T na E, tak i příponu tohoto řetězu, tj. T, na (shodou okolností opět) E. Tuto situaci nazývýme konňiktem typu redukce versus redukce. Variantu (1) lze obecně charakterizovat existencí jak pravidla A —>• a, tak i B —>• a/3 (spolu s existencí například S =^>* 'jAz a S4* 'jBz), kdežto pro (2) je typická existence pravidel A —>• a a B —>• /3a (spolu například s S =^>* ryf3Az a S =^>* "fBz). Současný výskyt obou typů konňiktůje samozřejmě v konňguraci PDA též možný. Co se nedeterminismu týče, je tedy vidět, že zatímco u analýzy shora dolů se omezuje na případ, kdy máme volit, kterou z pravých stran nahradit neterminál na vrcholu zásobníku, je u analýzy zdola nahoru jeho povaha poněkud košatější. 3.3 Vlastnosti bezkontextových jazyků 3.3.1 Uzáverové vlastnosti V této části uvedeme některé uzáverové vlastnosti CFL a ukážeme, jak je lze použít k důkazu, že nějaký jazyk je, nebo není CFL. Díky vztahu CFG a PDA (viz část 3.2) lze v níže uvedených důkazech použít jak bezkontextových gramatik, tak i zásobníkových automatů. V dalším textu C2 značí třídu všech bezkontextových jazyků a připomeňme, že pokud není řečeno jinak, vždy předpokládáme, že gramatika je redukovaná. Věta 3.58. C2 je uzavřena vzhledem k operaci (1) sjednocení, (2) zřetězení, (3) iteraci a (4) pozitivní iteraci. 3.3. VLASTNOSTI BEZKONTEXTOVÝCH JAZYKŮ 93 Důkaz. Nechf CFL Li, í — 1, 2 je generován CFG Qi — (Ni, Ej, Pi, Si), tj. Lj = L(Qi). Bez újmy na obecnosti můžeme předpokládat, že iVi ľl JV2 = 0 (v opačném případě lze například k N2 vytvořit abecedu dvojníků N2 — {A'\ A e A^}). (1) Jazyk L — L\ U L2 je generován gramatikou Q = (Ar1UAr2U{S,},EiUE2,PiUP2U{S'^ 5i,5^ 52},5),kde 5 je nový symbol. Pak každá derivace v Q musí začínat použitím buď 5 —>• 5i nebo 5 —>• 52, přičemž podmínka ^ ľl JV2 = 0 zaručuje, že při použití 5 —>• 5i (resp. 5 —>• 52) lze v dalším derivování používat jen pravidla z Pi (resp. P2). Formální důkaz, že L(Q) — L(Qi)UL(Q2) (tj. obě inkluse) je ponechán čtenáři. (2) Jazyk L — Li .L2 je generován gramatikou Q — (N\ UÍV2U {5}, Ei U E2, Pi U P2 U {5 5i52}, 5), kde 5 je nový symbol. (3) Jazyk L — L\ je generován gramatikou g = (A^ u {S}, Ei, Pi U {5 55i I e}, 5),kde 5 je nový symbol. (4) Jazyk L — L\ je generován gramatikou Q = u {5}, Ei, Pi U {5 55i I 5i}, 5), kde 5 je nový symbol. Formální důkazy ad (2) - (4) jsou opět ponechány čtenáři. □ Příklad 3.59. Ukažme, že jazyk Lx = {amibmi ... am™bm™ | n > 0, ml > 0,1 < í < n} je CFL. Stačí si uvědomit, že L\ lze obdržet iterací jazyka L — {ambm \ m > 0}, který je CFL, tj.Lx = L*. Věta 3.60. C2 není uzavřena vzhledem k operacím (1) průniku a (2) doplňku. Důkaz. (1) Mějme jazyky L\ — {anbncm m,n> l}aL2 = {ambncm \ m,n > 1}. Oba tyto jazyky jsou CFL (například Li je generován CFG s pravidly 5 —>• 5iC, 5i —>• a5i& I ab, C —>• Cc \ c ). Kdyby C2 byla uzavřena vzhledem k operaci průniku, pak i L\ n L2 — {anbncn I n > 1} musel být bezkontextový, což však není - viz příklad 3.26. (2) Neuzavřenost C2 vůči doplňku plyne okamžitě z její uzavřenosti na sjednocení, neuzavřenosti na průnik a z De Morganových pravidel: pro libovolné Li, L2 platí Li n L2 = -.(-.Li U -.L2), tj., kdyby £2 byla uzavřena na doplněk, musela by být uzavřena i na průnik - spor. □ Věta 3.61. C2 je uzavřena vzhledem k průniku s regulárním jazykem. Důkaz. L e C2 značí, že existuje PDA V — (Qi, E, t, Si,ql, Zq, Pí), takový, že L — L(V) a R regulární značí, že existuje (bez újmy na obecnosti deterministický) konečný automat A — (Q2, E, S2, q^, F2), takový, že R — L(A). Abychom ukázali, že Ľ — L n R e C2, sestrojme PDA T", takový, že Ľ = L(T"). Položme V = (Q', E, T, ô', q'0,Z0,F'), kde 1. Q' = Qi x Q2, 2- q'0 = (qlq20) 3. p' = p1 x P2 a 4. 5': q), a, Z) obsahuje ({p', q'), 7) ^=4> 5i(p, a, Z) obsahuje (p', 7) a S2(q,a) = g' 94 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Příklad 3.62. Ukažme, že L — {w G {a, b, c} | w obsahuje stejný počet symbolů a, 6, c} neníCFL. K tomu stačíuvážit, že L D a*b*c* — {anbncn | n > 0} nem CEL, a tedy ani L není CFL. Věta 3.63. C2 je uzavřena vzhledem k substituci. Důkaz. Nechť L C E* je CFL a a taková substituce, že pro každé a G E platí, že a{a) — La je CFL. Nechť L — L(Q) a La — L(Qa) pro každé a G E. Bez újmy na obecnosti předpokládejme, že abecedy neterminálů všech uvedených CFG jsou vzájemně po dvou disjunktní a konstruujme gramatiku Q' takto: 1. neterminály gramatiky Q' jsou sjednocením neterminálů gramatiky Q a neterminálů všech Qa, 2. terminály v Q1 jsou sjednocením terminálů všech Qa, 3. pravidla v Q' jsou sjednocením pravidel všech Qa spolu s pravidly, která vzniknou takto: ke každému A —>• a v Q vytvoříme nové pravidlo, které vznikne tak, že v a každý výskyt terminálu a nahradíme neterminálem Sa - kořenem gramatiky Qa a 4. kořenem Q' je kořen Q. Formální důkaz je opět ponechán čtenáři. □ Příklad 3.64. Nechi L je množina slov, která obsahují stejný počet výskytů symbolu a a b. Nechi dále La = {0"1"| n > 1} aLb = {wwR\ w G (0 + 2)*}. L lze generovat CFG Q s pravidly S —>• aSbS | bSaS | e, La lze generovat CFG Qa s pravidly Sa -> OSU I 01 a Lt, lze generovat CFG Q b s pravidly Sb 0S&0 I 2Sb2 | e. Je-li / taková substituce, že f (a) — La a f(b) — Lb, pak f(L) lze generovat CFG s pravidly S -> SaSSbS I SbSSaS \e Sa ->■ 0Saí | 01 56 -> OSbO | 2562 | e. Jelikož {a, b}, {ab}, a* a a+ jsou CFL, pak uzavřenost C2 na substituci implikuje uzavřenost na sjednocení, zřetězení a (pozitivní) iteraci: sjednocení La U Lb je substitucí La a Lb do {a, 6}, podobně zřetězení La.Lb je substitucí La a do {a&} a L* je substitucí La do a*. Tvrzení věty 3.58 bylo tedy možné prezentovat jako důsledek věty 3.63. Důsledek 3.65. C2 je uzavřena vůči (1) homomorňsmu a (2) inverznímu homomorňsmu. Důkaz. (1) Homomorfismus je speciálním případem substituce, vůči níž je C2 uzavřena. (2) Důkaz uzavřenosti C2 na inverzní homomorfismus plyne z uzavřenosti C2 na substituci, homomorfismus a průnik s regulárním jazykem takto: Mějme libovolný homomorfismus h : E —>• A* a k E definujme abecedu dvojníků E. Dále definujme: 1. substituci a : a (c) = E cE* pro každé c G A, 2. regulární jazyk L\ — {äw | ä G E, w G A*, h(a) — w} a □ 3.3. VLASTNOSTI BEZKONTEXTOVÝCH JAZYKŮ 95 3. homomorfismus h\ : (E U A) —>• E* takto: h\(a) — a pro všechna ä G E /ii(c) = e pro všechna c G A. Zřejmě platí, že hi(cr(L) ílLj) = /i_1(L). Současně však z uzavřenosti třídy £2 vzhledem k výše zmíněným operacím (a faktu, že též jazyk L\ je regulární) plyne, že pro každý jazyk L G £2 platí hi(cr(Ľ) n L^) G £2- Celkem tedy dostáváme /i_1(L) G £2, což jsme měli dokázat. □ Příklad 3.66. Mějme jazyk L — {ww \ w G {a, b}*} a ukažme, že L není CFL. Předpokládejme, že L je CFL. Pak ovšem L\ — L n a+b+a+b+ by byl též CFL, ale L\ — {cŕVcŕV I i, j > 1}, což je jazyk velmi podobný jazyku L? — {cŕVddP \ í,j > 1} z příkladu 3.27 o němž jsme pomocí pumping lemmatu ukázali, že není CFL - pomocí obdobných argumentů lze totéž dokázat i o L\. Pokud bychom k důkazu, že L\ není CFL nechtěli použít pumping lemma, lze L\ redukovat přímo na L2 — {cŕVdcP \ í,j > 1} takto: Nechi h je homomorňsmus deňno-vaný takto: h(a) — h(c) — a a h(b) — h(ď) — b. Pak/i_1(Li) se skládá ze všech slov tvaru xix2x^X4 takových, že xi ax^jsou z {a,c}+ a mají stejnou délku a podobně x2 ax^ jsou z {b, d}+ a mají stejnou délku. Pak ovšem /i_1(Li) n a* b* c* d* — L2, a tedy kdyby Li byl CFL, musel by L2 být rovněž CFL, což (jak víme z příkladu 3.27) není, tudíž ani L\ nemůže být CFL. Příklad 3.67. Na základě příkladu 3.66 lze ukázat, že jazyk fragmentů pascalských programů L — {beginvarw : integer;w :— 0; end | w G {a, b}+ } není bezkon textový. Nechi h je homomorňsmus takový, že h(a) — a, h(b) — ba h(X) — e v ostatních případech. Pak h(L) — {ww \ w G {a, b}+}, a tedy L není CFL. V kompilátorech je tato situace řešena tak, že před vlastní syntaktickou analýzou je text zpracován lexikálním analyzátorem, který identiňkátory, jejichž délka není v deňnici jazyka shora omezena, zpracovává tak, že je redukuje na dvojici ňxní délky, kde první komponenta (kterou bere v potaz syntaktický analyzátor) udává, že se jedná o syntaktickou kategorii „identiňkátoť'; druhá komponenta obsahuje odkaz do tabulky, kde je skutečný textový tvar identiňkátoru uložen. 3.3.2 Rozhodnutelné vlastnosti a regularita Již v předchozích částech jsme ukázali, že existuje algoritmus, který pro libovolnou danou CFG Q rozhoduje, zda L(Q) — 0 či nikoliv (tzv. problém prázdnosti jazyka je pro CFLs tedy algoritmicky řešitelný - rozhodnutelný). Další důležitou vlastnost jsme ukázali tím, že (opět) k libovolné dané CFG Q lze sestrojit (jazykově) ekvivaletní PDA; jinak řečeno, máme k dispozici (nedeterministický) algoritmus, který rozhoduje problém zda w G L(Q) či nikoliv (tzv. problém příslušnosti slova je v třídě CFLs rozhodnutelný). Některé další vlastnosti CFL jsme již též ukázali v předchozích částech, mimo jiné i tzv. Pumping lemma pro CFL, které nám v některých případech (spolu s eventuelním využitím uzáverových vlastností) umožní dokázat, že daný jazyk není bezkontextový. I následující věty jsou de facto důsledkem Pumping lemmatu pro CFL. 96 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY Věta 3.68. Ke každé CFG Q lze sestrojit čísla m, n taková, že L(Q) je nekonečný právě když existuje slovo z G L(Q) takové, že m < \z\ < n. Důkaz. Předpokládejme, že Q je v CNF. Pak dle Pumping lemmatu pro CFL (viz 3.24) existují čísla p, q s vlastnostmi popsanými v tomto lemmatu. Položme m — pan — p + q. 1. -<=: Jestliže z G L(Q) je takové slovo, že p < \z\ < p + q, pak lze psát z — uvwxy (vx ^ e) a uvlwxly G L(Q) pro všechna í > 0. Tedy L(Q) obsahuje nekonečně mnoho slov tvaru uvlwxly, je tedy nekonečný. 2. =4>: Nechf L(Q) je nekonečný. Pak obsahuje i nekonečně mnoho slov délky větší než p - tuto množinu slov označme M. Zvolme v M libovolné takové slovo z, které má minimální délku a ukažme, že musí platit p < \z\ < p + q. Sporem: kdyby \z\ > p + q, pak (opět dle Pumping lemmatu pro CFL) lze z psát ve tvaru z — uvwxy, kde vx ^ e, \vwx\ < q a uvlwxly G L(Q) pro všechna í > 0. Tedy specielně pro í — 0 máme, že uwy G L(Q) a současně \uwy\ < \uvwxy\. Přitom však (díky \uvwxy\ > p + q a \vwx\ < q) platí, že |itwy| > {p + q) — q — p; tedy uwy G M, což je spor s volbou z jako slova z M s minimální délkou. Celkem tedy musí být \z\ < p + q. □ Poznámka 3.69. Naše dosavadní poznatky o (ne)prázdnosti a (ne)konečnosti CFL lze sumarizovat takto: existují algoritmy, které pro libovolný daný CFL L určí, zda L je (a) prázdný, (b) konečný, nebo (c) nekonečný. Algoritmus pro problém ad (a) byl podán v 3.9. Problém ad (b) resp. ad (c) lze rozhodovat tak, že postupně pro všechna slova w taková, žep < \w\ < p + q (a těchjejen konečně mnoho nad konečnou abecedou E) testujeme, zda w G L(Q) či nikoliv (pomocí ekvivaletního PDA). Pokud nalezme w takové, že w G L(Q), pak L(Q) je nekonečný, v opačném případě je konečný. Následující vlastnost charakterizuje ty CFL, které nejsou regulární a po ní uvedené tvrzení ilustruje jednu z aplikací GNF Definice 3.70. Nechf Q — (N, E, P, S) je CFG. Řekneme, že Q má vlastnost sebevložení, jestliže existují A G N a u, v G E+ taková, že A uAv. CFL L má vlastnost sebevložení, jestliže každá gramatika, která jej generuje, má vlastnost sebevložení. Věta 3.71. CFL L má vlastnost sebevložení, právě když L není regulární. Důkaz. 1. =4> ( P =4> Q ukazujeme jako =4> ^P): Je-li L regulární, pak jej lze generovat regulární gramatikou a žádná regulární gramatika vlastnost sebevložení nemá. 2. (opět P Q ukazujeme jako ^= ^P)' Nechf L je generovatelný nějakou CFG, která nemá vlastnost sebevložení a ukažme, že pak L musí být regulární. Zmíněnou CFG lze převést na gramatiku Q — (N, E, P, S) v GNF, která opět nemá vlastnost sebevložení a L — L(Q). Označme n — card(N) ad — max{|a|; A —>• aa G P, A G N}. Nyní ukažme platnost tohoto tvrzení: v žádné levé větné formě v Q nemůže být více než n ■ d výskytů neterminálů. (*) Abychom to ukázali, předpokládejme opak, tj. existuje a takové, že S a je levá 3.3. VLASTNOSTI BEZKONTEXTOVÝCH JAZYKŮ 97 derivace v Q a a obsahuje více než n ■ d výskytů neterminálů. Označme C cestu z kořene S do nejlevějšflio neterminálů v a. Z cesty C vyberme podposloupnost C tvořenou jen těmi vrcholy, které odpovídají použití pravidel tvaru A —>• ar/, kde I7I > 1. Při každém odvozovacím kroku v podposloupnosti C se zvýši počet výskytů neterminálů, a to nejvýše o d — 1, což pro naše a značí, že v derivačním stromu pro a (viz obrázek 3.6) má C délku větší než n. To však znamená, že alespoň dva z vrcholů na C musí být označeny týmž neterminálem, řekněme X. To ovšem značí, že X =^>+ uXv, kde u i v jsou neprázdná, což je však spor s tím, že Q nemá vlastnost sebevložení. Tím jsme dokázali tvrzení (*). Jestliže se tedy v libovolné levé větné formě v Q vyskytuje nejvýše n ■ d neterminálů, pak L(Q) lze generovat regulární gramatikou Q' — (N', E, P', S'), kde • N' — {(a) I a G N*, \a\ • a(a/3) G P' pro každé /3 takové, že \af3\ < n ■ d. Je zřejmé, že L(Q) — L(Q') a Q' je regulární gramatika. □ Zdůrazněme, že existence tvrzení o vlastnosti sebevložení charakterizující ty CFLs, které nejsou regulární, rozhodně neimplikuje existenci algoritmu, který by uměl pro libovolný daný CFL jazyk L rozhodovat, zda L tuto vlastnost má, či nemá; v dalším textu bude ukázáno, že neexistuje takový algoritmus, který by pro L rozhodoval, zda existuje regulární jazyk R takový, že L — R. Dokonce neexistuje ani algoritmus, který by rozhodoval, zda L — H*. 98 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY 3.4 Deterministické zásobníkové automaty 3.4.1 Definice DPDA a jejich základní vlastnosti Definice 3.72. Řekneme, že PDA M —(Q, T,, T, ô, q0,Z0,F)je deterministický (DPDA), jestliže jsou splněny tyto podmínky: 1. pro všechna q e Q a Z e T platí: kdykoliv s(q, e, Z) ^ 0, pak s(q, a, Z) — 0 pro všechna a G E; 2. pro žádné q G Q, Z G T a aeSU {e} neobsahuje s(q, a, Z) více než jeden prvek. Řekneme, že L je deterministický bezkontextový jazyk (DCFL, stručněji též deterministický jazyk), právě když existuje DPDA M. takový, že L — L(A4). Podmínka 1 vylučuje možnost volby mezi krokem nezávislým na vstupním symbolu (e-krokem) a krokem, kdy se ze vstupu čte. Podmínka 2 říká, že jak v případě čtecího kroku, tak i pro e-krok, neexistuje více nezjedná varianta, jak dále pokračovat. Lemma 3.73. Ke každému DPDA M lze sestrojit DPDA J\í takový, že Le(M) — L{N) Důkaz. Tvrzení se dokáže stejně jako analogické tvrzení věty 3.39, část 2. Z uve- dené konstrukce je okamžitě vidět, že je-li daný M. deterministický, pak i M simulující jeho činnost je deterministický. □ Poznámka 3.74. Poznamenejme, že obrácené tvrzení k tvrzení 3.73 obecně neplatí (důvody, jak uvidíme, jsou čistě technického, formálního charakteru). Po vyprázdnění zásobníku nemůže totiž žádný PDA (a tedy i DPDA) pokračovat ve výpočtu. Máme-li tedy dán takový jazyk L, že existuje slovo u G L a též uv G L, v ^ e, pak každý DPDA M. akceptující prázdným zásobníkem musí po přečtení u akceptovat zastavením s prázdným zásobníkem. Tatáž situace však nastane, dáme-li automatu M. na vstup slovo uv: pak M. toto slovo nemůže dočíst do konce, a tedy M. neakceptuje uv, tedy nerozpoznává L. Příkladem takového jazyka je dokonce konečný (tedy v Chomského hierarchii regulární) jazyk {a, aa}. Pokud naopak L výše uvedenou vlastnost nemá (tj. neexistuje slovo u E L takové, že rovněž uv G L, v ^ e), pak říkáme, že L je bezprefixový; z tohoto důvodu tedy DPDA akceptující prázdným zásobníkem nemohou rozpoznávat jazyky, které nejsou bezpreňxové. Poznamenejme, že {anbn\ n > 1} je příkladem bezpreňxového CFL - tedy rozpoznatelný DPDA prázdným zásobníkem. Zkonstruujte jej! (srv. příklad 3.41) Je zřejmé, že ani technika "testu dna zásobníku" problém v případě DPDA neřeší-determinismus neumožňuje hádat, zda byljižpřečen poslední symbol ze vstupu. Povšimněme si však, že pro každý L C E* a E je jazyk L.{-\} bezpreňxový (symbol H hraje roli eof, pokud vstup chápeme jako soubor - ňle). V dalším textu tedy budeme u každého DPDA předpokládat, pokud nebude řečeno jinak, že ke konci vstupního slova je přidán znak(tzv. pravá koncová značka)-!^ E. Formální dennici DPDA s pravou koncovou značkou (na vstupu) přenecháváme čtenáři jako cvičení. Definice 3.75. Řekneme, že rozšířený PDA M. — (Q, E, T, s, qo,Zo, F) je deterministický (DPDA) jestliže jsou splněny tyto podmínky: 1. Pro žádná q G Q, a G E U {e} a 7 G T* neplatí card(s(q, a, 7)) > 1. 3.4. DETERMINISTICKÉ ZÁSOBNÍKOVÉ AUTOMATY 99 2. Je-li S(q, a, a) ^ 0, ô(q, a, f3) ^ 0 a f3, pak ani a není předponou f3 ani f3 není předponou a. 3. Je-li <5(g, a, a) ^ f) a S(q,e,(3) ^ 0, pak ani a není předponou /3 ani f3 není předponou a. Poznamenejme, že podmínky 2 a 3 jsou formulovány vzhledem ke konvenci, že v konfiguracích píšeme vrchol zásobníku vlevo, tj. a, f3 jsou vrcholové řetězy v zásobníku. Při konvenci s vrcholem zásobníku vpravo bychom museli v podmínkách 2 a 3 místo "předpona" použít "přípona". Z definice 3.75 je vidět, že ve speciálním případě, kdy rozšířený PDA je "obyčejným" PDA, uvedená definice souhlasí s definicí 3.72. Poznamenejme též, že pokud je konstrukce z důkazu lemmatu 3.45 aplikována na rozšířený PDA V, pak výsledkem bude DPDA když a jen když V je rozšířeným DPDA. Definice 3.76. (normální forma (D)PDA) Řekneme, že DPDA M — (Q,Y,,T,ô,q0, Z0, F) je v normální formě jestliže platí: je-li S(q, a, X) — (p, 7), pak buď (a) 7 — e nebo (b) 7 — X nebo (c) 7 — YX pro nějaké ľeľ. Identicky lze definovat normální formu i pro (nedeterministický) PDA. Uvedená normální forma tedy požaduje, aby jediné povolené operace nad zásobníkem byly odstranění vrcholového symbolu ze zásobníku, někdy též zvaná pop (viz podmínka (a)) nebo přidání jednoho symbolu, řekněme Z, na vrchol zásobníku, někdy též značená push (Z) (viz podmínka (c)); podmínka (b) povoluje změnit pouze vnitřní stav, a to bez změny zásobníku. Následující dvě lemmata dokazují, že k libovolnému DPDA (resp. i PDA) lze sestrojit ekvivaletní DPDA (resp. PDA) v normální formě (důkazy pro PDA jsou kopiemi důkazů pro DPDA a nejsou tedy uvedeny). První lemma říká, že v žádném kroku DPDA nemusí ukládat na zásobník více než jeden symbol, protože namísto uložení řetězu symbolů je možné tento řetěz uložit na zásobník postupně, symbol po symbolu, a to pomocí e-kroků. Navazující druhé lemma již konstruuje DPDA v normální formě, tj. ukazuje navíc, že DPDA nikdy nemění vrcholový symbol - nanejvýš nad něj jeden symbol přidá (tedy pokud vrcholový symbol není přímo odstraněn). Těmto změnám vrcholového symbolu se vyhneme tím, že DPDA si bude pamatovat vrcholový symbol v konečně stavové řídicí jednotce a požadované změny se budou odehrávat pouze v ní. Lemma 3.77. Ke každému DPDA M — (Q,Tj,T,5,qo,Z0,F) existuje s ním ekvivaletní DPDA Af = ( 2, označme 7 — Y\ ... Yn, pro nějaké n > 3. Přidejme nové nekoncové stavy p±,..., pn-2 a S rozšiřme na S' takto: S'(q,a,X) = Oi,l"„_Ä), ô'(pi,e,Yn-i) = (pi+i,y„_i_i,y„_i) prol (*) během nějaké posloupnosti e-kroků se jeho délka zvětší o více než r.s.t (*) =4> : evidentní (roste-li zásobník nade všechny meze, pak vzroste i o více než r.s.t). (*) ■<= : jestliže během nějaké posloupnosti e-kroků zásobník povyroste o více než r.s.t, pak lze z této posloupnosti konfigurací vybrat (pod)posloupnost všech konfigurací takových, že při přechodu od í-té k i + 1-ní konfiguraci zásobník vzroste nad úroveň, kterou měl v í-té konfiguraci (rostoucí posloupnost vzhledem k délce zásobníku). Tato vybraná posloupnost má jistě délku větší než s.t (viz význam konstant r, s, t). To ovšem značí, že mezi vybranými konfiguracemi existují alespoň dvě konfigurace ki a &2, které se shodují svým stavem a svým vrcholovým symbolem, přičemž délka 102 KAPITOLA 3. BEZKONTEXTOVÉ JAZYKY A ZÁSOBNÍKOVÉ AUTOMATY výška zásobníku . l . > r.s.t ki e-kroky Obrázek 3.7: Vybraná podposloupnost konfigurací při e-krocích. zásobníku je v k2 větší než v k± - viz obrázek 3.7. Jelikož Á4 je deterministický, pak posloupnost kroků, kterou prováděl mezi ki ak2, bude dělat i nadále, a to ad infinitum. Tedy zásobník poroste nade všechny meze, čímž jsme dokázali tvrzení (*). K detekci chování typu l(b)i stačí tedy kontrolovat, zda se během nějaké nepřetržité posloupnosti e-kroků nezvětší délka zásobníku o více než r.s.t. Tuto kontrolu zabezpečíme tak, že do konečně stavové řídicí jednotky přidáme čítač cl, který může nabývat (konečně mnoha) hodnot z intervalu (0, r.s.t) a s nímž simulující M.' pracuje takto: • kdykoli se přečte symbol ze vstupu, cl se nastaví na 0; • při každém e-kroku se cl zvětší/zmenší o hodnotu, o kterou se zvětšila/zmenšila délka zásobníku; • místo záporných čísel cl nabývá hodnoty 0; • pokud by měl cl nabýt hodnoty větší než r.s.t, pak simulující M.' přejde do "záchytného stavu d (nově přidaný nekoncový stav - viz tento důkaz, část ad la), v němž dočte vstup až do konce. Tím je tedy odstraněn problém ad l(b)i. Nyní se zabývejme možnostmi detekce situací ad l(b)ii, tj. když během nekonečné posloupnosti e-kroků zásobník neroste neomezeně. Jinak řečeno, jeho délka nepřesáhne určitou mez. V průběhu této posloupnosti zásobník nemůže vzrůst o více než r.s.t, jinak by totiž rostl nade všechny meze - viz tvrzení (*). Nechť tedy při této posloupnosti e-kroků zásobník nikdy neklesne pod úroveň h, a tedy nikdy nevzroste nad úroveň h+r.s.t. To však značí, že nejpozději za s.(t+ l)rst kroků se musí dostat do alespoň dvou konfigurací, které se shodují svým stavem i (celým) obsahem zásobníku nad hranicí h. Pro detekci chování typu l(b)ii tedy přidáme další čítač dl, který může nabývat hodnot z intervalu (0, s.(t + l)rst) a který bude uchovávat počet provedených e-kroků: 3.4. DETERMINISTICKÉ ZÁSOBNÍKOVÉ AUTOMATY 103 jestliže bude vynulován čítač cl, nastavíme na 0 i čítač c2 a při každém e-kroku zvětšíme c2 o jedničku. Pokud by mělo dojít k přetečení c2, přejde simulující DPDA M1 opět do záchytného stavu d, v němž dočte vstup až do konce. Formální popis simulujícího M.' rozšířeného oproti M. o možnost testu dna (tj. nový počáteční stav, nové dno zásobníku Z'0 a záchytný stav d) a o čítače cl a c2 je vynechán a lze jej nalézt v doporučené literatuře. □ Věta 3.82. Třída deterministických bezkontextových jazyků je uzavřena vůči doplňku. Důkaz. Mějme libovolný DCFL L a bez újmy na obecnosti předpokládejme, že L — L {M), pro nějaký DPDA M — (Q, E, T, 5, g0, Z0,F) splňující podmínky lemmatu 3.81. Sestrojme DPDA M!, který má rozpoznávat doplněk jazyka L. Idea konstrukce: M.' bude simulovat činnost A4, přičemž musíme mít na zřeteli problém 2 uvedený v diskusi před lemmatem 3.81. Stavy budou nyní dvojice z Q x {p, n, /}, kde smyslem druhé komponenty ve stavu [q, *] je zaznamenat mezi dvěma čtecími kroky, které mohou být proloženy posloupností e-kroků, zda M. prošel či neprošel koncovým stavem. Pokud od posledního čtení vstupního symbolu M. prošel při posloupnosti e-kroků koncovým stavem, pak druhá komponenta M.' je rovna p (prošel koncovým stavem), v opačném případě je n (neprošel koncovým stavem) - viz níže definice S', bod 4a. Simulaci, kdy M. má číst vstupní symbol, popisuje bod 4b níže uvedené definice S'. Má-li M! má ve své druhé komponentě příznak p, pak M.' simuluje krok automatu M. a v závislosti na tom, zda M. se tímto krokem dostane do koncového či nekoncového stavu, M! aktualizuje svoji druhou komponentu na p či n. Pokud na vstupu již žádný symbol není, sdimulující M.' končí ve stavu [q,p] ^ F' pro nějaké q. Je-li druhá komponenta rovna n, pak M.' ji nejprve změní při e-kroku z n na /. Poté M! opět simuluje krok automatu M. a aktualizuje druhou komponentu nap či n v závislosti na tom, zda nový stav simulovaného M. je či není koncový. Poznamenejme, že pokud na vstupu již žádný symbol není, M.' skončí svoji činnosti ve stavu [q, f] e F' pro nějaké q. { [qo,n] je-li q0^F, 3- F< = { [q, f]\qeQ}, 4. S' je pro všechna q,q' e Q a oeS definována takto: (a) je-li 5(q, e, Z) = (g', 7), pak 5'([ 1} není DCFL. Rozborem po případech, kdy w ^ {anbncn | n > 1}, se snadno nahlédne, že L je CFL: případ w ^ cŕb*ď je popsatelný pomocí regulárního jazyka - ty jsou uzavřeny vzhledem ke doplňku; případy typu, kdy w G cŕb* ď, ale počet symbolů a je různý od počtu symbolů b atdjsou popsatelné pomocí CFL/PDA. Díky uzavřenosti CFL na sjednocení dostáváme, že L je CFL. L však nemůže být DCFL: kdyby tomu tak bylo, pak by (díky uzavřenosti na doplněk) musel být DCFL i jazyk -^L — {anbncn \ n > 1}, který však není ani CFL. Podobně lze ukázat, že například -^{ww \ w G {a, b}*} je CFL (najděte pro něj CFG), který však není DCFL. Důsledek 3.86. Třída DCFL tvoří vlastnípodtřídu třídy bezkontextových jazyků. Důkaz. Viz L — ^{anbncn \ n > 1} z právě uvedeného příkladu 3.85. □ Kapitola 4 Turingovy stroje a jazyky typu 0 Cílem této kapitoly je definovat a prozkoumat vlastnosti nejsilnějšího z doposud uvažovaných výpočetních modelu — Turingova stroje. Je pojmenován podle matematika Alana Turinga, který ho v roce 1936 definoval. Turingův stroj dokáže realizovat libovolný proces, který lze intuitivně nazvat algoritmem. Ve skutečnosti, jak ukážeme později, je smysluplné definovat pojem algoritmicky řešitelný právě jako řešitelný Turingovým strojem. 4.1 Turingův stroj: model a jeho definice Neformální popis Turingův stroj byl navržen dlouho předtím, než se objevil první počítač. Motivací pro jeho definici byla snaha přesně rozlišit co je a co není vyčíslitelné, tj. co lze a co nelze efektivně vypočítat. Z toho vyplynuly základní požadavky: zaprvé, každý výpočet se musí dát reprezentovat konečným způsobem. Zadruhé, výpočet se má skládat z diskrétních kroků, přičemž každý z nich je mechanicky realizovatelný. Turingův stroj (anglicky Turing machine, zkráceně TM) má konečnou množinu stavů Q, pásku, která je rozdělena na jednotlivá políčka, a hlavu, která se může po pásce pohybovat doleva a doprava, číst a zapisovat symboly. Na každém políčku pásky je zapsán právě jeden z konečně mnoha páskových (pracovních) symbolů. Páska je jednosměrně nekonečná. Na nejlevějším (nultém) políčku je zapsán speciální symbol D>, označující levý konec pásky. Na začátku výpočtu je na prvním až n-tém, n > 0, políčku pásky zapsán vstupní řetěz (vstupem tedy může být i prázdný řetěz). Ostatních nekonečně mnoho políček napravo od vstupu je prázdných — tuto skutečnost vyjádříme pomocí speciálního znaku U. Výpočet začíná v počátečním stavu q0, přičemž hlava snímá nulté políčko obsahující levou koncovou značku D>. Krok výpočtu spočívá v tom, že stroj v závislosti na momentálním stavu a symbolu snímaném hlavou 1. změní svůj stav (či přesněji může změnit), 2. zapíše symbol na políčko snímané hlavou (čímž přepíše symbol, který tam byl zapsán předtím) a 3. posune hlavu o jedno políčko doprava, nebo doleva. 105 106 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU 0 > U U nekonečná vstupní páska čtecí/zapisovací hlava konečně stavová řídící jednotka - Obrázek 4.1: Turingův stroj Způsob, jakým se má změnit stav, přepsat symbol a posunout hlava, předepisuje přechodová funkce S. Stroj akceptuje vstupní řetěz, právě když přejde do speciálního akceptujícího stavu qaccept- Stroj zamítá právě když přejde do speciálního zamítajícího stavu qreject-Na některých vstupech může výpočet běžet nekonečně dlouho, aniž by stroj vstupní slovo akceptoval, nebo zamítnul. V takovém případě říkáme, že stroj pro daný vstup cyklí. Formální definice Turingova stroje Formálně, Turingův stroj (TM) je 9-tice M = (Q, E, T, >, U, S, q0,qaccept, qreject) kde: • Q je konečná množina stavů; • E je konečná množina vstupních symbolu; • T je konečná množina páskových (pracovních) symbolu, obsahující jakou svou podmnožinu abecedu E; • D> e T \ E je levá koncová značka; • U e T \ E je symbol označující prázdné políčko; • S : (Q \ {qaccept, qreject}) x ľ-> Q x ľ x {L, i?} je totální přechodová funkce; • qo <= Q je počáteční stav; • qaccept e Q je akceptující stav; • qreject <= Q je zamítající stav; Navíc požadujeme, aby Turingův stroj nikdy nepřepsal levou koncovou značku jiným symbolem a aby nikdy neposunul svou hlavu vlevo od políčka obsahujícího levou koncovou značku. Formálně, požadujeme aby pro každé q E Q existoval stav p E Q takový, že ô(q,>) = (p,>,R). Množina stavů spolu s přechodovou funkcí se někdy souhrnně označuje jako řídící jednotka Turingova stroje. Konfigurace a výpočet Abychom mohli přesně definovat pojem výpočtu, potřebujeme, podobně jako u zásobníkových resp. konečných automatů, definovat nejdříve pojem konfigurace. Konfigurace obsahuje 4.1. TURINGŮV STROJ: MODEL A JEHO DEFINICE 107 kompletní informaci o momentálním stavu výpočtu Turingova stroje, tj. o stavu řídící jednotky, o poloze hlavy na pásce a o obsahu pásky. V libovolném okamžiku výpočtu je na pásce zapsán řetěz tvaru yU", kde y e T* (má konečnou délku!) a symbol U" značí nekonečný řetěz uuuuuuuu... I když páska Turingova stroje je nekonečná, dokážeme vždy její obsah jednoznačně popsat konečným řetězem: stačí totiž specifikovat obsah neprázdných políček (a těch je konečně mnoho). Formálně, konňgurace je prvek množiny Q x {yU" | y e T*} x No- Konfigurace (q, z, n) specifikuje, že Turingův stroj je ve stavu q, obsah pásky je z a hlava snímá n-té políčko zleva, n > 0. Počáteční konňgurace stroje M. pro vstup w G E* je konfigurace (g0,>wLľ",0). Akceptující konňgurace je každá konfigurace tvaru {.qaccept i Z, Ti) , kde z e T*, n e No- Podobně zamítající konňgurace je každá konfigurace tvaru (qreject > Z, Ti) . Na množině všech konfigurací Turingova stroje M. definujeme binární relaci krok výpočtu, označujeme | . Pro libovolný řetěz z (i nekonečný) nad abecedou T, nechf zn označuje n-tý symbol řetězu z {z$ označuje nejlevější symbol řetězu z). Dále nechf s^(z) označuje řetěz, který získáme tak, že v z nahradíme symbol zn symbolem b. Pak relace I je definována předpisem / x|_ í (q,Sb(z),n+í) pročO, zn) = (q, b, R) [P>Z>n)V»r\ (q,sUz),n-l) pvoô(p,zn) = (q,b,L). Analogicky jako v 3.37 definujeme | *M a | ^ , resp. |—— a |-^—. Výpočet Turingova stroje M. na vstupu w je posloupnost konfigurací K0, Ki, K2 ■ ■ ■ taková, že • Ko je počáteční konfigurace stroje M. pro vstup w a • Kí | Ki+i pro všechna i > 0. Výpočet může být konečný ale i nekonečný. Stroj M. akceptuje vstupní řetěz w e E* právě když výpočet M. na w je konečný a poslední konfigurace výpočtu je akceptující, tj. právě když (g0, >wLl",0) {-^-(qaccept, z, n). Stroj M. zamítá vstupní řetěz w e E* právě když výpočet M. na w je konečný a poslední konfigurace výpočtu je zamítající, tj. právě když (go,>wU",0) \-£j-(qreject,z,n). 108 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU 0 Stroj se zastaví na vstupu w právě když výpočet Á4 na w je konečný, tj. právě když Á4 akceptuje anebo zamítá w. Samozřejmě, může nastat situace, kdy výpočet M. na w je nekonečný, tj. stroj vstupní řetěz ani neakceptuje, ani nezamítá. V takovém případě říkáme, že stroj pro vstup w cyklí. Turingův stroj se nazývá úplný, právě když se pro každý vstup zastaví. Jazyk akceptovaný Turingovým strojem M. označujeme L(A4) a definujeme jej jako množinu řetězů, které M. akceptuje, tj. L(M) — {w G E* I M akceptuje w}. Speciálně, jestliže M. je úplný, pak říkáme, že jazyk L(A4) je rozhodovaný strojem M. nebo že stroj M. rozhoduje jazyk L(A4). Příklad 4.1. Navrhněme Turingův stroj rozhodující jazyk L — {anbncn \ n > 0}, který není bezkontextový. Stroj nejdříve posouvá svou hlavu až na konec vstupního řetězu a kontroluje, zda řetěz zapsaný na pásce je tvaru a*b*c*. Přitom vůbec nemění obsah pásky (formálně: zapíše vždy ten symbol, který přečetl). Poté, co hlava přečte první prázdné políčko (formálně: políčko obsahující symbol U), začne se posouvat doleva až na levý konec pásky. Následuje cyklus, ve kterém hlava „vymaže" (přepíše symbolem X) jeden symbol a, jeden b, jeden c a vrátí se na levý konec pásky. Pokud vstupní řetěz patří do jazyka L, stroj nakonec vymaže na pásce všechny symboly a, b, c a akceptuje. V opačném případě vstup zamítne. Nechi M — (Q, E, r, >, U, S, q0,qa, Qr), kde Q = {90, 91,92, 93, 94, 95, 96, 9a, 9r}, E — {a, b, c}, r = EU{D>,U,X}. Přechodová funkce je určena touto tabulkou: a b c U X 9o (9o >, R) (q0,a,R) (qi,b,R) (92 c, R) (93, U, L) - 9i - (9r,-,~) (qi,b,R) (92 c, R) (93, U, L) - 92 — (9r,-,~) (9r,-,~) (92 c, R) (93, U, L) — 93 (94 >, R) (93, a, L) (93, b, L) (93 c, L) (93, U, L) (93,*, L) 94 — (95, X, R) (9r,-,~) (9r, -,-) (9a,-,-) (94, X, R) 95 - (q5,a,R) (96,*, R) (9r, -,-) (9r, -, -) (95,*, R) 96 - - (qe,b,R) (93, X, L) (9r, -, -) (96, X, R) Symbol "-" v tabulce vyjadřuje, že není podstatné, co se zapíše na uvedené místo (můžeme tam doplnit cokoli vyhovující dennici). Výpočet stroje M. na vstupu a262c2 je 4.1. TURINGŮV STROJ: MODEL A JEHO DEFINICE 109 (<7o, \>aabbccLľ, 0) (<70; D>aa66ccU", 3) (íj3, D>aa66ccU", 6) (g6,>XaX6ccLr,4) (q5,>XXXbXcLľ,3) (q4,\>XXXXXXU",l) <7o, t>aabbcc\Ju, 1) qi, D>aaW>ccU",4) (j4, D>aa66ccU", 1) g3,>XaX6XcLr,4) g6,>XXXXXcLT,5) — (g0, >aa66ccU", 2) 3 (g2, >aa66ccU",7) — (g5, >Xa66ccl_r,2) 5 (g4,l>^aX6XcU",l) (g3,D>XXXXXXU",5) 94 >IIIIXXUW, 7) |^- (qa, ^XXXXXXU^ J) Rekursivní a rekursivně spočetné jazyky Jazyk LCS' nazýváme rekursivně spočetný (Recursively enumerable, RE) právě když L — L(A4) pro nějaký Turingův stroj A4; rekursivní (Recursive, Rec) právě když L — L(A4) pro nějaký úplný TM M.. Ke každému rekursivnímu jazyku L existuje Turingův stroj, který ho rozhoduje, tj. výpočet na každém vstupním slovu je konečný. Rekursivně spočetný jazyk musí splňovat slabší podmínku: musí pro něj existovat Turingův stroj, který ho akceptuje, tj. akceptuje každé slovo z L, ale výpočet na slovu nepatřícím do L může být buď zamítající, nebo nekonečný. Rozhodnutelné, nerozhodnutelné a částečně rozhodnutelné problémy Problém, kdy se má určit, zda řetěz w má vlastnost P, nazýváme rozhodnutelný právě když množina všech řetězů majících vlastnost P je rekursivní, tj. existuje úplný Turingův stroj A4, který akceptuje každý řetěz mající vlastnost P a zamítne každý řetěz, který tuto vlastnost nemá (M. rozhoduje jazyk obsahující právě všechna ta slova, která mají vlastnost P); nerozhodnutelný právě když není rozhodnutelný; částečně rozhodnutelný (semirozhodnutelný) právě když množina všech řetězů majících vlastnost P je rekursivně spočetná, tj. existuje Turingův stroj, který akceptuje každý řetěz mající vlastnost P (a zamítá anebo cyklí pro řetěz nemající vlastnost P). Namísto ,problém určit, zda řetěz w má vlastnost P je rozhodnutelný (částečně rozhodnutelný)" zkráceně říkáme, že vlastnost P je rozhodnutelná resp. že problém P je rozhodnutelný (částečně rozhodnutelný). Ačkoli vlastnost rekursivní resp. rekursivně spočetný vypovídá o množinách, zatímco roz-hodnutelnost resp. semirozhodnutelnost je vlastnost problémů, jsou oba pojmy úzce spjaty. Platí mezi nimi tato ekvivalence: P je rozhodnutelný ^=^> jazyk {w | w má vlastnost P} je rekursivní L je rekursivní ^=^> problém „w G P" je rozhodnutelný P je semirozhodnutelný ^=^> jazyk {w | w má vlastnost P} je rekursivně spočetný P je rekursivně spočetný ^=^> problém „w G P" je semirozhodnutelný 110 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU 0 Turingovy stroje a funkce Na Turingovy stroje můžeme nahlížet nejen jako na automaty, které akceptují jazyky, ale i jako na zařízení počítající (vyčíslující) funkce na množině řetězů (slov) nad nějakou abecedou, případně též i na množině přirozených čísel. Pro jednoduchost předpokládejme, že přirozená čísla budeme reprezentovat v unární číselné soustavě, tj. číslo i e No zapíšeme jako řetěz O4 (nulu reprezentujeme prázdným řetězem). Uvažujme funkci arity k; jejich k argumentů í\, í2, ■ ■ ■, ík můžeme jednoznačně reprezentovat řetězem 0Jl 10í21... 10ífe. Turingův stroj M. počítá funkci / : Nq —>• No právě když M. akceptuje vstupní řetěz 0Jl 10í21... 10ífe a obsah jeho pásky v akceptující konfiguraci je D>OmU", kde m — f (íi, í2, ■ ■ ■, ík)- Nevylučujeme možnost existence vstupu tvaru 0Jl 1... 10ífe, který TM zamítne anebo pro který cyklí, resp. který akceptuje, ale nevypočte žádnou hodnotu (obsah pásky není požadovaného tvaru). Podotýkáme, že jeden Turingův stroj může počítat funkci jedné proměnné, jinou funkci dvou proměnných atd. Funkce / : Ng —>• No se nazývá částečně rekursivní právě když existuje Turingův stroj počítající funkci /; rekursivní právě když existuje Turingův stroj počítající funkci / a navíc funkce / je totální. Hodnota částečně rekursivní funkce nemusí být definována pro všechny vstupní argumenty. Všechny běžné aritmetické funkce, jako například součet, násobení, faktoriál, jsou rekursivní. Přirozeným způsobem lze definici rozšířit i pro funkce nad libovolným jiným definičným oborem a oborem hodnot. Zejména tedy můžeme definovat fuknce typu E* x... x E* —> E* nad řetězci (slovy) nad nějakou abecedou E, které můžeme považovat za (jednosměrné) seznamy znaků abecedy. Takto lze snadno definovat obvyklé funkce zřetězení (slov, seznamů) a další standardní funkce pro práci nad seznamy, jako například head, taň, cons, append a další. 4.2 Metody konstrukce Turingových strojů Turingův stroj můžeme programovat podobně jako počítač. Tím, že určujeme přechodovou funkci Turingova stroje, píšeme pro něj vlastně program. Abychom byli schopni naprogramovat i komplikované Turingovy stroje, uvádíme několik triků resp. konceptuálních pojmů, které mohou tento úkol učinit snadnějším. Zapamatování v řídící jednotce Prostřednictvím stavu si Turingův stroj může zapamatovat konečně mnoho různých informací. V takovém případě je vhodné zapisovat (pojmenovat) stav jako uspořádanou dvojici. Hodnota v první složce řídí činnost stroje; ve druhé složce je uložena informace, kterou si stroj potřebuje zapamatovat. Definice Turingova stroje zůstává nezměněna, stav jako uspořádaná dvojice je jenom naše vlastní interpretace (označení). Příklad 4.2. Mějme jazyk L slov nad {a, b}, které začínají a končí stejným symbolem, tj.: L — {xux | x G {a, b}, u G {a, b}*} U {a, b}. 4.2. METODY KONSTRUKCE TURINGOVÝCH STROJŮ 111 Tuňngův stroj Á4 přečte první symbol vstupního řetězu a zapamatuje si ho ve svém stavu — změní stav na [qi, a] resp. [qi, b]. Dále posouvá hlavu doprava, dokud nenarazí na prázdné políčko. Posune hlavu o jednu pozici doleva a akceptuje právě když symbol zapsaný na snímaném políčku je shodný se symbolem, který si zapamatoval ve svém stavu. Formálně, M = (Q, E, T, >, U, S, s, qaccePt,qreject), kde Q = {S, qaccept,qreject, [qi, «], [,U}. Přechodová funkce je určena tabulkou: D> a b u s (s,>,Ä) ([qi,o], a, R) ([qi,b],b,R) {qreject, ; ) [qi,o] - ([qi,o], a, R) ([q!, a], b, R) (fe, a], U, L) [qi,b] - ([qi,b], a, i?) ([qi,b],b,R) (fe, U, L) [92, a] - (qaccept > - -) iflreject •> ? ) - [Q2,b] - (qreject 1 - -) (jlaccept-, 1 ) - Označování symbolů Označování symbolů je užitečný trik, který najde uplatnění především v situacích, kdy potřebujeme porovnat jisté skupiny symbolů. Použití techniky ilustruje příklad 4.1. V něm se symbol, který už byl „započten", označil (tj. přepsal symbolem X). Jiný způsob užití této techniky ilustruje následující příklad. Příklad 4.3. Nechi L = {w \ w e {a}*, \ w\ — 2™, n > 1}. Tuňngův stroj akceptující jazyk L může postupovat tak, že označí polovinu symbolů na pásce a druhou polovinu nechá neoznačenu. Realizace je taková, že prochází slovo zleva doprava a každý druhý symbol a přepise symbolem A. Pak posune hlavu na začátek pásky. V dalším průchodu se stroj znovu snaží přepsat polovinu doposud neoznačených symbolů a atd. Pokud je délka vstupního slova mocninou 2, stroj dojde do situace, kdy na pásce je jenom jeden symbol a a akceptuje. V opačném případě nastane někdy během výpočtu situace, ve které se stroj snaží rozdělit na dvě stejné poloviny řetězec liché délky; stroj zamítne. Formálně, M = (Q, E, T, >, U, S, s, qaccePt,qreject), kde Q — {^j 1-, TI) k", k", Q_accepti Qreject}> s = {«}, r = EU{D>,U,A}. Přechodová funkce je určena tabulkou: a A U s (s, >, R) (7, a, R) (s, A, R) (n, U, L) l - (s, A, R) (l,A,R) (k, U, L) n (a,>,Ä) (n, a, L) (n, A, L) - k - (k, a, L) (k, A, L) - k (qaccepti i ) {qreject; ; ) (k, A, L) - Otázka 4.4. Modiňkujte stroj M. tak, aby rozhodoval jazyk L. 112 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O Násobné stopy Představme si, že Turingův stroj má širokou" pásku, která je rozdělena na k stop, pro libovolné konečné k. Situace pro k — 3 je naznačena na obrázku 4.2. Pracovní abeceda stroje obsahuje k-úce symbolu, jeden znak pro každou stopu. Pro lepší názornost je na obrázku k-úce symbolů zapsána ve svislé poloze a jednotlivé položky jsou odděleny vodorovnou čárou. 1 0 i i i 1 U u u i 0 1 u u 1 0 0 i 0 1 Obrázek 4.2: Páska se 3 stopami Příklad 4.5. Sestrojme Turingův stroj, který jako vstup dostane přirozené číslo zapsané v binární soustavě. Akceptuje právě když vstup je prvočíslem. Stroj „rozdělí' svou pásku na tři stopy tak, že svou hlavu posouvá doprava a symbol 1 (0) přepíše symbolem [1, U, U] ([0, U, □]). Na druhou stopu postupně píše binárně čísla 2,3,4,... Pro každé číslo i zapsané na druhé stopě testuje, zda í dělí vstup. Provádí to tak, že od vstupu opakovaně na třetí stopě odečítá í. Na obrázku 4.2 je zachycena situace, kdy TM testuje, zda-li číslo 47 je prvočíslem. Na druhé stopě je zapsáno číslo 5, které už dva krát odečetl od 47 a proto na třetí stopě je zapsáno 37. Podprogramy Podobně jako v programování, je i při konstrukci Turingova stroje výhodné použít „modulární" přístup, tedy přístup shora dolů. Turingův stroj dokáže simulovat libovolný typ procedury, s jakou se můžeme setkat v běžných programovacích jazycích, včetně rekursivních procedur a různých způsobů předávání parametrů. Trik je v tom, že můžeme napsat program Turingova stroje, který budeme využívat jako proceduru. Program má specifikovaný počáteční a koncový stav. Pro koncový stav není zatím definován žádný přechod. Když Turingův stroj chce zavolat tuto proceduru, udělá to tak, že přejde do jejího počátečního stavu. Samozřejmě předpokládáme, že stavy procedury jsou disjunktní se stavy Turingova stroje. Návrat z procedury se realizuje přechodem z koncového stavu procedury do určeného stavu Turingova stroje, který byl například zapsán na pásku jako „návratová adresa". 4.3 Modifikace Turingových strojů Jedním z argumentů pro to, aby Turingův stroj byl považován za obecný model výpočtu, je jeho robustnost. Mnohé modifikace TM, které se na první pohled zdají býti silnějšími nebo naopak slabšími, jsou ve skutečnosti výpočtově ekvivalentními, tj. akceptují (i rozhodují) stejnou třídu jazyků. 4.3. MODIFIKACE TURINGOVÝCH STROJŮ 113 Turingův stroj s obousměrně nekonečnou páskou Jedním z nejjednodušších rozšíření Turingova stroje je obousměrně nekonečná páska. Jak vyplývá z jeho názvu, páska je nekonečná jak směrem doprava, tak i doleva. Jeho výpočtová sílaje stejná ve srovnání se základním modelem TM. Turingův stroj simulující TM s obousměrně nekonečnou páskou bude mít dvě stopy: jedna bude reprezentovat políčka vpravo od políčka, které se čte na začátku výpočtu (včetně tohoto políčka), druhá bude v obráceném pořadí reprezentovat políčka vlevo od počátečního políčka. Vztah mezi oběma stroji je naznačen na obrázku 4.3. Políčko, na které ukazuje šipka, bylo čteno na začátku výpočtu. c c c a b c c U u a b a c U U U Obrázek 4.3: Simulace obousměrně nekonečné pásky jednosměrně nekonečnou páskou. Turingův stroj s více páskami Vícepáskový Turingův stroj se skládá z řídící jednotky, která má k hlav na k (jednosmerné nekonečných) páskách; k je pevně dané přirozené číslo. Na začátku výpočtu je vstupní řetěz zapsán na první pásce. Ostatní pásky mají na nejlevéjším políčku zapsán symbol D> (levá koncová značka) a zbylé políčka jsou prázdné (obsahují symbol U). V jednom kroku výpočtu stroj přečte k symbolů zapsaných na políčkách snímaných k hlavami. Na základě této informace, a v závislosti na svém stavu, stroj zapíše nový symbol na každé snímané políčko, změní svůj stav a každou z k hlav buď posune (doprava nebo doleva) anebo nezmění její pozici. Přechodová funkce k-páskového TM je zobrazení množiny (Q\ {qaccept, qreject}) x Tk do množiny Q x Tk x {L, R, S}k (symbol S vyjadřuje skutečnost, že pozice hlavy se nemění). Příklad 4.6. Sestrojme dvoupáskový Turingův stroj rozhodující jazyk L = {anbn2 | n > 0} . Jazyk L obsahuje slova nad abecedou {a,b} taková, že počet symbolů b je druhou mocninou počtu symbolů a. Výpočet Turingova stroje M. na vstupu w bude probíhat podle tohoto schématu: 1. Stroj současně posouvá obě hlavy doprava a na druhou pásku zapisuje symbol A, dokud na první pásce nenarazí na první symbol b (stav q). Druhou hlavu posune na začátek pásky (stav n). 2. Druhá hlava hledá symbol A (stav h a); když ho najde, přepise ho symbolem B (stav n a) a přesune se na začátek pásky. 114 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O 3. Obě hlavy se současně posouvají směrem doprava (stav o), dokud druhá hlava nenarazí na první symbol U. 4. Druhá hlava se posune na začátek pásky (stav n) a výpočet pokračuje bodem 2. 5. K akceptování dojde, když jsou současně splněny tyto podmínky: (a) obě hlavy současně přečetly symbol U a (b) všechny symboly A na druhé pásce byly přepsány symbolem B (toto se ověří ve stavu k). Formálně, M = (Q, E, T, >, U, S, s, qaccePt,qreject), kde Q = {q,n,hA i T^A-, 0-, k", Qaccepti Qreject}> E = {a, b}, r = EU{D>,U,A,B}. Přechodová funkce je určena takto: 5(q, >, D>) = (q, >, >, R, R) ô(nA, b, B) = (nA, b, B, S, L) ô(q, a, U) — (q, a, A, R, R) 5(nA, b, D>) — (o, b, D>, S, R) ô(q,b,U) = (n, b, U, S, L) S(o,b, B) = (o,b,B,R,R) ô(n, b, A) = (n, b, A, S, L) ô(o, b, A) = (o, 6, A, R, R) ô(n, b, B) = (n, 6, £?, S, L) ô(o, b, U) = (n, 6, U, 5, L) ô(n, b, D>) = (ha, b, >, 5, i?) 5(o, U, U) = (/s, U, U, S, Ľ) ô(hA, b, B) = 6, B, S, R) ô(k, U, B) = (/s, U, £?, 5, L) Ď, -4) = (na, b, B, S, L) ô(k, U, >) = (qaccePt, U, >, S, S) Pro všechny ostatní kombinace (stav, čtené symboly) deňnujeme hodnotu funkce S jako přechod do zamítajícího stavu qreject ■ Nechf K, je k-páskový TM. Ukážeme, jak je možno sestrojit (jednopáskový) TM J, který simuluje výpočet stroje K,. Páska stroje J bude rozdělena na k stop. Každá stopa reprezentuje obsah jedné pásky stroje K,. Navíc, každá stopa obsahuje právě jeden speciálně označený symbol indikující, které políčko právě snímá odpovídající hlava stroje fC. Na začátku výpočtu si J upraví odpovídajícím způsobem svou pásku. Pro vstup a\a2 ■ ■ ■ an bude mít upravená páska podobu zachycenou na obrázku 4.4. • d\ a2 0ln u u • U U u • U U u • U u u Obrázek 4.4: Simulace 4 pásek pomocí jedné. 4.3. MODIFIKACE TURINGOVÝCH STROJŮ 115 Aby stroj J odsimuloval jeden krok stroje K, musí J postupně přečíst každé políčko označené speciální značkou • a označené symboly si zapamatovat ve svém stavu. Formálně, J prochází svou pásku zleva doprava, dokud nenajde všech k značek a ve svém stavu si pamatuje uspořádanou k-úci symbolů. Hlava se vrátí na levou koncovou značku. Po shromáždění všech potřebných údajů J zjistí, který krok by vykonal stroj K, a realizuje ho tím, že znovu prochází svou pásku. Vždy, když narazí na speciální značku, změní patřičným způsobem obsah políčka a posune značku doleva anebo doprava. Nakonec J opět posune svou hlavu na levou koncovou značku a začíná simulovat další krok stroje JC. Na rozdíl od předcházející simulace (obousměrně nekonečná —> jednosměrně nekonečná páska), je v tomto případě na simulaci jednoho kroku původního stroje potřebných více kroků. Otázka 4.7. Navrhněte TM se třemi páskami, akceptující jazyk z příkladu 4.1. Srovnejte počet kroků, které musí udělat stroj z příkladu 4.1, než akceptuje vstup délky n, a které musí udělat Vámi navržený stroj. Nedeterministický Turingův stroj Rozdíl oproti původnímu (deterministickému) Turingovu stroji spočívá v tom, že pro daný stav a snímaný symbol má nedeterministický stroj obecně několik možností pro následující krok. Každá možnost zahrnuje nový stav, symbol, který se má zapsat na pásku a směr, kterým se má posunout hlava. Nedeterministický stroj akceptuje právě když existuje výpočet (tj. nějaká posloupnost výběru kroků) vedoucí do akceptující konfigurace. Definice 4.8. Nedeterministický Turingův stroj je 9-tice M. — (Q, £, T, >, U, 5, qo, qaCcept, qreject), kde význam všech složek je stejný jako v definici 4.1, s výjimkou přechodové funkce. Ta je definována jako (totální) zobrazení S : (Q \ {qaccept, qreject}) x V —>• 2<2xrx{L,ií} Stejně jako v případě deterministických TM, je možné definovat jazyk M. pomocí pojmů konfigurace a krok výpočtu; jediná změna je v definice relace krok výpočtu: relace | M je definována předpisem Výpočet TM Á4 na vstupu w si můžeme pro názornost představit jako strom (tzv. výpočtový strom), jehož vrcholy jsou konfigurace (kořen je počáteční konfigurace M. na w) a jednotlivé cesty odpovídají různým výpočtům M. na w. Stroj M. akceptuje vstup w právě když ve výpočtovém stromu existuje cesta z kořene do listu odpovídajícímu akceptující konfiguraci. I v tomto případě, i když je to možná poněkud překvapující, se dá navrhnout simulace (deterministickým) Turingovým strojem. Věta 4.9. Pro každý nedeterministický Turingův stroj existuje ekvivalentní deterministický Turingův stroj. Důkaz. Nechť M — (Q, E, T, >, U, S, qo, qaCcept, Qreject) je nedeterministický TM. Navrhneme deterministický TM T) simulující nedeterministický stroj M. {q,sn{z),n+l) právě když 3 (q, b, R) G S(p, zn) (q,sn(z),n-í) právě když 3 (q, b, L) G S(p, zn) 116 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O Simulace je založena na tom, že stroj T) prozkoumá všechny výpočty stroje M a zjistí, jestli některý z nich obsahuje akcetpující konfiguraci. Když si výpočty stroje M na vstupu w představíme jako výpočtový strom, tak prohledání výpočtů znamená vlastně prohledání stromu. Je třeba si ale uvědomit, že z dvou možných způsobů, které přicházejí do úvahy — prohledávání do hloubky a do šířky — je jen jeden korektní. Protože výpočtový strom může být nekonečný, můžeme se při prohledávání do hloubky dostat do situace, kdy sledujeme jednu konkrétní, nekonečnou cestu a nikdy se nedostaneme k prozkoumání ostatních cest, z nichž některá může vést do akceptující konfigurace. Stroj T> bude mít 3 pásky. První páska obsahuje vstupní řetěz a její obsah se v průběhu výpočtu nemění. Na druhé pásce simuluje T> výpočet stroje J\í. Na třetí pásce si T> uchovává informaci určující, který vrchol výpočtového stromu právě prohledává. Specifikujeme nejdříve, jakým způsobem stroj T> reprezentuje informaci na třetí pásce. Každý vrchol výpočtového stromu má nejvýše b následníků, kde b je maximální kardinalita množiny S(q,a), Každý vrchol stromu označíme řetězem nad abecedou — {1,2,... ,6}. Například řetězem 314 označíme vrchol (konfiguraci), do kterého se dostaneme z kořenu (počáteční konfigurace) když si v prvním kroku výpočtu vybereme třetího následníka, v druhém kroku prvního a v třetím kroku čtvrtého následníka (obr. 4.5). Každý symbol v řetězu určuje, kterého následníka si máme vybrat při simulaci dalšího kroku výpočtu. Může nastat situace, kdy symbolu neodpovídá žádný následník - v takovém případě je řetěz kódem neplatného výpočtu. Kořen stromu je označen řetězem e. Informace na třetí pásce stroje T> je reprezentována právě jako řetěz nad abecedou b — max{|5(<7, a)\ \ q G Q, a G T} . •e • 1 • 11 •31 •32 • 111 • 1111 Obrázek 4.5: Výpočtový strom a jeho značení Teď již jsme připraveni popsat výpočet stroje T>. 1. Na začátku obsahuje první páska vstup w; druhá a třetí páska jsou prázdné. 2. Zkopíruje obsah první pásky na druhou pásku. 4.3. MODIFIKACE TURINGOVÝCH STROJŮ 117 3. Na druhé pásce simuluje výpočet j\í na vstupu w, přičemž v každém kroku se rozhoduje podle následujícího symbolu z třetí pásky, kterým směrem pokračovat v simulaci. Když všechny symboly z třetí pásky byly přečteny, nebo řetěz na třetí pásce je kódem neplatného výpočtu, nebo simulovaný výpočet se dostal do zamítající konfigurace, tak T> pokračuje bodem 4. Když se simulovaný výpočet dostane do akceptující konfigurace, tak T> akceptuje. 4. Řetěz na třetí pásce nahradí řetězem, který za ním následuje v lexikografickém uspořádání. Pokračuje bodem 2. (tj. simulací dalšího výpočtu stroje j\í). Je tedy vidět, že jazyky akceptované strojem T> a strojem j\í jsou si rovny, což jsme měli dokázat. □ Poznamejme, že pokud stroj j\í z právě uvedeného důkazu neakceptuje a zamítá, pak simulující stroj T> může cyklit, což však na akceptovaný jazyk nemá vliv. Důsledek 4.10. Jazyk je rekursivně spočetný právě když je akceptován nějakým nedeterministickým Turingovým strojem. Konečně poznamenejme, že tvrzení analogické větě 4.9 by platilo i pro úplný nede-termistický TM a rozhodování jazyků (definici tohoto stroje ponecháváme čtenáři; zejména by v libovolném výpočetním stromu takového stroje neexistovaly žádné nekonečné cesty). Simulující deterministický stroj T> by pak bylo možno zkonstruovat tak, aby byl rovněž úplný. Turingův stroj s oddělenou vstupní páskou Jedná se o model, ve kterém má stroj dvě pásky: vstupní a pracovní. Vstupní řetězec je zapsán na vstupní pásce, z níž může stroj jen číst (nesmí měnit její obsah). V závislosti na tom, zda se hlava na vstupní pásce může pohybovat jenom doprava resp. oběma směry, hovoříme o on-line resp. off-line Turingových strojích. Zřejmě tato modifikace neovlivní výpočetní sílu TM. Všechny doposud uvažované modifikace byly rozšířeními základního modelu. Následující modely by na první pohled mohly mít méně výpočetních možností než Turingovy stroje; o všech však prokážeme, že jejich výpočetní sílaje stejná jako u Turingových strojů. Stroj se dvěma zásobníky Jedná se o Turingův stroj se vstupní páskou, který má místo pracovní pásky dva zásobníky. Výpočet (jednopáskového) TM dokáže stroj se dvěma zásobníky simulovat takto: do prvního zásobníku si uloží tu část pásky TM, která je vlevo od políčka právě snímaného hlavou, přičemž na vrcholu zásobníku je symbol bezprostředně vlevo od snímaného symbolu. Zbývající část pásky si uloží do druhého zásobníku tak, že právě čtený symbol je na vrcholu zásobníku. Pohyb hlavy doleva (doprava) je simulován přesunem vrcholového symbolu prvního (druhého) zásobníku na vrchol druhého (prvního) zásobníku. Například páska 118 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O (pozice hlavy je naznačena šipkou) je simulována zásobníky Všimněme si ještě, jakým způsobem stroj manipuluje se zásobníkem. V každém kroku zjišťuje, jaký symbol je uložen na vrcholu zásobníku a následně buď tento symbol ze zásobníku odstraní, nebo na vrchol přidá nový symbol. Stroj s dvěma počitadly Obecně, k -počitadlový stroj je Turingův stroj se vstupní páskou a s k pracovními páskami, který navíc splňuje tyto požadavky: • na každou z pracovních pásek může stroj zapisovat jenom jeden ze dvou symbolů: D> (levá koncová značka) a U (symbol pro prázdné políčko), • symbol D> je na začátku zapsán na levém krajním políčku pracovní pásky a nikdy se nesmí objevit na jiném políčku. Když hlava snímá i-té políčko pracovní pásky, můžeme to interpretovat jako fakt, že stroj má uloženo v paměti celé nezáporné číslo i. Přitom v každém kroku výpočtu stroj testuje, zda číslo uložené na pásce je rovno nule (čte se symbol D>) nebo různé od 0 (čte se symbol U). V každém kroku může stroj hodnotu zapamatovaného čísla zvětšit anebo zmenšit (to v případě, že je nenulové) o jedničku tím, že svou hlavu posune doprava nebo doleva. Namísto termínu počitadlo se lze často setkat s termínem čítač (anglicky counter). Mírná modifikace (rozdíl se týká jen způsobu zápisu) počitadlového stroje je známá jako Minského stroj (zavedl matematik Marvin Minsky). Formálně lze tento stroj (s k počitadly) definovat jako konečnou posloupnost instrukcí s návěštími (program) tvaru: l0 ■ příkaz0, ..., ln-i ■ příkazn_i,ln ■ stop, kde každá z instrukcí lj : příkaz^ í E (0, n — 1) je tvaru bud lp : a := c% + 1; goto lq lp : if Ci — 0 then goto lq else Ci := Ci — l; goto lr 1 < i < k, nebo 1 < i < k Počáteční konfigurace , pokud není řečeno jinak, je definována tak, že čítač instrukcí je nastaven na Iq, hodnoty počitadel c\,..., ck kódují požadovaný vstup. V literatuře je možno se setkat i s dalšími modifikacemi. Všechny mají společné to, že stroj si může do paměti uložit (několik) libovolně velkých čísel, přičemž o každém z 4.3. MODIFIKACE TURINGOVÝCH STROJŮ 119 nich je schopen zjistit jenom to, jestli je rovno 0 anebo různé od 0. Navíc, v jednom kroku výpočtu může změnit hodnotu každého z čísel maximálně o 1, či jinou, předem danou celočíselnou konstantu. Nás bude zajímat vztah počitadlových a Turingovych strojů. Nejdříve ukážeme, že dvě počitadla se dají simulovat jedním zásobníkem. Jak už víme, Turingův stroj se dá simulovat strojem s dvěma zásobníky. Spojení obou poznatků nám umožní dokázat ekvivalenci Turingovych strojů a strojů se 4 počitadly. Lemma 4.11. Stroj s jedním zásobníkem se dá simulovat strojem s dvěma počitadly. Důkaz. Nechť M. je stroj s jedním zásobníkem, jehož pracovní abeceda je tvořena symboly Zo,..., Zk-i (tj. stroj má k pracovních symbolů). Předpokládejme, že obsah zásobníku stroje M. je Z^ ■ ■ ■ Zim (vrchol zásobníku je vpravo). Chceme ukázat, jakým způsobem je možné tutéž informaci uložit do jednoho počitadla. K tomu si stačí uvědomit, že na obsah zásobníku, tj. řetěz Zix ■ ■ -Zim můžeme nahlížet jako na poziční zápis čísla j — íi-km~1 + Í2 ■ km~2 + • • • + ím-i ■ k + ím v fc-adické soustavě. Na druhé straně, v počitadle si stroj pamatuje číslo zapsané v unární soustavě. Proto zásobník ■ ■ ■ Zim se dá jednoznačně reprezentovat v počitadle jako číslo j — íi ■ k"1^1 + í2 ■ km~2 + • • • + ím-i ■ k + im. Dále potřebujeme ukázat, jak stroj s počitadly dokáže simulovat operace nad zásobníkem, tj. přidání a odebrání symbolu ze zásobníku a přečtení symbolu z vrcholu zásobníku (srovnej s přecházejícím odstavcem). • Přidání symbolu do zásobníku Předpokládejme, že na vrchol zásobníku je přidán symbol Zr. Pak číslo reprezentující tento nový obsah zásobníku je právě j ■ k + r. To znamená, že potřebujeme vynásobit předešlý obsah počitadla číslem k a připočíst k němu r. Proto opakovaně (předpokládáme, že číslo j je uloženo v 1. počitadle a 2. počitadlo je prázdné) - 1. počitadlo posune svou hlavu o 1 políčko doleva zatímco - 2. počitadlo posune svou hlavu o k políček doprava. Jakmile 1. počitadlo je na dně (čte se symbol >), pak 2. počitadlo obsahuje číslo k-j, k němuž lehce (pomocí konečně stavové řídící jednotky, bez manipulace s počitadly) připočteme r (r e (0, k — í)). • Odebrání symbolu ze zásobníku Z vrcholu je odebrán zymbol Zim a číslo reprezentující změněný zásobník je j div k. Abychom dosáhli odpovídající situaci v počitadle, opakovaně - 1. počitadlo posune svou hlavu o k políček doleva a - 2. počitadlo posune svou hlavu o 1 políčko doprava. Jakmile 1. počitadlo dosáhne dna, je ve 2. počitadle číslo j div k. • Přečtení symbolu na vrcholu zásobníku V 1. počitadle je uloženo číslo j a na zjištění, který symbol je na vrcholu zásobníku musíme vypočítat j mod k. Toho dosáhneme tak, že kopírujeme obsah 1. počitadla do 2. počitadla a ve stavové jednotce přitom počítáme j mod k. □ Důsledek 4.12. Každý Turingův stroj lze simulovat strojem se 4 počitadly. 120 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU 0 Nyní ukážeme, že právě navrženou simulaci je možné ještě zoptimalizovat. Věta 4.13. Každý Turingův stroj lze simulovat strojem se 2 počitadly. Důkaz. Potřebujeme ukázat, že stroj s 4 počitadly se dá simulovat strojem s 2 počitadly. Nechf 4 simulovaná počitadla mají poradě hodnoty i,j,k,l. Jedno simulující počitadlo může reprezentovat všechny 4 výše uvedená počitadla číslem n — 2í3J5fe7í (2, 3, 5, 7 jsou prvočísla, a tedy z n lze jednoznačně určit hodnoty i, j, k, ľ). Nyní zvýšit číslo i, j, k nebo l o 1 znamená násobit číslem 2, 3, 5 nebo 7. K tomu využijeme 2. počitadlo, které nastavíme na nulu a opakovaně • 1. počitadlo posune svou hlavu o 1 políčko doleva zatímco • 2. počitadlo posune svou hlavu o 2 (resp. 3, resp. 5, resp. 7) políček doprava. Jakmile 1. počitadlo je na nule, 2. počitadlo obsahuje číslo 2n (resp. 3n, resp. 5n, resp. In). Analogicky snížit i,j,k nebo l o 1 znamená dělit číslem 2, 3, 5 nebo 7. K dokončení zbývá ukázat, jak se provede test na nulu (tzn. jak se zjistí, zda obsah konkrétního počítadla je roven nule nebo různý od nuly). K tomu se obsah 1. počitadla (ri) zkopíruje do 2. počitadla a přitom se testuje, zda n mod 2 (resp. n mod 3, resp. n mod 5, resp. n mod 7) je rovno nule. □ Důsledek 4.14. Libovolný stroj s k počitadly lze simulovat strojem se 2 počitadly. Upozorněme, že simulace jednoho kroku TM si vyžaduje obrovský počet kroků stroje se 2 počitadly. Stroj s jedním počitadlem je slabší než TM - de facto se jedná o speciální případ PDA se zásobníkovou abecedou {Z0,1}, kde Z0 smí označovat pouze dno zásobníku (takto je umožněn test na nulu) a počet symbolů I na zásobníku odpovídá hodnotě počitadla. Jazyky akceptované těmito stroji s jedním čítačem se v anglické literatuře nazývají one-counter languages. Konečně upozorněme, že pro vlastní převod libovolného vstupního slova Turingova stroje do počáteční konfigurace stroje s počitadly potřebujeme 3 počitadla; konstrukci zde neuvádíme a lze ji nalézt v literatuře. 4.4 Vlastnosti rekursivních a rekursivně spočetných jazyků Cílem je prozkoumat uzavřenost vůči elementárním operacím U, n, ■,* a komplementu. V případě prvních čtyř budou důkazové techniky podobné těm, které byly použity při zkoumání uzáverových vlastností regulárních a bezkontextových jazyků. Věta 4.15. Třídy rekursivních a rekursivně spočetných jazyků jsou uzavřeny vzhledem k operacím U, n, ■, a*. Důkaz. Nechf L\, L2 jsou jazyky akceptovány Turingovými stroji M\,M.2- Bez újmy na obecnosti můžeme předpokládat, že A4i a M.2 mají disjunktní množiny stavů. Nedeterministický stroj A4,U,S,qo,t,r). Stroj co-A4, akceptující jazyk co-L = T* — L, získáme tak, že všude v definici přechodové funkce S zaměníme navzájem akceptující stav qaCcept a zamítající stav qreject (obr. 4.8). Protože M. je úplný, bude i co-M. úplný. □ Poznamenejme, že pokud stroj Á4 z předchozího důkazu není úplný, pak jazyk L(co-A/í) nemusí být roven co-L. Stačí uvážit slovo w, na kterém M. cyklí. Pak i co-M. na w cyklí, a tedy w ^ L(co-A/í). Současně však w G co-L. Z uvedené úvahy samozřejmě ještě nevyplývá, že třída rekursivně spočetných jazyků není uzavřena vůči komplementu. Věta 4.17. Nechi jazyk L i jeho komplement co-L jsou rekursivně spočetné. Pak jazyky L a co-L jsou rekursivní. Důkaz. Předpokládejme, že M.1 a M.2 jsou Turingovy stroje akceptující poradě jazyky L a co-L. Sestrojíme Turingův stroj A4, který bude na vstupu w současně simulovat výpočet M.1 na w i výpočet M.2 na w. Formálně, stroj M. bude mít dvě stopy, jednu pro každý simulovaný výpočet. M. střídavě simuluje jeden krok výpočtu stroje M.1 (na první stopě) a jeden krok výpočtu stroje M.2 (na druhé stopě). M. akceptuje vstup, právě když ho akceptuje M.1 a M. zamítá vstup, právě když ho akceptuje M.2. Protože každý řetěz w patří buď do jazyka L anebo do jazyka co-L, výpočet M. se pro každý vstup zastaví. Proto L je rekursivní. Rekursivita jazyka co-L plyne z věty 4.16. □ Poznamejme, že výše uvedená věta je známa jako Postova věta a je též uváděna jako tvrzení: L je rekursivní ^=^> L a co-L jsou rekursivně spočetné. Platnost tohoto tvrzení je vzhledem k právě dokázaným větám 4.17 a 4.16 zřejmá. Důsledkem uzavřenosti třídy rekursivně spočetných jazyků k operaci komplementu by byla rovnost tříd rekursivních a rekursivně spočetných jazyků. V následující kapitole (věta 5.6) ukážeme, že tyto dvě třídy nejsou stejné, a proto třída rekursivně spočetných jazyků není uzavřena na komplement. Věty 4.16 a 4.17 mají i další zajímavé důsledky. Například, že pro jazyk L a jeho komplement co-L může nastat jen jedna z těchto tří možností: 1. oba jazyky L a co-L jsou rekursivní; 2. žádný z jazyků L a co-L není rekursivně spočetný a co-A-f Obrázek 4.8: Konstrukce TM pro komplement rekursivního jazyka. 4.5. TURINGOVY STROJE A JAZYKY TYPU O 123 3. jeden z jazyků L a co-L je rekursivně spočetný ale není rekursivní, druhý není re-kursivně spočetný. 4.5 Turingovy stroje a jazyky typu 0 Cílem této části je ukázat, že gramatiky typu 0 (též známé jako frázové gramatiky) jsou výpočetně ekvivalentní Turingovým strojům. Jinými slovy, že třída jazyků generovaných gramatikami typu 0 je právě třída rekursivně spočetných jazyků. I když oba formalismy jsou stejně expresivní, rozdíl mezi nimi je ve způsobu, jakým popisují uvedenou třídu jazyků. Zatímco TM je ve své podstatě návodem, jak rozpoznat, zda dané slovo patří do jazyka, tak formální gramatika je návodem, jak vytvořit slovo patřící do jazyka. První z následujících dvou lemmat prokazuje, že každá gramatika typu 0 generuje rekursivně spočetný jazyk; druhá pak opačnou implikaci. Lemma 4.18. Nechi L je jazyk generovaný gramatikou typu 0. Pak L je rekursivně spočetný. Důkaz. Nechf L je jazyk generovaný gramatikou Q — (N, E, P, S) typu 0. Sestrojíme nedeterministický Turingův stroj M. akceptující jazyk L. Stroj M. bude mít dvě stopy. Na první stopě je zapsán vstupní řetěz a její obsah se v průběhu výpočtu nemění. Na druhé stopě simuluje M. odvození v Q a je na ní zapsána (do daného okamžiku vygenerovaná) větná forma a gramatiky Q. M. inicializuje obsah druhé stopy na S a pak M. opakovaně provádí tyto kroky: 1. Nedeterministicky vybere pozici i v řetězu a zapsaném na druhé stopě. Přesněji, počínaje nejlevějším políčkem pásky, buď posune hlavu doprava anebo zvolí momentální pozici. 2. Nedeterministicky zvolí pravidlo f3 —>• 7 gramatiky Q. 3. Je-li f3 podřetězem řetězu a, začínajícím na pozici i, pak nahradí f3 řetězem 7. V případě, že I7I < |/3|, „přisune" zbývající část řetězu a tak, aby nově vytvořený řetěz byl zapsán na za sebou následujících políčkách. V situaci I7I > |/3| je naopak zapotřebí zbývající část řetězu a „odsunout", aby vznikl prostor pro zapsání celého řetězu 7. 4. Porovná vstupní řetěz, zapsaný na prvé stopě, s nově vytvořeným řetězem na druhé stopě. V případě rovnosti akceptuje, v případě neshody pokračuje bodem 1. Lehce se prokáže, že každý řetěz vytvořený na druhé stopě je větnou formou gramatiky Q a naopak, že každou větnou formu gramatiky Q je možno popsaným způsobem vytvořit. Proto L(Q) = L(M) = L. □ Lemma 4.19. Nechi L je rekursivně spočetný jazyk. Pak L je generován gramatikou typu 0. Důkaz. Předpokládejme, že L je akceptován deterministickým Turingovým strojem M. — (Q, E, r, D>, U, S, qo, qaCcept, qreject)- Naším cílem je zkonstruovat gramatiku Q takovou, že slovo w se dá odvodit v Q, právě když w je akceptováno strojem M.. Proto odvození v gramatice musí nějakým způsobem simulovat výpočet stroje. Simulace je založena na 124 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O tom, že v gramatice Q vygenerujeme dvě kopie slova w nad abecedou E a nad druhou z nich v každém kroku odvození simulujeme jeden krok výpočtu stroje M.. Pokud stroj M. neakceptuje, odvození nikdy nepovede k terminálnímu řetězu. Formálnějeg = (N, E, P, S), kde N — {S, S", K} UQU ((EU {e}) x T). Pro lepší názornost rozdělíme množinu pravidel do 3 skupin podle toho, ve které fázi odvozování je možno tato pravidla aplikovat. I Na začátku odvození potřebujeme vygenerovat nějaké slovo w a jeho kopii (nad kterou se pak bude simulovat výpočet stroje A4). Proto budeme jako neterminály používat uspořádané dvojice [x, y], podobně jako tomu bylo u TM s více stopami. Posloupnost takových neterminálů můžeme pak chápat jako dva řetězy zapsané nad sebou. Abychom mohli se spodním řetězem pracovat jako s konfigurací TM, přidáme neterminály odpovídající počátečnímu stavu stroje a levé koncové značce. Dále, abychom měli možnost rozpoznat, který symbol je poslední, přidáme na konec neterminál K. 1. S^q0[e,>]S' 2. S' —>• [a, a]S' pro každé a G E 3. S' -> K. Aplikací pravidel 1-3 dokážeme v Q vygenerovat z počátečního neterminálů S řetěz (pro lepší pochopení jsou uspořádané dvojice zapsány svisle) qo e 0,1 a2 a,n D> 0,1 a2 K II Větná forma odvozena aplikací pravidel 1-3 obsahuje dvě informace. Na horní stopě je zapsáno slovo w G E*. Obsah dolní stopy spolu se symbolem qo určují počáteční konfiguraci výpočtu M. na w (hlava snímá políčko bezprostředně vpravo od neterminálů určujícího stav). Druhá skupina pravidel umožní simulovat výpočet M. na w. Přesněji, jestliže a \ M f3 je krok výpočtu stroje M. a ä (/3) je větná forma obsahující na spodní stopě konfiguraci a (/3), pak pravidla z druhé skupiny umožní odvození ä f3. 4. p[x, a] —>• [x, b] q pro každé x G E U {e}; a, b eT;p,q G Q takové, že S(p, a) — (q, b, R) 5. [y,c]p[x,a] -)• q[y,c][x,b] pro každé x, y G E U {e}; a, b, c eT;p,q G Q takové, že S(p, a) — (q, b, L) 6. pK [e, b]qK pro každé b e T; p, q e Q takové, že ô (p, U) — (q, b, R) 7. [y,c]pK -)• q[y,c][e,b]K pro každé y G E U {e}; b, c eT;p,q G Q takové, že ô (p, U) — (q, b, L) Jestliže M. akceptuje vstup a,i ■ ■ ■ an, pak (g0,>WU",0) ■{qa \4accept? Použitím pravidel 4-7 můžeme v gramatice Q odvodit >z1...zs{r,i) qo e ai a,i a,2 a2 a„ a,„ K e ai Zi ai-i Zi-i qaccept Oi Z, as Zs K 4.6. LINEÁRNĚ OHRANIČENÉ AUTOMATY A JAZYKY TYPU 1 125 kde a„+i — ... — as — e. III Aplikací pravidel z prvních dvou skupin se dá v Q odvodit řetěz ( obsahující neter-minál qaccept právě když M. akceptuje slovo w zapsané na první stopě řetězu (. Třetí skupina pravidel umožní odvodit z ( terminálni řetěz. Přesněji, neterminály určující stav a konec (K) přepíšeme na e. Neterminál — uspořádanou dvojici — přepíšeme na symbol z první komponenty dvojice. 8. Zqaccept ->• qacceptZ pro všechna Z e N 9. qaccePt[a, x] ->• aqaccept pro všechna a G E, x e T 10. qaccePt[£, x] ->• q^cept pro všechna x eT 11. qaccept K ->• £ Množina pravidel gramatiky C? je tvořena právě pravidly 1-11. □ Věta 4.20. Třídy jazyků, které lze generovat gramatikami typu 0, resp. akceptovat Turin-govymi stroji, jsou si rovny a tvoří právě třídu rekursivně spočetních jazyků. Pozorný čtenář si jistě v důkazu věty 4.19 povšimne, že libovolný rekursivně spočetný jazyk je tedy generovatelný gramatikou, která obsahuje právě jedno e-pravidlo - viz pravidlo 11 (nejedná se však o pravidlo typu S —>• e, kde S se nevyskytuje na žádné pravé straně v pravidlech gramatiky - srv. definicí pojmu Q je bez e-pravidel). 4.6 Lineárně ohraničené automaty a jazyky typu 1 Výsledky prezentované v předchozí části ukazují, že rekursivně spočetné jazyky je možné popsat dvěma formalismy: prostřednictvím Turingových strojů a gramatik typu 0. Z výsledků předcházejících kapitol víme, že podobnou možnost máme i pro regulární jazyky (konečné automaty a regulární gramatiky) a bezkontextové jazyky (zásobníkové automaty a bezkon-textové gramatiky). Zbývá najít protějšek kontextových gramatik. Ukážeme, že jím jsou Turingovy stroje se speciálním omezením na velikost pásky — tzv. lineárně ohraničené automaty. Lineárně ohraničený automat (anglicky Linear Bounded Automaton), zkráceně LB A, je jednopáskový nedeterministický TM, který nikdy neopustí ta políčka, na kterých byl umístěn vstup. Formálně, lineárně ohraničený automat M. je 10-tice M. — (Q, E, r, D>, O, U, S, qo, qaCcept, qreject) kde symboly Q, E, T, >, U, S, qo, qaCcept, qreject mají stejný význam jako u nedeterministického TM. < e T \ E je pravá koncová značka. Podobně jako u TM požadujeme, aby LBA nikdy nepřepsal levou (pravou) koncovou značku jiným symbolem a aby nikdy neposunul svou hlavu vlevo (vpravo) od políčka obsahujícího levou (pravou) koncovou značku. Definice konfigurace, relace kroku výpočtu a jazyka L(A4) zůstávají stejné jako u nedeterministického TM. Název LBA je odvozen z následujícího faktu. Uvažme ty nedeterministické TM AL pro které existuje taková konstanta k G N, že pro každý vstupní řetěz w je pozice hlavy v každé konfiguraci každého výpočtu M. na w nanejvýš k ■ \w\. Zřejmě každý LBA splňuje 126 KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O uvedenou vlastnost. Naopak, ke každému TM uvedené vlastnosti se dá (technikou podobnou té, kterou jsme použili při simulaci k-páskového Turingova stroje jednopáskovým) zkonstruovat ekvivalentní LBA. Alternativně lze tedy definovat LBA jako TM s lineárně ohraničeným prostorem. O LBA říkáme, že je deterministický, právě když pro každé qEQaaETje množina S(q, a) jednoprvková. Není známé, zda třída jazyků akceptovaných deterministickými LBA je vlastní podtřídou třídy jazyků akceptovaných lineárně ohraničenými automaty. Víme, že každý jazyk akceptovaný nedeterministickým lineárně ohraničeným automatem se dá akceptovat deterministickým Turingovým strojem. Velikost pásky, kterou potřebuje takovýto Turingův stroj však může být až exponenciální funkcí délky vstupního slova a nejenom lineární (viz konstrukce v 4.3). Náš zájem o LBA je dán skutečností, že akceptují právě třídu kontextových jazyků. Důkaz tohoto tvrzení je podobný jako důkaz tvrzení, že gramatiky typu 0 akceptují právě třídu rekursivně spočetných jazyků. Lemma 4.21. Nechi L je jazyk generovaný kontextovou gramatikou. Pak L je akceptován nějakým lineárně ohraničeným automatem M.. Důkaz. Automat M. konstruujeme podobně jako v důkazu lemmatu 4.18 s tím rozdílem, že nepovolíme, aby délka řetězu a na druhé stopě někdy přesáhla délku vstupního řetězu. Korektnost konstrukce plyne z faktu, že v kontextové gramatice pro odvození S — w0 =>g wi =>g w2 ■ ■ ■ =>g wn platí \wí-i| < \wí\ pro každé i — 1,..., n . Stroj M. má proto dostatek prostoru na to, aby odvození vstupního řetězu, pokud existuje, našel. □ Lemma 4.22. Nechi M. je lineárně ohraničený automat. Pak existuje kontextová gramatika generující jazyk L(A4). Důkaz. Důkaz tohoto tvrzení je nepatrnou modifikací důkazu lemmatu 4.19. Modifikace je nutná proto, že pravidla 10 a 11 nejsou kontextová. Změny doznají pravidla skupiny I, kdy první a poslední neterminál generovaného řetězu v sobě ponesou informaci o tom, že jsou prvním resp. posledním neterminálem. Neterminál, určující stav odpovídající konfigurace LBA, se stane součástí neterminálu pro obsah políčka. □ Věta 4.23. Třídy jazyků, které lze generovat kontextovými gramatikami, resp. rozhodovat lineárně ohraničenými automaty, jsou si rovny. Důležitou vlastností lineárně ohraničených automatů je, že každý LBA můžeme transformovat na ekvivalentní úplný Turingův stroj. Věta 4.24. Každý kontextový jazyk je rekursivní. Důkaz. Nechť L je jazyk akceptovaný lineárně ohraničeným automatem M. — (Q,T,,T, D>, <, U, S, g0, qaccept, qreject)- Zkonstruujeme úplný LBA M. takový, žeL(AÍ) — L. Tím dokážeme tvrzení věty. 4.6. LINEÁRNĚ OHRANIČENÉ AUTOMATY A JAZYKY TYPU 1 127 Konstrukce je založena na pozorování, že počet různých konfigurací, které se mohou vyskytnout ve výpočtu na vstupu w je konečný a jejich počet závisí jenom na délce slova w a na definici stroje M.. Když tedy stroj M. slovo w akceptuje, pak nutně existuje akceptující výpočet M. na w, jehož délka nepřesáhne počet různých konfigurací (v opačném případě se v něm nutně musí objevit dvě stejné konfigurace a vynecháním úseku mezi nimi skonštruujeme kratší akceptující výpočet). Proto stroji M. postačuje simulovat výpočet stroje M. jenom do délky rovné počtu různých konfigurací. Konfigurace stroje M. v sobě nese informaci o stavu stroje, o obsahu pásky a o pozici hlavy. Počet různých konfigurací, které se mohou vyskytnout ve výpočtu na vstupu w délky n, je proto \Q\-\T\n-{n + 2). Dále platí, že funkci |Q| • |r|™ • (n + 2) můžeme zhora ostře ohraničit funkcí c™ pro vhodně zvolené přirozené číslo c. Počet symbolů, které potřebujeme na zápis libovolného čísla z intervalu 0,..., c™ — 1 v c-ární číselné soustavě, nikdy nepřesáhne n. LBA M. bude na vstupu w pracovat takto. Svoji pásku rozdělí na dvě stopy. Na horní stopě zůstane zapsán vstup w, na druhou zapíše číslo 0 (v c-ární číselné soustavě). Pak na horní stopě simuluje výpočet M. na w, přičemž za každý odsimulovaný krok připočte k číslu, zapsanému na spodní stopě, jedničku (stále v c-ární číselné soustavě). Pokud M. akceptuje (zamítne) vstup w, pak i M. akceptuje (zamítne). Když dojde k „přeplnění*' spodní stopy, tak M. zamítne. Výpočet LBA M. na libovolném vstupu w se zastaví buď proto, že simulovaný výpočet dosáhl akceptující resp. zamítající konfiguraci, nebo proto, že délka simulovaného výpočtu přesáhla hranici c'-1"'. Jestliže tedy M. akceptuje, pak existuje výpočet M. na w takový, že jeho simulace přivede M. k akceptování. Naopak, jestliže w ^ Á4, pak žádný výpočet M. na w nemůže být akceptující. LBA M. je úplný, a proto jazyk L je rekursivní. □ V následující kapitole prezentujeme důkazovou techniku (tzv. metodu diagonalizace), která dovoluje dokázat, že ne každý rekursivní jazyk je nutně kontextový. V podstatě všechny jazyky, které považujeme za „přirozeně definované", jsou kontextové. Pro úplnost ještě uveďme, jaké jsou uzáverové vlastnosti třídy kontextových jazyků. Věta 4.25. Třída kontextových jazyků je uzavřena vzhledem k operacím U, n, ■, * a kom-plementu. Důkaz. Platnost tvrzení pro operace průniku, sjednocení, zřetězení a iterace se dokáže úplně stejným způsobem jako pro rekursivní jazyky (věta 4.15). Důkaz pro komplement není tak přímočarý. Techniku použitou v důkazu věty 4.15 nemůžeme na LBA aplikovat. Problém je v tom, že LBA je definován jako nedeterministické výpočetní zařízení, a tedy pouhou záměnou akceptujícího a zamítajícího stavu bychom nezískali automat pro komplement jazyka (viz podobnou argumentaci pro nedeterministické konečné resp. zásobníkové automaty). Ve skutečnosti je důkaz uzavřenosti třídy kontextových jazyků na komplement dosti komplikovaný, a proto jej zde neuvádíme. □ KAPITOLA 4. TURINGOVY STROJE A JAZYKY TYPU O Kapitola 5 Nerozhodnutelnost Cílem této kapitoly je poskytnout odpověď na následující otázky: 1. Existuje jazyk (problém), který není rekursivně spočetný (částečně rozhodnutelný)? 2. Existuje jazyk (problém), který je rekursivně spočetný (částečně rozhodnutelný), ale není rekursivní (rozhodnutelný)? Ukážeme, že odpověď na obě otázky je kladná. Z toho pak plyne další otázka: 3. Které problémy, týkající se jazyků Chomského hierarchie, jsou resp. nejsou rozhodnutelné? Než začneme s úvahami o (ne)rozhodnutelnosti, projdeme dva okruhy problémů. Chur-chova teze ozřejmuje význam našich úvah o nerozhodnutelnosti. Na jejím základě můžeme totiž tvrzení o nerozhodnutelnosti konkrétního problému interpretovat jako tvrzení o neexistenci algoritmu řešícího uvažovaný problém. Podkapitola pojednávající o kódování TM je spíše technická a využijeme ji v následujících konstrukcích. Univerzální Turingův stroj je pro nás zajímavý hned ze dvou hledisek. Jednak jako technický nástroj, který můžeme využít tehdy, když potřebujeme, aby TM simuloval nějaký jiný TM. Z druhé strany, univerzální TM zdůrazňuje tu skutečnost, že Turingův stroj může být, podobně jako reálný počítač, programován. 5.1 Churchova teze Cílem A. Turinga v době, kdy definoval svůj model (později nazvaný na jeho počest Turingův stroj), bylo rozlišit, co je a co není efektivní procedura, respektive jak bychom to řekli dnes, co je a co není algoritmus. Intuitivně, algoritmus je množina pravidel, které jednoznačně předepisují, co máme dělat pro to, abychom po konečném počtu kroků obdrželi požadovaný výsledek. Problém exaktní a jednoznačné definice pojmu algoritmus se stává klíčovým v okamžiku, když chceme dokázat, že neexistuje žádný algoritmus pro řešení konkrétního problému. Otázku existence resp. neexistence algoritmu si matematici kladli dávno (vzpomeňme alespoň problém kvadratury kruhu). Zvláště aktuální se stala v souvislosti s formulací známého Hilbertova programu začátkem našeho století. To vedlo k 129 130 KAPITOLA 5. NEROZHODNUTELNOST několika definicím pojmu algoritmus, z nichž jedna vychází právě z TM. Je známá pod názvem Churchova teze1 (či též jako Church-Turingova teze): Každý proces, který lze intuitivně nazvat algoritmem, se dá realizovat na úplném Turingově stroji. Obsahem Churchovy teze je tedy ztotožnění pojmů algoritmicky řešitelný" a „řešitelný Turingovym strojem". Protože pojem algoritmicky řešitelný je jenom intuitivním pojmem, nemůže být obsah Churchovy téze formálně dokázán. Existuje však celá řada argumentů podporujících platnost teze, z nich uveďme například tyto: 1. Kromě TM bylo navrženo i mnoho jiných formalizmů; zmiňme alespoň • Postovy systémy • Minského stroje • /i-rekursivní funkce • A-kalkul • while programy. Důležité je, že všechny se ukázaly, co se jejich výpočetní síly týče, jako vzájemně ekvivalentní. 2. Třída jazyků akceptovaných TM a třída funkcí počítaných TM jsou velice robustní. Různá omezení resp. rozšíření základního modelu nemají žádný vliv na tyto třídy (viz předcházející kapitola). 3. Doposud není znám žádný algoritmus, který by se nedal realizovat na Turingově stroji. Více podrobností může čtenář najít literatuře věnované teorii vyčíslitelnosti. Z pohledu Churovy teze je tedy problém2 algoritmicky řešitelný, právě když je rozhodnutelný. V dalším textu budeme i nadále pracovat s Turingovými stroji, avšak budeme na ně nazírat především jako na algoritmy. 5.2 Kódování TM a univerzální TM Základní vlastnost, ze které budeme v následujících úvahách vycházet, je schopnost Turin-gových strojů simulovat jiné Turingovy stroje, jejichž popis obdrží jako část svého vstupu. První problém, na který při simulaci narazíme, je otázka vhodného kódování (zápisu) Turingových strojů. Požadujeme: 1. aby pro každý stroj (a případně i slovo nad nímž má pracovat), byl definován jeho kód (jako slovo nad nějakou abecedou) a 2. aby z kódu stroje (a případně i slova nad nímž má pracovat) byla jednoznačně dekódovatelná informace o jeho stavech, symbolech, přechodové funkci,... (a případně i slovo nad nímž má pracovat). Kódování Turingových strojů Nechf M. — (Q, E, T, D>, U, S, qo, qaCcept, je levá koncová značka ali — U je symbol pro prázdné políčko. Symbolům pro směr pohybu můžeme též přiřadit synonyma L — S\ a R — S2 ■ Pak hodnotu přechodové funkce S(qi,Xj) — (qk,Xi, Sm) můžeme jednoznačně kódovat binárním řetězem 0i10j10fe10i10m . (5.1) Binárním kódem Turingova stroje M. je řetěz 111 kód! 11 kód2 11 • • • 11 kódr 111 , kde kódi je řetězec tvaru 5.1a kódi,..., kódr jednoznačně popisují celou přechodovou funkci stroje Af3. Kód stroje M. budeme označovat {M). Každý binární řetězec je kódem nanejvýš jednoho Turingova stroje. Některé řetězy nejsou kódem žádného stroje; v takovém případě interpretujeme řetězec jako kód stroje přijímajícího prázdný jazyk. Podobným způsobem můžeme kódovat i vstupní slova stroje M. — slovu Xit ■ ■ ■ Xik přiřadíme kód 0n 1 • • • 10ífe 1. Prázdnému slovu přiřadíme kód e. Kód slova w označujeme (w). Příklad 5.1. Mějme M = ({qo, qi, q_2, (fy}, {0,1}, {>, U, 0, Í,A, B}, ô, >, U, qo, qi, q2) s přechodovou funkcí 6(q0,>) = (q3,>,R), %3,0) = (q3,A,R), 6(q3,í) = (q3,B,L), 5() = (q2,>,R)- Kódem stroje M. je (M) = 1111100011001100010010001000010011000100010001000001011 000100001010000101100011001100111 . Kódem slova 001101 je (001101) = 00100100010001001000. Univerzální Turingův stroj Zavedené kódování strojů a jejich vstupů nám umožňuje zkonstruovat univerzální Turingův def stroj U takový, že U akceptuje (A'í)jj(w) <í=4> M. akceptuje w, to jest: L(U) = { (M)Uw) | M akceptuje w }. Jinými slovy, jestliže stroj U dostane na vstup kód stroje M. a kód jeho vstupu w (vzájemně odděleny symbolem jj), pak U akceptuje tento vstup, právě když M. akceptuje w. Stroj U pracuje takto: 3. Poznamenejme, že neklademe žádné podmínky na uspořádání, aprotojeden TM může mít více rázných kódů. 132 KAPITOLA 5. NEROZHODNUTELNOST 1. nejdříve ověří, zda jeho vstup je tvaru {0, l}*{jj}{0,1}*. Když není, tak zastaví a zamítne. 2. U simuluje krok po kroku výpočet stroje M. na w. Páska stroje U je rozdělena na tři stopy. Na první stopě si stroj U udržuje kód simulovaného stroje M.. Na druhé stopě má zaznamenán aktuální obsah pásky stroje M. s vyznačenou pozicí hlavy. Třetí stopa slouží k zapamatování aktuálního stavu simulovaného stroje M.. Simulace jednoho kroku znamená, že stroj srovnává obsah třetí a relevantní části druhé stopy s obsahem první stopy, aby zjistil, jaká akce stroje M. je předepsána pro jeho momentální stav a čtený symbol. Předepsanou akci odsimuluje takto: změní kód stavu na třetí stopě, přepíše snímaný symbol a posune značku pro pozici hlavy. 3. U akceptuje (zamítá), právě když se na třetí stopě objeví kód akceptujícího (zamítajícího) stavu. Pokud M. na vstupu w cyklí, pak i U na vstupu LM)$(w) cyklí. Poznámka 5.2. Na tomto místě (jako i na mnoha jiných v dalším textu) stavíme na Chur-chově tezi. Místo toho, abychom přesně deňnovali univerzální Turingův stroj (tj. speciňko-valijeho množinu stavů, přechodovou funkci atd.), popsali jsme jeho činnost jen „slovně". Důvod je zřejmý: tento popis je mnohem přehlednější a srozumitelnější, než kdybychom měli k dispozici popis přechodové funkce o délce několika (desítek) stran. 5.3 Diagonalizace Hlavním cílem této kapitoly je prozkoumat, které problémy, vztahující se k formálním jazykům a automatům, jsou resp. nejsou algoritmicky řešitelné. Popíšeme dvě matematické metody, které umožňují o problému dokázat, že není (částečně) rozhodnutelný — metodu diagonalizace a metodu redukce. Jaký typ problémů j e nerozhodnutelný, tj. algoritmicky neřešitelný? Jsou tyto problémy jen „teoretické", nebo se s nimi můžeme běžně setkat? První z problémů, který prozkoumáme je formulován takto: máme daný program a přesnou specifikaci, co by tento program měl dělat (např. násobit dvě matice). Potřebujeme verifikovat, zda program skutečně dělá to, co od něj očekáváme. Jelikož jak program, tak i specifikace, jsou matematicky přesně definované objekty, přáli bychom si, aby proces verifikace byl pokud možno automatizován. Ukážeme, že právě toto je typ problému, který (obecně) není rozhodnutelný, a tedy řešitelný počítačem. Přesněji formulováno, budeme se zabývat problémem příslušnosti pro Turinovy stroje. Pro daný Turingův stroj M. a slovo w chceme určit, zda M. slovo w akceptuje, nebo neakceptuje (tj. M. zamítá w nebo na w cyklí). Jinými slovy, chceme určit, zda slovo w buď přísluší, nebo nepřísluší jazyku L(A4). Univerzální Turingův stroj a technika diagonalizace jsou nástroje, které nám umožní dokázat, že problém příslušnosti pro Turingovy stroje je nerozhodnutelný. Jinak řečeno, dokážeme, že jazyk def PP = { (A-f)U(w) | stroj M akceptuje w} není rekursivní. 5.3. DIAGONALIZACE 133 První idea, jak problém řešit, je použít univerzální stroj U, kterému na vstup dáme řetěz (A4)$(w). U simuluje výpočet M. na w a následně • zastaví a akceptuje právě když M. se zastaví a akceptuje • zastaví a zamítne právě když M. se zastaví a zamítne • cyklí právě když M. cyklí. Lehce ověříme, že L(U) — PP. Problém příslušnosti je tedy částečně rozhodnutelný. Protože však stroj M. není úplný, pak ani U není úplný, a tedy z existence U neplyne rozhodnutelnost problému příslušnosti. Na místě je tedy otázka, zda existuje nějaká jiná metoda, která na základě popisu Tu-ringova stroje a jeho vstupu umožní vždy rozhodnout, jak dopadne výpočet stroje na daném vstupu. Ve skutečnosti takováto metoda neexistuje. Pro konkrétní TM a slovo se nám může podařit problém rozhodnout aplikací nějakého heuristického (ad hoc) přístupu, ale obecná metoda, která by poskytla řešení pro libovolnou dvojici ( stroj, slovo ) neexistuje. Věta 5.3. Problém příslušnosti pro Turingovy stroje je částečně rozhodnutelný, ale není rozhodnutelný. Částečnou rozhodnutelnost jsme již dokázali. Tvrzení o nerozhodnutelnosti dokážeme pomocí Cantorovy diagonalizační metody. Tuto metodu poprvé použil matematik Georg Cantor v roce 1873, když se zabýval problémem měření mohutnosti nekonečných množin. Diagonalizací prokázal, že množiny přirozených a reálných čísel mají různou mohutnost. Analogickým způsobem můžeme prokázat, že existuje jazyk, který není akceptován žádným Turingovým strojem. Lemma 5.4. Existuje jazyk, který není rekursi vně spočetný. Důkaz. Z předcházejícího víme, že každý řetězec nad abecedou {0,1} můžeme chápat jako kód nějakého Turingova stroje resp. jako kód nějakého slova. Pro každé x G {0,1}* označme M.x Turingův stroj s kódem x. Podobně wx je slovo, jehož kód je právě x. Rostoucí uspořádání slov4 nad abecedou {0,1} určuje uspořádání Turingových strojů Me, M0, M i, Moo, Moi, M w, M n, M00o, ■ ■ ■ a uspořádání slov we,w0, wi,woo,woi,wio,wn,wooo, ■ ■ ■ ■ Snadno nahlédneme, že uvedené uspořádání je natolik jednoduché, že lze zkonstruovat úplný TM, který pro dané přirozené číslo m vypočte kód m-tého Turingova stroje resp. TO-tého slova. Uvažme nyní nekonečnou dvojrozměrnou tabulku (obr. 5.1). Řádky tabulky jsou označeny Turingovými stroji v zavedeném uspořádání. Sloupce jsou označeny slovy v zavedeném uspořádání. V průsečíku z-tého řádku a j-tého sloupce je v tabulce symbol 1, právě když í-tý Turingův stroj akceptuje j-té slovo. Jestliže stroj vstup neakceptuje, pak na uvažované pozici tabulka obsahuje symbol 0. 4. V rostoucím uspořádání slovo menší délky předchází slovu větší délky. Pokud a = a\ ■ am a b = b\ ■ b., mají stejnou délku, pak a předchází b právě když existuje i takové, že ai = 6i,...,aj_i = bi—i acii < bi. 134 KAPITOLA 5. NEROZHODNUTELNOST W£ W0 wi W00 Wqi WlO Wn wqoo w00i 1 0 1 1 0 1 0 1 1 M0 0 1 1 1 0 1 0 0 1 Ml 1 1 1 0 1 1 0 1 0 Mqo 0 0 0 0 0 1 0 1 1 Moi 1 0 0 1 0 0 1 1 1 Mio 0 0 0 1 1 1 0 1 1 Mu 1 1 0 1 0 1 0 1 0 Mqoo 0 1 1 0 0 1 1 1 1 Mooi 1 1 1 1 1 0 0 1 0 Obrázek 5.1: Tabulka obsahující informace o výpočtech Turingových strojů (symboly 1 a 0 jsou rozmístěny náhodně, čistě pro ilustraci.) Zkonstruujemejazyk D (tzv. diagonální jazyk) nad abecedou {0,1}* využitím prvků, které v tabulce leží na diagonále. Abychom zabezpečili, že jazyk D není akceptován žádným Turingovým strojem, požadujeme, aby slovo d patřilo do jazyka D tehdy a jen tehdy, když stroj Md neakceptuje slovo Wd, tj. na průsečíku řádku Md a sloupce Wd obsahuje tabulka symbol 0. Lehce přijdeme ke sporu: předpokládejme, že existuje nějaký stroj Mx akceptující jazyk D. Jestliže slovo x patří do jazyka D, pak tabulka obsahuje na pozici (Mx,wx) symbol 0 a nemůže být L(MX) — D. Naopak, jestliže slovo x nepatří do jazyka D, pak tabulka obsahuje na pozici (Mx, wx) symbol 1, a tedy opět nemůže platit L(MX) — D. Proto neexistuje žádný TM, který by akceptoval jazyk D. Nyní jsme již připraveni dokázat větu 5.3 o nerozhodnutelnosti problému příslušnosti. Důkaz, věty 5.3 Důkaz věty provedeme sporem. Předpokládejme, že existuje úplný stroj T akceptující jazyk PP. Nad vstupním slovem (M)jj(w) stroj T pracuje takto: • T se zastaví a akceptuje právě když M se zastaví a akceptuje w • T se zastaví a zamítne právě když M se zastaví a zamítne anebo když cyklí na w. Zkonstruujeme nový Turingův stroj M (viz obr. 5.2), který pro vstup x e {0,1}* 1. zapíše na svou pásku řetěz xjjx, 2. simuluje výpočet stroje T na vstupu xjjx, 3. N akceptuje vstup x, právě když T zamítne vstup xjjx. M zamítne vstup x, právě když T akceptuje vstup xjjx. Při konstrukci stroje M jsme využili existenci univerzálního TM. Konkrétně, v bodě 2. předepisujeme, aby stroj M simuloval jiný stroj, jehož popis dostal jako součást vstupu -to ale znamená, že se chová jako univerzální stroj. Pro každé slovo x e {0,1}* M akceptuje x ^=4> T zamítá vstup x$x (podle definice TV) □ 5.3. DIAGONALIZACE 135 Obrázek 5.2: Konstrukce stroje J\í. ^=^> stroj s kódem x zamítá anebo cyklí na vstupu s kódem x (podle předpokladu o T) Speciálně nás zajímá výpočet stroje M na vstupu (N), tj. na vstupu, který je kódem stroje J\í. Tedy dostáváme TV akceptuje (M) <í=^ T zamítá vstup TVjjTV ^=^> stroj s kódem (M) zamítá anebo cyklí na vstupu s kódem (M) <í=^> TV neakceptuje (M) To je zřejmý spor, a proto náš předpoklad o existenci úplného Turingova stroje T musel být chybný. □ Ještě jednou zopakujme, jakým způsobem jsme dokázali nerozhodnutelnost problému příslušnosti. Předpokládali jsme existenci stroje T rozhodujícího tento problém. Zkonstruovali jsme stroj TV (který využíval T) takový, že když M dostal na vstup x, tak ho akceptoval jedině tehdy, když stroj s kódem x neakceptoval vstup s kódem x. Nakonec jsme spustili stroj M na vstupu (Aí). Chování stroje M popisuje řádek Wll wooo wooi • • • N 0 0 0 1 1 0 1 0 1 který vznikl „negací" diagonály z tabulky 5.1. Srovnáme-li stroj s libovolným Turingo-vym strojem Á4X, tak vidíme, že jejich chování na vstupu s kódem x se liší: když jeden ze strojů akceptuje, tak druhý neakceptuje a naopak. Problém příslušnosti pro Turingovy stroje je příkladem problému, který je částečně rozhodnutelný, ale není rozhodnutelný. Přirozenou je otázka, zda existuje problém, který není ani částečně rozhodnutelný. Příkladem takového problému je komplement problému příslušnosti. def Věta 5.5. Jazyk co-PP — {{A4)${w) \ M. neakceptuje w} nenírekursivně spočetný. Důkaz. Předpokládejme, že jazyk co-PP je rekursivně spočetný. Pak podle věty 4.17 je jazyk PP rekursivní, což je spor. □ 136 KAPITOLA 5. NEROZHODNUTELNOST 5.4 Redukce S problémem příslušnosti pro TM úzce souvisí problém zastavení pro TM. Pro libovolný daný TM M. a libovolné dané slovo w se ptáme, zda výpočet M. na w je konečný či nikoli. Opět nás zajímá, zdaje tento problém rozhodnutelný, tj. zda jazyk def PZ — {(A'í)jj(w) | výpočet M. na w je konečný } je rekursivní. Věta 5.6. Problém zastavení pro Turingovy stroje není rozhodnutelný. Důkaz. Důkaz provedeme sporem. Předpokládejme, že problém je rozhodnutelný. Pak existuje úplný Turingův stroj T akceptující jazyk PZ. Ukážeme, jak s pomocí stroje T, můžeme sestrojit úplný Turingův stroj M rozhodující jazyk PP. Jelikož však jazyk P P není rekursivní, pak předpoklad o rozhodnutelnosti problému zastavení vede ke sporu. Úkolem stroje M je pro daný stroj M. a slovo w rozhodnout, zda M. akceptuje w. Stroj TV pro vstup (M)$(w) pracuje takto (obr. 5.3): 1. simuluje výpočet stroje T na vstupu (A'í)jj(w), 2. v případě, že T akceptuje (A'í)jj(w), tak výpočet M. na w je konečný. Proto M může simulovat výpočet MnawaA/' akceptuje právě když M. akceptuje w, 3. v případě, že T zamítá (A'í)jj(w), tak M. na w cyklí. Proto M zamítne svůj vstup. Obrázek 5.3: Konstrukce stroje J\í. Stroj TV je úplný, protože stroj T je úplný a M simuluje jen konečné výpočty stroje M.. Stroj M akceptuje jazyk PP, protože platí: TV akceptuje (M)$(w) ^=^> stroj T akceptuje (A'í)jj(w) a M. akceptuje w. □ Metoda, kterou jsme použili v důkazu věty 5.6 je založena na tzv. redukci: problém příslušnosti jsme převedli (redukovali) na problém zastavení tak, že kdybychom měli k dispozici algoritmus řešící problém zastavení (stroj T), pak bychom dokázali sestrojit i algoritmus rozhodující problém příslušnosti (stroj J\í). Z předcházejícího víme, že takový algoritmus existovat nemůže, a tedy nemůže existovat ani algoritmus rozhodující problém zastavení. Jelikož úplně stejný postup můžeme použít i pro jiné problémy, zformulujeme metodu redukce a její použitelnost obecně. 5.4. REDUKCE 137 Definice 5.7. Nechf A, B jsou jazyky, A C E*, B C Redukce jazyka A na jazyk B je rekursivní funkce a : E* —>• taková, že toei ^=^> cr(w) e B . V případě existence redukce jazyka A na jazyk £? říkáme, že A je redukovatelný (se redukuje) na £? a značíme A < B. S ohledem na známý vztah mezi pojmy jazyk a rozhodovací problém, můžeme aplikovat pojem redukce i na problémy. Zdůrazněme ještě jednou dvě klíčové vlastnosti redukce: 1. existence úplného Turingova stroje (algoritmu), který pro každé slovo w nad abecedou E vypočte jeho obraz, tj. slovo Tb akceptuje a(w) ^=> cr(w) G B ^=> w e A (ii) Analogicky jako v předcházejícím prípade. Protože však B je rekursivní, existuje úplný TM Tb, který ho akceptuje. Pak ale i stroj Ta bude úplný, a tedy jazyk A rekursivní. Tb □ Obrázek 5.5: Konstrukce stroje Ta- Důkaz nerozhodnutelnosti problému P metodou redukce se skládá ze dvou kroků. 1. Zvolíme nějaký problém N, o kterém už bylo dokázáno, že je nerozhodnutelný. 2. Prokážeme, že N < P. Nerozhodnutelnost problému P je pak důsledkem věty 5.8. Redukci můžeme, samozřejmě, využít i k důkazu rozhodnutelnosti nějakého problému P. V takovém případě 1. Zvolíme nějaký problém R, o kterém už bylo dokázáno, že je rozhodnutelný. 2. Prokážeme, že P < R. Rozhodnutelnost problému P je pak opět důsledkem věty 5.8. Konstrukce redukce A < B se skládá z následujících kroků. Nechf ACE*,BC$*. 1. Definujeme funkci a : E* —>• ^*. 2. Ověříme, že funkce a je rekursivní (například tak, že zkonstruujeme úplný Turingův stroj (tj. algoritmus), který pro každé w G E* vypočte er(w)). 3. Ověříme platnost ekvivalence iv e A ^=> cr(w) e B . Otázka 5.9. Který z jazyků PP, PZ hraje v důkazu věty 5.6 roli jazyka A a který roli jazyka B. Jak je deňnována redukce A na B? Otázka 5.10. Ukažte, že redukovatelnost je tranzitivní, tj. když A < B a B < C, pak A < C. Je redukovatelnost symetrická, tj. plyne z A < B platnost B < A? 5.5 Další rozhodnutelné a nerozhodnutelné problémy pro TM Doposud jsme se setkali se třemi nerozhodnutelnými problémy, z nichž dva (problém zastavení a příslušnosti pro TM) byly částečně rozhodnutelné a třetí (komplement problému 5.5. DALŠÍ ROZHODNUTELNÉ A NEROZHODNUTELNÉ PROBLÉMY PRO TM139 zastavení) nebyl ani částečně rozhodnutelný. Dále jsme ukázali princip, jak lze pomocí redukce dokázat (částečnou) rozhodnutelnost či nerozhodnutelnost jiných problémů. Aplikujme nyní tyto poznatky a prozkoumejme další problémy týkající se TM (rekursivně spočetných j azyků). Věta 5.11 (Rozhodnutelné problémy). Následující problémy jsou rozhodnutelné. Pro libovolný daný Turingův stroj M. rozhodnout, zda (a) M. má alespoň 1998 stavů, (b) výpočet stroje M. nad vstupním slovem a1998 je delší než 1998, (c) existuje slovo w takové, že výpočet stroje M. nad vstupním slovem w je delší než 1998. Věta 5.12 (Semirozhodnutelné problémy). Následující problémy nejsou rozhodnutelné, ale jsou částečně rozhodnutelné. Pro libovolný daný Turingův stroj M. rozhodnout, zda (a) jazyk L(A4) je neprázdný, (b) jazyk L(A4) obsahuje alespoň 1998 slov. Věta 5.13 (Nerozhodnutelné problémy). Následující problémy nejsou (ani) částečně rozhodnutelné. Pro libovolný daný Turingův stroj M. rozhodnout, zda (a) jazyk L(A4) je prázdný, (b) jazyk L(A4) obsahuje nanejvýš 1998 slov, (c) jazyk L(A4) je konečný, (d) jazyk L(A4) = R pro libovolný daný regulární jazyk R, (e) jazyk L(A4) je regulární (tj. zda existuje regulární jazyk R takový, že L(A4) = R), (f) jazyk L(A4) je rekursivní (tj. zda existuje rekursivní jazyk L takový, že L(A4) = L, tj. problém, zda M. je úplný TM). Důkaz, věty 5.11 Rozhodnutelnost všech uvedených problémů prokážeme tak, že zkonstruujeme úplný TM T akceptující právě kódy Turingových strojů majících požadovanou vlastnost. (a) Stroj T prochází vstup a testuje, zdali je na některé z pozic příslušejících stavům (viz kódování TM) řetěz tvaru 019980*. (b) Stroj T má tři pásky. Na třetí pásce si na počátku výpočtu označí 1999 políček. Na druhou pásku zapíše řetěz a1998. Pak na druhé pásce simuluje krok po kroku výpočet stroje s kódem x (x je vstup stroje T) na vstupu a1998. Za každý odsimulovaný krok označí T jeden symbol na třetí pásce. Když simulovaný výpočet skončil dříve, než byly označeny všechny symboly na třetí pásce, tak T zamítá. Pokud T označil všechny symboly, tak akceptuje. (c) Naším cílem je zkonstruovat TM T, který pro dané (M) rozhodne, zdali existuje slovo w takové, že výpočet stroje M. na vstupu w je delší než 1998. Stroj T bere postupně slova nad vstupní abecedou stroje M. v rostoucím uspořádání až do délky 1999. Pro každé slovo simuluje výpočet stroje M. nad tímto slovem, přičemž si pamatuje počet už odsimulovaných kroků výpočtu. Když délka simulovaného výpočtu 140 KAPITOLA 5. NEROZHODNUTELNOST přesáhne 1998, tak T se zastaví a akceptuje. Když délka výpočtu na žádném z uvažovaných slov nepřesáhne 1998, tak T se zastaví a vstup zamítne. Zůstává prokázat korektnost navrženého postupu. Tvrdíme, že když jsme hledané slovo nenašli mezi slovy délky maximálně 1999, tak skutečně neexistuje. Víme, že délka výpočtu na žádném ze slov délky 1999 nepřesáhla hodnotu 1998. To znamená, že stroj nikdy nečetl poslední symbol vstupu (na to by potřeboval alespoň 1999 kroků). Průběh výpočtu je tedy jednoznačně určen prefixem délky 1998 a není ovlivněn symboly za tímto prefixem. □ Důkaz, věty 5.12 (a) Nejdříve dokážeme, že problém neprázdnosti není rozhodnutelný. Navrhneme redukci jazyka P Z (který není rozhodnutelný — věta 5.6) na jazyk PNdá{(M) |L(M)^0}. Nerozhodnutelnost problému neprázdnosti plyne z věty 5.8. ProtožePZC {0,1,$}*,PN C {0,1}*, tak hledaná redukce a jefunkce z {0,1, jj}* do {0,1}*. Slovu x G {0,1, jj}* přiřadí a slovo (7ZX), přičemž (7ZX) je kód takto definovaného Turingova stroje. Stroj 7ZX pro vstup w G {0,1}* pracuje následovně. 1. Jestliže slovo x nepatří do {0, l}*{jj}{0,1}*, tak 7ZX vstup w zamítne. 2. V opačném případě smaže obsah své pásky a zapíše na ní slovo x. Nechf x — Xl$X2- 3. Stroj 7ZX simuluje výpočet stroje s kódem x^ na vstupu s kódem x2. 4. Jestliže simulovaný výpočet je konečný, tak 7ZX akceptuje. Pokud simulovaný výpočet je nekonečný, tak i výpočet 7ZX je nekonečný. Funkce a je úplná a je vyčíslitelná (vypočítatelná) Turingovým strojem, což znamená, že je rekursivní. Je důležité si uvědomit, že jazyk akceptovaný strojem 1ZX je 0 když stroj s kódem x\ na vstupu s kódem x2 cyklí, resp. v případě že x nepatří do {0, l}*{jj}{0,1}* {0,1}* když výpočet stroje s kódem x\ na vstupu s kódem x2 je konečný. L(KX) Funkce a zachovává příslušnost do jazyka, protože (Kx) ePN^ L(KX) = {0,1}* <í=> x — x\$x2, x\, x2 G {0, 1}* a výpočet stroje s kódem x\ na vstupu s kódem x2 je konečný ^> x G PZ Zůstává dokázat, že jazyk P N jerekursivně spočetný. Zkonstruujeme Turingův stroj T akceptující jazyk PN. Nabízí se vcelku přímočaré řešení. Chceme-li zjistit, zda daný stroj M. akceptuje vůbec nějaké slovo, stačí brát všechna možná vstupní slova a simulovat postupně výpočet stroje M. na každém z nich. Pokud M. akceptuje nějaké 5.5. DALŠÍ ROZHODNUTELNÉ A NEROZHODNUTELNÉ PROBLÉMY PRO TM141 slovo, určitě na něj dříve nebo později narazíme. Potíž je v tom, že dříve než dojde na toto slovo, které by stroj M. akceptoval, tak se může zkoušet i slovo, na němž M. cyklí - k hledanému slovu se tak nikdy nedostaneme. Potíž můžeme obejít využitím ,paralelismu". Namísto toho, aby se simuloval vždy jen jeden výpočet stroje A4, bude stroj T simulovat několik výpočtů stroje M. najednou. Provedeme to tak, že T vždy odsimuluje krok jednoho výpočtu, pak krok dalšího výpočtu atd. (Uvedená metoda nese anglický název dovetailing.) Předpokládejme libovolné, ale fixní uspořádání slov nad vstupní abecedou stroje M.. Pracovní páska stroje T bude rozdělena na několik úseků oddělených speciálním symbolem $ € ľ. V každém úseku je aktuální konfigurace jednoho simulovaného výpočtu. Na počátku má T jen jeden úsek a na něm počáteční (nultou) konfiguraci na prvním vstupu stroje M.. Jeden cyklus spočívá v tom, že T prochází svoji pracovní pásku zleva doprava. V každém úseku přepíše konfiguraci jejím následovníkem. Když dojde za poslední úsek, napíše tam počáteční konfiguraci výpočtu na dalším, ještě neprozkoumaném slově. Obsah pracovní pásku stroje T po pátém opakování cyklu je schematicky naznačen na obrázku 5.6 (symbol Konfig^ značí j-tou konfiguraci výpočtu stroje M. na z-tém vstupu). Pokud se v některém z úseků objeví D> Konfigl $ Konfigj $ Konfig\ $ Konfigj $ Konfig\ $ U Obrázek 5.6: Paralelní simulace výpočtů akceptující konfigurace (což nastane, právě když jazyk L(A4) je neprázdný), pak stroj T akceptuje. Pro vstup (M) takový, že L(A4) — 0, stroj T cyklí. (b) Tvrzení dokážeme nepatrnou modifikací předcházejícího důkazu. Pro nerozhodnutel-nost stačí vzít v úvahu, že jazyk L(A4) obsahuje alespoň 1998 slov tehdy a jenom tehdy, když L(7ZX) — {0,1}*. Pro semirozhodnutelnost stačí modifikovat stroj T tak, aby akceptoval až po objevení se 1998 akceptujících konfigurací. □ Důkaz, věty 5.13 (a) Nerozhodnutelnost problému prázdnosti (anglicky emptiness) dokážeme redukcí jazyka co-PZ (který není rekursivně spočetný — dokažte!) na jazyk PE, kde PEdM {{M)\L{M) = ®}. Redukce a je definována podobným způsobem, jako v důkazu nerozhodnutelnosti případu neprázdnosti (věta 5.12, případ (a)). Jediná změna se týká bodu 1.: pokud slovo x nepatří do {0, l}*{jj}{0,1}*, pak 1ZX vstup w akceptuje. Opět platí, že jazyk L(7ZX) je buď prázdný (v případě, že stroj s kódem x\ na vstupu s kódem X2 cyklí) , nebo stroj 7ZX akceptuje každé vstupní slovo (to v případě, že výpočet stroje s kódem x^ na vstupu s kódem x2 je konečný, resp. v případě že x nepatří do {0, l}*{jj}{0,1}*). Funkce a zachovává příslušnost do jazyka, protože 142 KAPITOLA 5. NEROZHODNUTELNOST (Kx) ePE^ L(KX) = 0 <í=> x — x\$x2, x\,x2 G {0,1}* a stroj s kódem x^ na vstupu s kódem x2 cyklí ^=^> x e co-PZ (b),(c) Stejně jako předcházející případ. Jazyk L(7ZX) je buď prázdný, a tedy obsahuje nanejvýš 1998 slov, resp. je konečný, nebo je nekonečný. (d) Předpokládejme, že problém, zda daný TM a konečný automat akceptují stejný jazyk, je částečně rozhodnutelný. Pak za konečný automat můžeme zvolit automat akceptující prázdný jazyk a dostáváme, že i problém prázdnosti pro Turingovy stroje je částečně rozhodnutelný — spor. (e) Zvolme jazyk L, který je bezkontextový a není regulárny. Nechť A je zásobníkový automat akceptující jazyk L. Chceme dokázat, že jazyk PR = { (M) | L(M) je regulární }. není rekursivně spočetný. Důkaz provedeme redukcí jazyka co-PZ na jazyk PR. Hledaná redukce a slovu x G {0,1, jj}* přiřadí slovo i^R.x), přičemž l(R.x) je kód takto definovaného Turingova stroje. Stroj H.x pro vstup w G {0,1}* pracuje následovně. 1. Jestliže slovo x nepatří do {0, l}*{jj}{0,1}*, tak 7ZX pokračuje bodem 4. 2. V opačném případě změní svou pásku na třístopou. Na druhou stopu zapíše slovo x. Nechť x — X]%x2. 3. Stroj 7ZX simuluje na své třetí stopě výpočet stroje s kódem x\ na vstupu s kódem x2. Jestliže simulovaný výpočet je konečný, tak H.x pokračuje bodem 4. Pokud simulovaný výpočet stroje s kódem x\ na vstupu s kódem x2 je nekonečný, tak i výpočet H.x je nekonečný. 4. H.x simuluje výpočet zásobníkového automatu A na vstupu w. 5. Jestliže automat A slovo w akceptuje, tak i stroj 7ZX svůj vstup w akceptuje. Pokud A zamítne, tak i 7ZX zamítá. Funkce a je úplná a je vyčíslitelná Turingovým strojem, což znamená, že je rekur-sivní. Jazyk akceptovaný strojem H.x je L jestliže výpočet stroje s kódem x\ na vstupu s kódem x2 je konečný L(1ZX) — { resp. v případě že x nepatří do {0, l}*{jj}{0,1}*) jestliže stroj s kódem x\ na vstupu s kódem x2 cyklí Funkce a zachovává příslušnost do jazyka, protože (Kx) ePR^ L(KX) = 0 <í=> x — x\$x2, x\, x2 G {0, 1}* a stroj s kódem x^ na vstupu s kódem x2 cyklí ^=^> x G co-PZ (f) Analogicky jako v případě (e) s tím rozdílem, že jako jazyk L zvolíme jazyk, který je rekursivně spočetný a není rekursivní. □ 5.6. POSTŮV KORESPONDENČNÍ PROBLÉM 143 5.6 Postův korespondenční problém V předchozí části jsme zkoumali rozhodnutelnost různých problémů týkajících se Turin-gových strojů. Poznali jsme, že až na několik málo velice jednoduchých problémů, jsou nerozhodnutelné. Přirozenou je proto otázka, co se stane, když v uvedených problémech zaměníme TM nějakým výpočtově slabším zařízením. Překvapujícími?) je zjištění, že pokud chceme, aby se problém stal rozhodnutelným, pak ho musíme většinou (až na několik málo již ukázaných výjimek) formulovat pro velice omezenou třídu jazyků: pro deterministické bezkontextové, resp. v některých případech až pro regulární jazyky. Shrnutí všech uvažovaných problémů najde čtenář na konci této kapitoly. V předchozí části byl klíčovým důkaz nerozhodnutelnosti problému příslušnosti (věta 5.3). Nerozhodnutelnost všech ostatních problémů byla dokázána redukcí. Obdobnou klíčovou roli v této části sehraje tzv. Postův korespondeční problém. Postův problém je úzce spjat s problémem zastavení, avšak jeho formulace je pro naše cíle mnohem vhodnější. Formulace Postův korespondenční problém (anglicky Post Correspondence Problem), zkráceně PKP (PCP), lze formulovat takto: jsou dány dva seznamy, A — x\,..., xn a B — yi,..., yn, neprázdných slov nad abecedou E. Seznamy A, B nazýváme instancí (případem) PKP a označujeme (A, B). Daná instance PKP má řešení, právě když existuje konečná posloupnost přirozených čísel íi, í2, ■ ■ ■ ik,k > 1, taková, že Posloupnost ii, i2, ■ ■ ■ ík se nazývá řešením PKP. Postův korespondenční problém je formulován jako třída problémů rozhodnout pro libovolnou danou instanci PKP, zda má řešení. Příklad 5.14. Nechi A, B jsou seznamy nad abecedou {a, b, c}, Xil Xi2 ' Xik Vil Ui2 ' ' ' Vik ' A — {b, cbb, ab, c) B — {bbc, b, a, bc). Pro lepší představu si instanci PKP můžeme znázornit jako kostky domina Řešením uvedené instance PKP je posloupnost 3,1,2,1,2,4 protože x3xix2xix2x4 — yzy\y2V\V2y^ — abbcbbbcbbc. Opétpro lepší představu uvádíme i graňckou prezentaci 3 1 2 1 2 4 Uvedená posloupnost není jediným řešením daného případu; jsou jím např. i posloupnosti 3,1,2,1,2,1,2,4 a 3,1,2,1,2,4,3,1,2,1,2,4 a další. 144 KAPITOLA 5. NEROZHODNUTELNOST Otázka 5.15. Kolik řešení má instance PKP z předcházejícího problému ? Příklad 5.16. Mějme instanci PKP, danou seznamy A, B nad abecedou {0,1} takto: A — (01,001,11) B — (10,00,011). Hledané řešení by muselo začínat indexem 2, protože dvojice xi,yi atéžx^,y^ se liší v již prvním symbolu (přesněji: v žádné z těchto dvojic není jedno ze slov předponou druhého). Tím máme 0 0 0 0 Ze seznamu B musíme nyní vybrat slovo, které začíná symbolem 1. Jedinou možností je slovo 10. Dostáváme 0 0 l) 0 0 0 fl 0 a to je situace shodná s předcházející. Proto tato instantce PKP nemá řešení (neexistuje konečná posloupnost čísel požadovaných vlastností). Jsme tedy schopni pro některé konkrétní případy rozhodnout, zda mají řešení. Jak ovšem uvidíme, nelze napsat algoritmus, který by pro libovolnou instanci PKP rozhodoval, zda má či nemá řešení. Iniciální Postův korespondeční problém Našim cílem je dokázat, že Postův korespondenční problém není rozhodnutelný. Použijeme metodu redukce a sestrojíme redukci problému příslušnosti pro TM (věta 5.3) na PKP. Protože sestrojit hledanou redukci přímo je poměrně (technicky) náročné, zjednodušíme si celý problém následovně. Definujeme iniciální Postův korespondenční problém (zkráceně inPKP) a prokážeme, že pokud je inPKP nerozhodnutelný, tak i PKP je nerozhodnutelný. Pak dokážeme, že inPKP je nerozhodnutelný. Rozdíl ve formulaci inPKP a PKP je v tom, že u iniciálního Postova problému se pro danou instanci (A, B) ptáme, zda má řešení začínající číslem 1. Přesněji, instance (A, B) iniciálního Postova korespondečního problému má řešení právě když existuje posloupnost přirozených čísel íi, í2, ■ ■ ■ ík, k > 0, taková, že x\Xií Xi2 ■ ■ ■ Xik — ViVii Vi2 '' ' Vik ■ Příklad 5.17. Iniciální Postův korespondeční problém pro seznamy A, B z příkladu 5.14 má řešení 122, protože x\X\x2x2 — y\y\y2y2 — bbcbbcbb. Lemma 5.18. Z nerozhodnutelnosti iniciálního Postova korespondečního problému plyne nerozhodnutelnost Postova korespondečního problému. Důkaz. Předpokládejme, že PKP je rozhodnutelný. Dané instanci (A, B) inPKP přiřadíme instanci (C, D) PKP tak, že (A, B) má řešení právě když (C, D) má řešení. Z rozhodnu-telnosti PKP by tedy plynula i rozhodnutelnost inPKP. 5.6. POSTŮV KORESPONDENČNÍ PROBLÉM 145 Nechf tedy seznamy A — xi,... ,xn a B stancí iniciálního Postova problému. Dále nechf S cedy E. Zavedeme homomorfismy h^, hR : E* yi,... ,yn nad abecedou E jsou in-) jsou dva symboly nepatřící do abe-E* U {$, 4>} definované předpisem: def h l (a) Položme def 4>a, hR(a) — a pro všechna a G E (s přirozeným rozšířením ze E na E*). Xi = (ph^xx) Yx = hL(y1) Xl+1 = hR(xi) Yi+i = hL(yi) Xn+2 — $ Yn+2 — Seznamy C a D nyní vytvoříme takto: pro 1 < i < n C=(*l , Xn+2) D = hR(x1xll ■ --xlk)% = hL(y1yH ■ ■ - ylk)(t>%, je posloupnost 1, (íi + 1),... (í]~ + 1), n + 2 řešením instance (C, D) PKP. 2. =^>: Nechf řešením instance (C, D) PKP je posloupnost ji, j2, ■ ■ ■, jk- Pak nutně musí být ji — 1 a j]„ — n + 2. Řešením instance (A, B) inPKP pak bude například posloupnost (j2 — 1),..., (ji — 1), kde l je nejmenší takové číslo, že ji+i — n + 2. Nutnost volby l je dána faktem, že dvojice Xn+2, Yn+2 nemá v (A, B) žádný vzor. □ Příklad 5.19. Redukcí instance {A, B) iniciálního PKP A\-{ ba b b bab B/-\ TT bb 7 abb •t a >C\_( >b b(f>a(f> b (f)b 7 b •t ■ .b. .b dostaneme instanci (C, D) PKP b(f> t>abb b(f>a Řešení2,4,2 instance (A, B) odpovídá například řešení 1,3,5,3,6 instance (C, D). Poznámka 5.20. Jiná formulace tvrzení uvedeného v lemmatu 5.18 je, že inPKP < PKP. Dokažte, že platí i opačné tvrzení, tj. že PKP < inPKP. Nerozhodnutelnost Postova korespondenčního problému Věta 5.21. Postův korespondenční problém je nerozhodnutelný. Důkaz. Vzhledem k tvrzení lemmatu 5.18 stačí dokázat nerozhodnutelnost iniciálního Postova problému. Sestrojíme redukci problému příslušnosti pro TM (věta 5.3) na iniciální Postův problém: dvojici Turingův stroj T a slovo w tato redukce přiřadí dva seznamy A a B tak, že instance (A, B) inPKP má řešení, právě když stroj T akceptuje slovo w. Nechf T = (Q, E, T, >, U, S, qo,qaccept,qreject), w e E*. Dále předpokládejme, že Q íl T — 0aže)J (É Q U T (nový symbol). Každou konfiguraci (q, z,r) stroje T můžeme jednoznačně reprezentovat řetězcem ziqz2, kde ziz2UíáJ — z a \zi\ — r. V této reprezentaci je pozice hlavy určena umístěním symbolu stavu v řetězci z. Základní idea konstrukce je přiřadit dvojici T, w takovou instanci iniciálního Postova problému, že její 146 KAPITOLA 5. NEROZHODNUTELNOST Seznam A Seznam B I tí ko > wtí II Z í z pro všechna Z ET III pro všechna q G Q \ {qaccept}, p e Q, x, Y, z e r qX Yp jestliže 5(q, X) = (p, Y, R) ZqX pZY jestliže S(q,X) — (p,Y,L) é Yp% jestliže 5(q, U) = (p, Y, R) Zq$ pZY$ jestliže S(q, U) — (p, Y, L) IV Z qaccept Qaccept pro všechna Z ET QacceptZ Qaccept pro všechna Z ET v Qaccept^ tí Obrázek 5.7: Redukce problému příslušnosti pro TM na inPKP řešení (posloupnost čísel) určuje slovo jj > qow^aiQiPú ''' tí^fe^accept/Jfetítí takové, žejeho předpona je zápisem akceptujícího výpočtu T na w (za podmínky, že existuje). Seznamy A, B jsou tvořeny slovy nad abecedou £ U T U {jj} tak, jak je uvedeno v tabulce 5.7. Pro lepší pochopení jsou slova seskupena do menších celků. S výjimkou první dvojice (skupina I), která musí být v seznamech na prvním místě, uspořádání zbylých dvojic může být libovolné. Konstrukci nejdříve ilustrujeme na příkladu a až pak prokážeme její korektnost. Příklad 5.22. Prezentovanou redukci ilustrujeme na příkladu stroje T — ({qo ,qi}, {a, b}, {>, U, a, b, A}, D>, U, S, qo, qaccept, Ireject) (S je dána tabulkou 5.1) a slova w — aa. Dvo- D> a A u (q0,>,R) (qi,A,R) (qi,A,L) (^Qaccept ^ A, IV) qi (qreject,>, R) (qo,A,R) (qo,A,L) (qo,u,L) Tabulka 5.1: Přechodová funkce stroje T jici T a w přiřadíme případ (A, B) iniciálního PKP popsaný v tabulce 5.8. Pokusíme se najít řešení této instance PKP. Jako první musíme vzít ze seznamu A slovo (j a ze seznamu B k němu odpovídající slovo ko l> aatí (plyne z deňnice iniciálního PKP). tí ^ŽÔ~~~~>~~~^ Ze seznamu A musíme dále vybírat tak, abychom vytvořili řetěz qo D> aajj. K dispozici 5.6. POSTŮV KORESPONDENČNÍ PROBLÉM 147 Seznam A Seznam B tí too««tí D> D> U U a a b b A tí A tí 90 > >9o 90« Agi >goA 9i > A agoA qiaA Ag0A q\AA Uq0A 9i U A qo U A-Qaccept 90 tí A-Qaccept% 9i> ^Qr eject 9i« Aq0 >9i^ qo> A agiA q$aA Aq\A q\AA UqiA 91 U A >9iU 9o > U agiU go«U AgiU 9oAU U91U 90 U U >9ití 9o >tí «9i tí 9o«tí Aqi$ 9o^tí U9ití 9oUtí ^ qaccept Qaccept dqaccept Qaccept Aqaccept Qaccept ^qaccept Qaccept qaccept^ Qaccept qaccept®* Qaccept qacceptA Qaccept qaccept^ Qaccept qaccept% tí protože ô(q0, D>) = (q0, >, i?) protože 5(<7o, «) = (91, A protože 5(go, ^) = (91, A, L) protože <%o, U) = (g, accept A, R) protože <%!, D>) = (qreject, >, protože a) = (90, A, i?) protože A) — (q0, A, L) protože <%i, U) = (g0, U, Ľ) Obrázek 5.8: Seznamy A a B 148 KAPITOLA 5. NEROZHODNUTELNOST máme slova z druhé a třetí skupiny. Všimněme si, že zatímco první slovo jsme prodloužili o řetěz qo D> aajj (počáteční konň-gurace T na w), k druhému slovu jsme přidali řetěz \>q0aa§, což je konňgurace, do které přejde T z počáteční konňgurace v jednom kroku výpočtu. Opět tedy musíme k prvnímu slovu přidat \>qoaa§. Podobně postupujeme, dokud nenastane situace Symbol qaCcept ve spodním slově ukazuje, že stroj T by slovo cm akceptoval. Proto bychom měli být schopni najít řešení dané instance iniciálního PKP Skutečně, dvojice ze 4. a 5. skupiny nám umožní, aby se obě slova „srovnala": ...... tt > A A A qaccept] |T| >] A] Ä] qaccept Podobně postupujeme až do úspěšného konce Pokračování důkazu věty 5.21 Máme dokázat, že navržená transformace je redukcí. Re-kursivita je zřejmá. Zůstává ověřit, že Turingův stroj T akceptuje slovo w tehdy a jen tehdy, když k němu přirazená instance iniciálního PKP má řešení. Je-li ((xi,..., x„), (yi,..., yn)) instance iniciálního PKP, pak posloupnost indexů ii,... ,im nazveme částečným řešením této instance, právě když slovo x — x\x^ ■ ■ ■ Xim je preňxem slova y — yiy^ ■ ■ ■ yim. O slovech x a y říkáme, že jsou deňnovány částečným řešením í\,..., im. 5.7. NEROZHODNUTELNÉ PROBLÉMY Z TEORIE FORMÁLNÍCH JAZYKŮ 149 Nechf qo D> w h Migif i h u^q^vz h • • • h ukqkvk je výpočet stroje T na vstupu w a nechf ^ {qaccept, qreject}- Tvrdíme, že pak existuje částečné řešení instance (A, B) definující dvojici slov (x, y), x = foo > wftuiqivift ■ ■ ■ jjMfc-igfc-i^fc-itt y = foo > wjjMigi^itJ • • • jJMfc-igfc-iWfc-ijJMfcgfcWfctt a navíc, že neexistuje žádné jiné řešení definující dvojici slov (c, y) pro žádné c. Uvedené tvrzení lehce dokážeme indukcí vzhledem ke k. Pro k — 0 je tvrzení triviální: jedině prázdná posloupnost čísel definuje dvojici slov (jj, jjrjow). Předpokládejme, že tvrzení platí pro nějaké kažeqk ^ {qaccept, qreject}- Dokážeme, že pak platí i pro k + 1. Protože y — xz, kde z = u^q^v^, tak ze seznamu A musíme vybrat slova tvořící z. Pro symboly Z E T můžeme použít jedině slova ze skupiny II. Pro symbol qi~ a symbol bezprostředně za ním následující resp. předcházející je ve skupině III jediné slovo. Toto slovo spolu se svým protějškem ze seznamu B přirozeným způsobem prezentují krok výpočtu stroje T■ Žádný jiný výběr neumožňuje vytvoření slova z. Tímto dostáváme nové částečné řešení definující dvojici slov (y, yuk+iqk+iVk+i^)■ Lehce nahlédneme, že ukqkvk h uk+1qk+1vk+1. Navíc, jestliže qk+1 = qaCceVu tak jednoduchým způsobem získáme (použitím slov ze skupin IV a V) z tohoto částečného řešení řešení instance (A,B). Tedy existuje-li akceptující výpočet stroje T na vstupu w, pak instance (A, B) iniciálnflio PKP má řešení. Pokud T slovo w neakceptuje, pak (A, B) může mít částečná řešení, která ale definují dvojice slov nestejné délky a není možné je prodloužit na řešení. □ 5.7 Nerozhodnutelné problémy z teorie formálních jazyků Nerozhodnutelnost Postova korespondenčního problému využijeme v následujících úvahách o (ne)rozhodnutelnosti některých problémů týkajících se gramatik Chomského hierarchie. Poznamenáváme jenom, že vzhledem ke známým vztahům mezi gramatikami a automaty, všechna uvedená tvrzení platí stejně i pro odpovídající typ automatů. Problém prázdnosti Je formulován jako úloha pro libovolnou danou gramatiku Q rozhodnout, zda L(Q) — 0. Věta 5.23. Problém prázdnosti pro třídu bezkontextových gramatik je rozhodnutelný. Důkaz. Je obsažen v důkazu věty 3.9. □ Důsledek 5.24. Problém prázdnosti pro třídu regulárních gramatik je rozhodnutelný. Důkaz. Protože každá regulární gramatika je současně bezkontextovou, na rozhodování problému můžeme použít algoritmus navržený pro bezkontextové gramatiky. □ Úvahu použitou v důkazu důsledku 5.24 můžeme lehce zobecnit. Nechf P je problém a S množina jeho instancí. Pak z rozhodnutelnosti problému P pro množinu instnací S plyne 150 KAPITOLA 5. NEROZHODNUTELNOST rozhodnutelnost tohoto problému pro každou množinu instancí S', kde S' C S. Tvrzení nemusí platit pro množinu instancí S", kde S" D S, což dokazuje následující věta. Věta 5.25. Problém prázdnosti pro třídu kontextových gramatik je nerozhodnu telný. Důkaz. Navrhneme redukci komplementu Postova korespondenčního problému na problém prázdnosti pro kontextové gramatiky. Komplement PKP není rozhodnutelný (kdyby byl, tak podle věty 4.16 i PKP by byl rozhodnutelný). Redukce přiřadí seznamům A, B kontextovou gramatiku Q takovou, že instance (A,B) nemá řešení tehdy a jen tehdy, když gramatika Q generuje prázdný jazyk. Vyjdeme z poznatku, že daná instance A — (x\,..., xn), B — (yi,..., yn) PKP nad abecedou E buď nemá žádné řešení, nebo jich má nekonečně mnoho. Uvažme jazyky La a Lb nad abecedou E U {(j, 1,..., n} (předpokládáme E n J, 1,..., n} — 0); La - { Xn ■ ■ ■ Xi Ji k ■ ■ ■ h I 1 < ij < n pro j = 1,..., k} ĹB-iVn--- Vi Ji k ■■■h I 1 < ij < n pro j — í, ... ,k}. Průnik těchto dvou jazyků La H Lb obsahuje právě ta slova u$v, pro která v — ík ■ ■ ■ i\ a posloupnost íi,..., ík je řešením instance (A, B) Postova problému. Lehce ověříme, že jazyky La a Lb jsou kontextové (jsou dokonce determininistické bezkontextové), a tedy i jejich průnik La H Lb je kontextový jazyk (věta 4.25). Nechť Q je kontextová gramatika generující jazyk La H Lb- Hledaná redukce přiřadí instanci (A, B) gramatiku Q. □ Důsledek 5.26. Problém prázdnosti pro třídu gramatik typu 0 je nerozhodnutelný. Důkaz. Z rozhodnutelnosti problému pro třídu gramatik typu 0 by plynula i rozhodnutelnost problému pro třídu kontextových gramatik, což je spor. □ Použitou úvahu můžeme opět formulovat obecně: z nerozhodnutelnosti problému P pro množinu instancí S plyne nerozhodnutelnost tohoto problému pro každou množinu instancí S', kde S' ~D S. Problém příslušnosti Je formulován jako úloha rozhodnout pro libovolnou danou gramatiku Q a libovolné dané slovo w, zda w G L(Q). S tímto problémem jsme se setkali již jednou (věta 5.3) a víme tedy, že pro gramatiky typu 0 je nerozhodnutelný. Z lemmatu 4.21 plyne, že ke každé kontextové gramatice je možné zkonstruovat ekvivalentní úplný Turingův stroj, a proto problém příslušnosti pro kontextové gramatiky je rozhodnutelný. Problém konečnosti Je formulován jako úloha pro libovolnou danou gramatiku Q rozhodnout, zda jazyk L(Q) je konečný. Věta 5.27. Problém konečnosti pro bezkontextové gramatiky je rozhodnutelný. Důkaz. Tvrzení je důsledkem lemmatu o vkládáni pro CFL (věta 3.24). Jazyk L(Q) je nekonečný tehdy a jen tehdy, když obsahuje slovo z délky p < \z\ < p + q. □ 5.7. NEROZHODNUTELNÉ PROBLÉMY Z TEORIE FORMÁLNÍCH JAZYKŮ 151 Věta 5.28. Problém konečnosti pro kontextové gramatiky je nerozhodnutelný. Důkaz. Důkaz tvrzení je obsažen v důkazu věty 5.25. Stačí si uvědomit, že jazyk La <~)Lb obsahuje právě slova odpovídající řešením PKP, a tedy je buď prázdný (PKP nemá řešení), nebo nekonečný (PKP má řešení, tedy jich má nekonečně mnoho). □ Další nerozhodnutelné problémy Nerozhodnutelnost budeme opět dokazovat redukcí z PKP resp. komplementu PKP. Využijeme označení zavedené v důkazu věty 5.25, tj. seznamy A — (x\,..., xn), B — (yi,..., yn) nad abecedou E tvoří instanci PKP, E n {(j, 1,..., n} — 0. K nim jsou přiřazeny jazyky def La = { xn ■ ■ ■ Xijik ■ ■ ■ h | 1 < i j < n pro j = 1,..., k} def Lb = { Vii ■ ■ ■ ViSk ■ ■ ■ k I 1 < ij < n pro j = 1,..., k}. jejichž průnik je neprázdný, právě když instance (A, B) má řešení. Navíc definujeme jazyky La,b a S předpisem L a,b — L a ■ {)!} • LB S ^ {uMvV I u eT,*,v e {!,...,n}* }. Otázka 5.29. Sestrojte deterministické zásobníkové automaty akceptující jazyky L a,b a S. Vlastnosti definovaných jazyků popisují následující tři lemmata. Lemma 5.30. Instance (A, B) Postova problému má řešení, právě když La,b n S ^ 0 Důkaz. Předpokládejme, že posloupnost čísel íi,..., ík je řešením instance (A, B). Tato posloupnost určuje slova ueSaue La,b, přičemž u — x^--- xik$ik ■ ■ ■ ■ ■ ■ ik%xlk ■■■xil v = xh- ■■xlJík ■ ■ -zijjzi • ■ -ifcttyifc ■■■Vn- Protože ii,... ,ik je řešením instance (A,B),jexi1 ■ ■ • Xik — y^ ■ ■ -yik a následně m — v. Jazyk L a,b H S je tedy neprázdný. Opačná implikace se dokáže analogicky. □ Lemma 5.31. Jazyk co-(La,b n S) je bezkontextový. Důkaz. Vyjděme ze vztahu co-(La,b Cí S) — co-La,b U co—S. Protože jazyk La,b je deterministický bezkontextový (5.29), je i jazyk co-(La,b) deterministický bezkontextový (věta 3.82). Analogicky pro jazyk S. Tvrzení lemmatu plyne z uzavřenosti třídy bezkon-textových jazyků vůči operaci sjednocení (věta 3.58). □ Lemma 5.32. Jazyk La,b H S je bezkontextový tehdy a jen tehdy, když je prázdný. 152 KAPITOLA 5. NEROZHODNUTELNOST Důkaz. Pro danou instanci (A, B) Poštová problému obsahuje (podle lemmatu 5.30) jazyk L a g n S právě slova odpovídající řešením instance (A, B). Protože každá instance PKP buď nemá žádné řešení nebo jich má nekonečně mnoho, tak i jazyk La,b H S je buď prázdný anebo nekonečný. Pokud La,b H S je prázdný, tak je triviálně bezkontextový (ba dokonce regulární). Abychom ukázali obrácenou implikaci, předpokládejme, že L a,b H S je neprázdný a že je bezkontextový. Pro každý bezkontextový jazyk platí lemma o vkládání (věta 3.24). Tedy i pro L a,b H S musí existovat dvě konstanty p, q takové, že každé slovo z e {La,b H S) délky větší než p lze napumpovávat (existence takovéhoto slova plyne z nekonečnosti jazyka La,b n S). Zvolme slovo z e L, z = xlx ■ ■ ■ x,Jík ■ ■ ■ ■ ■ ■ ík$ylk ■■■yil, kde k > q. Toto se musí se dát rozdělit na pět částí u,v,w,x,y tak, aby m^ea \vwx\ < q. Pro žádné z možných rozdělení však neplatí uv2wx2y e (La,b H S), což je spor. Jazyk L a,b H S je tedy bezkontextový jedině tehdy, když je prázdný. □ Jako přímý důsledek právě uvedených tří lemmat dostáváme toto tvrzení: Věta 5.33. Pro libovolnou danou bezkontextovou gramatiku Q a libovolnou danou regulární množinu R je nerozhodnutelné určit, zda (a) L(Q) = R (b) L{9) D R Důkaz, (a) Stačí za R zvolit (e U {jj} U {1,..., n})* a za Q bezkontextovou gramatiku generující jazyk co—(La,b H S). Podle lemmatu 5.30 je co—(La,b H S) — R právě když instance (A, B) PKP nemá řešení. (b) Ukážeme, že inkluze L(Q) C i? je snadno rozhodnutelná. Kdyby byla rozhodnutelná i inkluze uvedená v (b), pak bychom uměli rozhodovat i rovnost, což je spor s bodem (a). K rozhodnutelnosti inkluze L(Q) C i? si stačí uvědomit, že L(Q) C R ^=4> L(G) H co—R — 0 a jazyk L(Q) n co-R je bezkontextový. □ Důsledek 5.34. (a) Pro libovolnou danou bezkontextovou gramatiku Q s terminálni abecedou Y. je nerozhodnutelné určit, zda L(Q) — £*. (b) Pro dvě libovolné dané bezkontextové gramatiky Q\ a Q\ je nerozhodnutelné určit, zda L(Gi) = L(Q2) resp. zda L(Q{) D L{Q2). Věta 5.35. Pro dvě libovolné dané bezkontextové gramatiky Q\ a Q2 je nerozhodnutelné určit, zda (a) L(Qi) n L (Q 2) Je bezkontextový jazyk, (b) co-L(Qi) je bezkontextový jazyk, (c) L(Qi) je regulární jazyk (či ekvivaletně: jazyk L(Qi) nemá vlastnost sebevložení). Důkaz, (a) Stačí zvolit bezkontextové gramatiky Q\ a Q2 tak, aby L(Qi) — L a,b a L(Q2) — S a aplikovat lemma 5.32. (b) Zvolme bezkontextovou gramatiku Qi tak, aby L(Qi) — co-(La,b H S). Tvrzení je pak důsledkem lemmatu 5.32. 5.7. NEROZHODNUTELNÉ PROBLÉMY Z TEORIE FORMÁLNÍCH JAZYKŮ 153 (c) Provedeme volbu jako v předcházejícím případě. Jazyk L(Qi) je regulární, právě když je roven (E U {$} U {1,..., n})*. Jazyk co-(La,b H S) je regulární, právě když La,b H 5 je regulární, a to je (podle lemmatu 5.32) tehdy a jen tehdy, když instance (A, B) PKP nemá řešení. □ Věta 5.36. Pro libovolnou danou bezkontextovou gramatiku Q je nerozhodnutelné určit, zdaje víceznačná. Důkaz. Nechf (A, B) je libovolná instance Postova korespondenčního problému nad E, A — (xi,..., xn), B — (yi,..., yn). Bez újmy na obecnosti můžeme předpokládat, že En{l,...,n} = 0 a )J ^ E. K této instanci nyní sestrojíme bezkontextovou gramatiku Q — (N, E U {1,..., n} U {jj}, P, S) s množinou pravidel P '. S —y S\ | S2 I (j pro všechna 1 < i < n S2 —>• ViSii I )J pro všechna 1 < i < n Zřejmě gramatika Q je víceznačná tehdy a jen tehdy, když instance (A, B) Postova kore-spondečního problému má řešení. □ Přehled rozhodnutelných a nerozhodnutelných problémů týkajících se tříd jazyků Chomského hierarchie je obsažen v následující tabulce5. Symbol R (resp. N) značí, že problém je rozhodnutelný (resp. nerozhodnutelný). V případě, že vlastnost je splněna pro všechny instance problému, je na odpovídajícím místě v tabulce ano. R DCF CF CS Je L(Q) prázdný? konečný? R R R N N N JeL(g) = E*? R R N N N N Je L(Q) — Rl (i? je regulární množina) R R N N N N JeL(0i) = L(02)? R R N N N N JeL(0i) 2 L{Qi)1 R N N N N N Je L(Q) regulární jazyk? ano R N N N N Je průnik dvou jazyků jazyk téhož typu? ano N N ano ano ano Je sjednocení dvou jazyků jazyk téhož typu? ano N ano ano ano ano Je komplement jazyka jazyk téhož typu? ano ano N ano ano N Je zřetězení dvou jazyků jazyk téhož typu? ano N ano ano ano ano Je gramatika Q víceznačná? R N N N N N 5. Ne všechny výsledky jsou dokázány v tomto učebním textu.