Masarykova univerzita
Fakulta informatiky
}w¡¢£¤¥¦§¨!"#$%&123456789@ACDEFGHIPQRS`ye|
Automatická extrakce
slovesných idiomů z korpusu
Diplomová práce
Jan Bušta
Brno, 2012
Prohlášení
Prohlašuji, že tato práce je mým původním autorským dílem, které jsem
vypracoval samostatně. Všechny zdroje, prameny a literaturu, které jsem
při vypracování používal nebo z nich čerpal, v práci řádně cituji s uvedením
úplného odkazu na příslušný zdroj.
Jan Bušta
Vedoucí práce: Mgr. Miloš Jakubíček
Poděkování
Děkuji vedoucímu práce Mgr. Miloši Jakubíčkovi za jeho cenné rady
a podněty při vypracovávání práce. Dále děkuji docentu Petru Sojkovi za
pomoc při získávání podkladů k vypracování této práce, kolektivu z Centra
zpracování přirozeného jazyka za inspiraci a připomínky k mé práci. Zvláště
bych chtěl poděkovat své rodině, která mi byla oporou.
Shrnutí
Práce se zabývá porovnáním algoritmů pro automatickou extrakci idiomatických
frází z korpusu, zkoumá různé přístupy pro řešení problému
a do českého jazykového prostředí implementuje algoritmus A. Fazlyho a
S. Stevensonové, který se zakládá na lexikální a syntaktické pevnosti vazeb
v idiomech, které jsou tvořeny tranzitivním slovesem a jeho přímým
předmětem.
Abstract
This thesis describes comparison of algorithms for automatic extraction
of idiomatic phrases from corpora, compare different approaches and implementing
the algorithm of A. Fazly and S. Stevenson into Czech language
environment. This algorithm is based on lexical and syntactical fixedness of
binding in idioms, which are composed from transitive verb its direct object.
Klíčová slova
idiom, automatická extrakce, korpus, český jazyk, type-based, zpracování
přirozeného jazyka
Keywords
idiom, automatic extraction, corpus, Czech language, type-based, natural
language processing
Obsah
Úvod 8
1 Východiska 9
1.1 Motivace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Vymezení pojmů . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 Idiom . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 Automatická extrakce . . . . . . . . . . . . . . . . . . 10
1.2.3 Korpus . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.4 VerbaLex . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.5 SČFI . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Implementace 13
2.1 Popis algoritmu . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 PMI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3 Fixnost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3 Vyhodnocení 19
3.1 Lexikální fixnost . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 Syntaktická fixnost . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3 PMI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.4 Celkové zhodnocení . . . . . . . . . . . . . . . . . . . . . . . . 29
4 Další vývoj 32
Závěr 34
Literatura 36
Přílohy 37
A Verb-noun idiomy v rámci jazyka 38
B Syntaktická fixnost v korpusu czes 39
C CD s implementací 40
7
Úvod
Idiomy – víceslovná spojení, která jsou v běžné řeči používána, ale počítač
si s jejich významem neporadí.
Je možné idiomy automaticky detekovat? Lze použít nástroje, které
fungují na jiných jazycích? Jsou vyextrahované fráze idiomatické? Jsou
zařazeny ve Slovníku české frazeologie a idiomatiky?
Na tyto otázky se snaží práce odpovědět.
Práce se skládá z části, která se zabývá potřebou automatické extrakce
a vymezením pojmů, následuje popis implementace vybraného algoritmu a
podstatná část je věnována vyhodnocení dat.
Součástí práce je také implementace algoritmu pro extrakci idiomů ve
tvaru tranzitivní sloveso – přímý předmět.
8
Kapitola 1
Východiska
1.1 Motivace
Komunikace člověka a počítače v přirozeném jazyce – cíl snažení nemalého
počtu lidí zabývajících se počítačovým zpracováním přirozeného jazyka na
celém světě. Při cestě k tomuto cíli narážíme na celou řadu problémů, které
se postupně snažíme řešit.
Automatická extrakce slovesných idiomů z korpusu je jedním z těch
problémů, který se naskýtá k řešení. Zpracování idiomů je problematické
právě proto, že jsou povětšinou jazykově závislé (nelze je překládat) a tvoří
odlišný význam než jednotlivá slova, z nichž je idiom utvořen. Toto porušení
principu kompozicionality vede k nesprávné automatické interpretaci, a proto
je třeba vědět, které z frází jsou interpretovatelné a které vystupují jako
sémanticky odlišné jednotky.
Druhou motivační větví je snaha o pomoc lexikografům sestavujícím
slovníky českých idiomů, frazeologismů a víceslovných vyjádření. Automatická
extrakce idiomatických frází přináší možnost aktualizace slovníků v „reálném
čase“. Očekávaný výsledek není slovníkem české idiomatiky, ale pomůcka
k jeho tvorbě.
Pro automatické vyhledávání frází, které se zdají být idiomem, existuje
řada přístupů a algoritmů, nicméně v českém jazykovém kontextu se tento
problém víceméně neřeší. Proto porovnání postupů, které relativně dobře
fungují pro angličtinu, a implementace některého z nich přináší další posun.
1.2 Vymezení pojmů
1.2.1 Idiom
Idiomy se řadí do kreativní části jazyka, která je intelektuální nástavbou
jazyka běžného. Pro úplnou komunikaci mezi lidmi je tato část postradatelná,
nicméně kulturně, sociálně i emočně důležitá. Humor, poezie, ironie, metafory
9
a další jevy, které jsou součástí kreativního jazyka, neslouží k primární funkci
jazyka – dorozumění.
I přes to, že idiomy (kreativní část jazyka) mají až druhotnou jazykovou
funkci, se v jazyce nezřídka objevují a je s nimi nutno počítat i v počítačovém
zpracování přirozeného jazyka.
Při pokusu o definici idiomu narážíme na problém plně uchopit celou
šíři idiomatických frází, nicméně za základní definici idiomu je v této práci
považován popis F. Čermáka, který pro výběr frazémů a idiomů do SČFI
používá „takové vymezení frazému, které za něj považuje každou ustálenou
kombinaci alespoň dvou slovních forem téhož nebo různých slovních druhů,
pro než je příznačné to, že aspoň jeden z jejích komponentů se v daném
významu a funkci kombinuje pouze s jedním komponentem dalším nebo
s několika málo dalšími“.[4] I on však připouští, že tato i jiné definice nedokáží
plně obsáhnout všechny typy idiomů. [3]
Idiomy lze rozdělit do několika skupin a podskupin. Základní dělení
je založeno na přítomnosti či nepřítomnosti slovesa ve frázi – slovesné a
neslovesné idiomy. Neslovesné idiomatické fráze vyskytující se ve větách pak
sekundárně tvoří slovesné idiomy, protože jsou navázány na řídící sloveso
(mrtvý brouk → dělat mrtvého brouka). Dochází zde ke změně skupiny idiomu,
ale význam fráze zůstává neměnný. V rámci slovesných idiomů lze vyčlenit
několik podskupin podle toho, jaký slovní druh se ke slovesu váže.
Ze skupiny slovesných idiomů ve tvaru sloveso – podstatné jméno lze
speciálně vyčlenit ty fráze, kde je příslušné sloveso tranzitivní, tj. lze jej
pasivizovat. Na základě podmínek zkoumaných algoritmů pro automatickou
extrakci idiomů, byly tyto vymezené idiomatické fráze základem výzkumu
obsaženého v této práci.
1.2.2 Automatická extrakce
Pro extrakci idiomatických frází z textového korpusu lze použít v zásadě
dvě metody:
• token-based extraction – extrakce založená na slovech (tokenech) a
jejich významech
• type-based extraction – extrakce založená na struktuře jednotlivých
typů idiomů, tato práce se věnuje slovesným idomům, složeným
z podstatného jména a tranzitivního slovesa
Oba přístupy mají své výhody i nevýhody. Token-based extrakce je závislá
na prvotním výběru klíčových slov, je jazykově závislá, na druhou stranu
jde napříč všemi typy idiomů. Type-based extrakce nepotřebuje mnoho
lingvistických informací pro své použití, abstraktní algoritmy lze lépe převádět
do jiného jazyka, nevýhodou je postihnutí idiomů pouze určité struktury, což
je ale vhodné pro počítačové zpracování.
10
1.2.3 Korpus
Při extrakci idiomů byly použity korpusy SYN2000c[16] (114 363 813
tokenů) a czes[10] (465 102 710 tokenů), který vznikl v rámci Centra zpracování
přirozeného jazyka na Fakultě informatiky. Oba dva jsou morfologicky
označkované, proto dovolují vyhledávání nejen podle tokenů, ale i podle jejich
vlastností (slovní druh, pád aj.). Toho bylo využito při doplňování předmětu
ve 4. pádě k tranzitivním slovesům a vyhledávání modifikátorů objektu.
Korpusy SYN2000c i czes jsou sice oba značkované, ale každý používá
jinou značkovací sadu – pro morfologické značkování SYN2000c byl použit
poziční systém[8], pro czes bylo použito morfologického analyzátoru ajka[15],
která používá atributové značky. Kvůli těmto odlišnostem bylo zapotřebí
modifikovat algoritmy pro každý z korpusů.
1.2.4 VerbaLex
Tranzitivní (přechodná) slovesa, slovesa s akuzativní vazbou (přímý
předmět)[11], která jsou zapotřebí pro algoritmus implementovaný v rámci
této práce, byla získána z VerbaLexu[9] – slovníku českých valenčních rámců.
Ve VerbaLexu jsou slovesa uspořádána v synsetech (synonymich množinách)
a jsou zasazena do rámců. Tyto rámce popisují valenční strukturu příslušného
slovesa. Mimo to obsahuje slovník také různé další informace o slovese, mimo
jiné i informaci o možnosti převedení od pasiva. Slovesa mající pasivní tvar
jsou tranzitivní, proto byl tento údaj použit pro jejich extrakce.
Součástí této práce je také program na extrakci tranzitivních sloves
z VerbaLexu, který z 6 249 synsetů vyextrahoval 5 803 tranzitivních sloves.
1.2.5 SČFI
Slovník české frazeologie a idiomatiky je nejkomplexnější soubor idiomů
(frazémů), které se v českém jazyce vykytují. V této práci je důležitou
pomůckou při vyhodnocování, pro nějž byl použit díl Výrazů slovesných
v elektronické podobě, ve které jsou vyznačené hlavy idiomatických frází.
Extrakce slovníkových hesel nebyla díky syntaktickému popisu problémem,
ale ten nastal až u expanze některých frází.
Ve slovníku se vyskytuje například líčit/malovat/vylíčit něco černými
barvami/v černých barvách/černě. Uživatel jazyka pozná, jaké má tato položka
alternace:
• líčit něco černými barvami
• malovat něco černými barvami
• vylíčit něco černými barvami
• líčit něco v černých barvách
11
• malovat něco v černých barvách
• vylíčit něco v černých barvách
• líčit něco černě
• malovat něco černě
• vylíčit něco černě
Na druhou stranu, máme-li víceslovné alternující se fráze, nemůžeme při
automatické expanzi určit, které to jsou. Mezi špatně expandováné fráze
patří především ty, které obsahují alternativy se zvratnými se a si.
U jednoslovných alternací tento problém nenastává, protože můžeme určit
začátek a konec slova.
12
Kapitola 2
Implementace
Pro extrakci idiomatických frází byl implementován přístup popsaný
v článku Fazlyho a Stevensonové (dále FS)[6], který se zakládá na bodové
vzájemné informaci (pointwise mutual information, dále jen PMI).
Ve srovnání s jinými algoritmy1[1] umožňuje zvolený své přenesení do
prostředí dalších jazyků. Algoritmus použitelný pro angličtinu rozhodně
nezaručuje, že jeho výsledky budou akceptovatelné i v jiném jazyce.
2.1 Popis algoritmu
Motivací pro implementovaný postup je hypotéza, že čím víc nabývá fráze
specifického (idiomatického) významu, tím je v jazyce stabilnější (fixovaná).
Tato domněnka souvisí i s definicí idiomu uvedenou dříve. Abnormalita
slovního spojení je ukazatelem svébytného víceslovného výrazu (multi-word
expression, MWE).
FS se věnují dvěma odlišným charakteristikám idiomů v angličtině –
lexikální a syntaktické pevnosti vazby. Navrhují pro určení lexikální pevnosti
vazby použít místo PMI raději fixnost, která je sice na PMI založena, ale dává
přehled o tom, jak se hledaná fráze odchyluje od svých možných alternativ.
Prvním krokem je pro FS extrakce seznamu párů podstatné jméno –
– (tranzitivní) sloveso z korpusu (< v, n >), pro postup popsaný v této práci
ale bylo nutné vytvořit nejprve seznam tranzitivních sloves. Seznam těchto
sloves byl získán z VerbaLexu vybráním sloves, která umožňují pasivizaci
(tím je zaručena tranzitivita a přímý předmět).
V následujícím příkladu z VerbaLexu určuje položka =canbepassive:
yes tranzitivitu obou sloves rozmlátit, rozfláknout, rozflákat, rozbít a rozbíjet.
U některých synsetů mohou být tranzitivní jen některá slovesa, v tom
případě jsou explicitně vyjmenována.
1
Algoritmus navržený C. Bannardem používá pro extrakci svůj vlastní parser a až na
základě syntaktické analýzy umožňuje další zpracování kandidátských frází.
13
* ROZMLÁTIT:1, ROZFLÁKNOUT:1(ROZFLÁKAT), ROZBÍT:6(ROZBÍJET)
=wnid: CZE30-84870309-v
=wnilr type=hypernym: ENG20-01375586-v
=def: ublížit na zdraví
=canbepassive: yes
=meaning: I
=class: spank-18.3
~ ned: rozbíjet:6 dok: rozbít:6 ned: rozflákat:1 dok:\
rozfláknout:1 dok: rozmlátit:1
+ AG(kdo1;<person:1>;obl)+++VERB+++PAT(komu3;<person:1>;obl)\
+++PART(co4;<body part:1>;obl)
-synon:
-example: dok: rozflákám mu hubu
-occurs: not-verbalex
-attr: use=fig, reflexivity=no, mustbeimperative=no
Příklad 1: Data ve VerbaLexu.
Ze získaných tranzitivních sloves byly následně vytvořeny dotazy CQL
pro korpusový manager Manatee[14], který v korpusu vyhledá konkordance.
Konkordance začíná přechodným slovesem následovaným žádným až dvěma
přídavnými jmény nebo zájmeny (modifikátory podstatného jména). Na
konci konkordance je podstatné jméno ve 4. pádě.
[lemma="<trans_verb>"]
[tag="P.............."|tag="A.............."]{0,2}
[tag="N...4.........."]
Příklad 2: CQL dotaz pro vyhledání základních konkordancí v korpusu
SYN2000c.
Výsledkem dotazů bylo celkem 1 479 474 kolokací, ze kterých byly odstraněny
ty, jejichž frekvence byla menší než 5 v celém korpusu. Mezi nejčetnější
patří fráze se slovesem mít, které se v korpusu SYN2000c vyskytují více než
170 000krát, což odpovídá 11,6 %. Po této filtraci se nadále pracuje se 45 382
jedinečnými spojeními < v, n > (tranzitivní sloveso s přímým předmětem),
množinu s tranzitivními slovesy označme V.
Konkordance posloužily k získání seznamu podstatných jmen, která se
vyskytují jako přímý předmět. FS dále zkoumají, jaká synonyma mají jména
v přímém předmětu a budují množiny podobných jmen.
V tomto místě se implementovaný algoritmus liší, protože místo synonymických
řad vytváří množiny Tn za pomocí distribučního thesauru[12].
Zvolený přístup vychází z předpokladu, že fráze, je-li fixní, nedovoluje použití
synonymických náhražek stejně jako thesauru.
14
frekvence počet
1 341 913
2 67 087
3 26 486
4 14 584
5–9 25 614
10–99 18 760
100–199 649
200–499 269
500–999 59
>1000 31
Tabulka 2.1: Frekvence kolokací a jejich počet – SYN2000c.
frekvence kolokace frekvence kolokace
4479 mít zájem 1392 mít cena
4329 mít možnost 1324 věnovat pozornost
4024 mít pocit 1246 dát přednost
3826 mít právo 1242 podepsat smlouva
3202 mít pravda 1240 mít nárok
3102 mít šance 1216 mít chuť
2431 mít smysl 1215 mít radost
2379 mít problém 1204 mít důvod
2212 mít vliv 1157 řešit problém
2097 dávat přednost 1146 mít peníze
2087 mít strach 1106 projevit zájem
2071 hrát role 1075 mít zkušenost
1898 mít čas 1052 mít štěstí
1607 mít význam 1047 otevřít dveře
1551 mít dojem 1036 dávat pozor
Tabulka 2.2: Nejfrekventovanější kolokace tranzitivní sloveso – přímý objekt.
15
thesdump
Pro vytvoření množin zaměnitelných slov byl implementován výpis korpusového
thesauru[12] za pomocí programu thesdump, který na vypíše
thesaurus pro zadané lemma a určení slovního druhu (lempos). Mezi volby
patří omezení maximálního počtu thesaurových položek a filtrace podle
zadaného minimálního skóre.
Program thesdump spolupracuje na výpisu thesauru s korpusovým managerem
Manatee[14] a může být i nadále využíván mimo rozsah této práce.
Pro každý pár < v, n > se bude algoritmus dotazovat korpusu na frekvenci
< v, nj >, kde nj je z Tn. Tímto krokem je vytvořena funkce f(v, nj), která
udává frekvenci jednotlivých alternativ potenciálního idiomu < v, n >.
Je-li frekvence < v, nj > alespoň 1, přidáme nj do množiny podstatných
jmen v přímém předmětu N. Frekvence výskytu jednotlivých podstatných
jmen napříč extrahovanými frázemi definuje funkci f(∗, nj), jejímž výstupem
je počet výskytů podstatného jména nj v přímém předmětu jakéhokoli slovesa
z množiny V.
Obdobným způsobem je definována také funkce f(v, ∗), která udává počet
výskytů slovesa v v kolokaci s přímým předmětem.
2.2 PMI
Výpočet PMI je základem pro určení lexikální pevnosti spojení[6]:
PMI(v, nj) = log
P(v, nj)
P(v)P(nj)
= log
|V × N|f(v, nj)
f(v, ∗)f(∗, nj)
Na základě výše definovaných funkcí se postupně spočítá PMI pro všechny
dvojice < v, nj >.
Spočtením PMI a vyhodnocením pro každou z kandidátských dvojic
končí algoritmus, který popisuje D. Lin[13], FS jdou dále a určují následující:
„Předpokládáme, že cílová fráze je lexikálně fixní na rozdíl od jejích alternativ
a proto se její PMI liší od průměru PMI jejích všech variant.“[6]
2.3 Fixnost
FS definují pro každou dvojici < v, n > její lexikální fixnost takto:
Fixlex(v, n) =
PMI(v, n) − PMI
s
16
V definici se objevuje PMI, což je průměr všech PMI(v, nj), kde nj ∈ Tn
a s je směrodatná odchylka. V návrhu FS se tato fixnost označuje jako
lexikální.
Druhou možností, jak zjišťovat pevnost vazby ve frázi, je fixnost syntaktická,
té se věnuje druhá část postupu FS. Syntaktická pevnost je založena
na třech jevech:[6]
• pasivizace – vyhledanou frázi lze převést do pasiva, přímý předmět se
stává podmětem. Vzhledem k volnému slovosledu v češtině je obtížné
určit větné členy bez syntaktické analýzy. (Dotazy na vyhledávání
výrazů jsou uzpůsobeny pro vyhledávání syntaktické struktury aktiva,
proto je množství vyhledaných pasivních tvarů sloves menší než 0,05
%). Zvolený přístup vyhledávání kolokací neposkytuje dobré možnosti
pro zachycení pasivizace, proto došlo k vypuštění pasivizace jako směrodatného
ukazatele pro pevnost vazby.
• pluralizace – jméno lze převést do plurálu (singuláru). Tato složka
syntaktické pevnosti funguje i pro český jazyk. V idiomu dělat mrtvého
brouka je jméno v singuláru, po převedení do množného čísla dělat
mrtvé brouky je idiom stále rozpoznatelný. Jako protipříklad stojí udělat
provaz (v gymnastice). Spojení udělat provazy si uživatel jazyka spojuje
s „výrobou lan“; ale i zde je možnost, že se jedná o mnohonásobně
provedený gymnastický úkon. Petra udělala tři provazy hned za sebou.
Převedení ať již idiomatické, či neidiomatické fráze do množného čísla
se stejně jako pasivizace nezdá být dostatečným vodítkem pro určení
idiomu.
• typ členu – jeden z hlavních indikátorů při odhalování idiomatických
frází v angličtině[7], ale je naprosto nepřenositelný do českého jazykového
prostředí, jež je na členy skrovné. Člen v angličtině určuje
podstatné jméno, podobnou funkci mají i přídavná jména a zájmena
(intersegment). Této vlastnosti lze využít.
Pro češtinu bude použita informace o tom, zda je předmět rozvinut, či
nikoli, resp. jestli má nějakou pevnou formu (žádný, jeden či dva modifikátory).
Syntaktická fixnost bude poměr počtu výskytů nejčastější variace k celkovému
počtu výskytů.
Fixsyn(v, n) =
max(f(v, n), f(v, d, n), f(v, d, d, n))
f(v, n), f(v, d, n), f(v, d, d, n)
Funkce f(v, n) vrací počet výskytů fráze bez intersegmentu, f(v, d, n)
s jedním a f(v, d, d, n) dvěma intersegmenty.
Spojení strkat nos se vyskytuje v kolokacích celkem 56krát z toho 55krát
bez jakéhokoli intersegmentu a jednou ve formě strkat svůj nos.
17
Jak lexikální, tak syntaktická fixnost jsou zdrojem různých seznamů
extrahovaných frází.
Celý postup je implementován v Pythonu a za použití standardních
prostředků unixového prostředí coreutils.
18
Kapitola 3
Vyhodnocení
Pro vyhodnocení byl použit korpus SYN2000c1, přiložený program je
připraven fungovat i na jiných korpusech (czes2).
Generování návrhů idiomatických frází je časově nenáročné (zpracování
dat z celého korpusu zabere řádově hodiny). Obtíže ale nastávají při dotazování
korpusu, korpusový manager pracuje rychlostí přibližně jeden dotaz za
sekundu. To při celkovém počtu 1 216 041 dotazů CQL zabere čas převyšující
14 dní. Tento problém lze odstranit rozdělením dat a následným paralelním
spuštěním manageru. Rychlost zpracování závisí na rychlosti přístupu
k datům a výkonu procesoru.
3.1 Lexikální fixnost
Funkce Fixlex může nabývat hodnost [−∞, ∞][6]. V datech, která byla
zpracována se ale hodnoty pohybovaly buďto [−10, 10], nebo ∞. Výsledek
lexikální fixnosti se blíží nekonečnu, právě když se v korpusu nenalézá pro
n z dvojice < v, n > žádné slovo v thesauru, tj. mohutnost množiny Tn je
nulová. V těchto případech je uměle vložena hodnota 99.
Počet spojení s nejvyšší možnou lexikální fixností (99) se pohybuje kolem
1/4 všech výrazů. Mezi náhodně vybranými sto spojeními s nejvyšší fixností
se vyskytuje podle anotátorů 10 idiomatických frází.
Z deseti označených idiomů se 4 v SČFI nevyskytují, ačkoli v korpusu
projevují svou idiomatičnost, jsou to:
• najít hrob – kde se smrtka s létem snoubí, tam našli muži hrob, tam,
kde je léto symbol zhouby: zemřít
• vidět smrt – Za všemi zdmi jsem viděl smrt: cítit se v ohrožení života
1
Respektive jeho část, odpovídající dotazům pro 929 tranzitivních sloves
2
Extrakce by vzhledem k jeho velikosti trvala příliš dlouho.
19
• nasát vzduch – vyplivne ze sebe, pak nasaje vzduch psychiatrické léčebny
a zvolá: zapamatovat si prostření, asociace s místem
• získat desku – a získat zlatou desku za rekordní prodej nosičů: být
oceněn
V následující tabulce je náhodně vybraných 100 frází, u kterých nedochází
k alternaci předmětu.
Anotace všech vybraných frází probíhala tak, že anotátoři byli seznámeni
s definicí idiomů (kapitola 1), poté každý zvlášť označili, zda fráze může být
idiomatická, či nikoli. Bylo jim také řečeno, že se mezi slovesem a podstatným
jménem mohou vykytovat až dvě slova (zájmena nebo přídavná jména). Fráze
byla označena za idiom, pokud se na ní shodli dva anotátoři.
Ve všech tabulkách jsou idiomy označeny ∗.
Lexikální fixnost – extrahované fráze
znát slabina získat kondice mít koncese
nanést krém nabírat vzduch mít rám
∗ najít hrob ∗ zachránit kůže ∗ zamést stopa
vystřelit světlice zničit úroda vlastnit karta
být mašina zrušit pořadník mít návratnost
mít svědek nastartovat kariéra vybrat kombinace
mít jiskra zatáhnout břicho mít paluba
být výstup mít ambice ∗ vidět smrt
mít opletačka vyhrát poločas mít důstojnost
vmíchat kůra získat výpomoc změnit chod
zlomit odpor nalévat voda mít rozchod
dávat inzerát vytvářet mapa mít království
mít čelo vytvářet semeno mít opice
∗ mít kůže dělat milost zachycovat proměna
získat klíč zastavit voda být mládež
vypálit rána natočit šnyt mít bratranec
∗ najít jmenovatel vmíchat kečup mít obojek
mít střecha nakreslit průběh zavést dýchání
využít přihrávka mít pomocnice zajistit hlas
ztrácet motivace získat pozornost být poprava
zakrýt slunce vidět reportáž zavázat oko
mít protikandidát mít sklep vyřizovat korespondence
∗ mít žaludek zatahovat roleta být Bohler
nabírat kondice vytlačit dav být potrat
brát anabolikum dávat klíč dělat díra
být písmo brázdit hladina zničit játra
vypít voda být natáčení vyřídit pozdrav
∗ nasát vzduch mít inzerát zahájit tradice
20
dodat vitamín vysílat studio mít magnetofon
vyrábět keramika ∗ napsat tečka zhotovit nábytek
mít obočí narušit déšť být tah
zvednout víčko mít postřeh vytěžit kapitál
dělat topič být rekord získat deska
dohodnout podrobnost
Vzhledem k náhodnému výběru frází, které se v korpusu vyskytovaly bez
alternujícího předmětu, lze odhadnout i obsah idiomatických frází ve všech
datech na 10 %.
Zajímavější část dat (slovní spojení, ve kterých je možné nahradit podstatné
jméno n jiným z množiny Tn, která není prázdná) odpovídá 75 %
všech vyextrahovaných frází.
Z anotace 100 nejfixnějších3 extrahovaných frází s možností alternace
přímého předmětu vyplynuly následující dvě tabulky, které uvádějí lexikální
fixnost a frázi.
Lexikální fixnost – extrahované fráze (1. část)
Fixlex fráze Fixlex fráze
3.45 být republika 2.62 dávat obsah
3.33 mít republika 2.60 ∗ znamenat svět
3.21 být pan 2.55 zkontrolovat stav
3.17 žádat pan 2.55 vyšetřovat případ
3.14 vyhlásit republika 2.55 získat vedení
3.09 vyhlásit stav 2.54 vyzvat republika
3.07 vytvořit republika 2.51 vyjádřit obsah
2.96 zabezpečit rodina 2.50 dávat výkon
2.94 využít nabídka 2.49 zachytit pohyb
2.94 zastupovat republika 2.47 navrhnout kandidát
2.89 mít pan 2.46 následovat kolega
2.88 ∗ změnit kurs 2.46 být vedoucí
2.85 čekat republika 2.44 zachránit život
2.83 vnímat svět 2.44 zaplatit cesta
2.82 získat řád 2.43 ztratit schopnost
2.76 napadnout pan 2.43 vyjadřovat stanovisko
2.74 vidět pan 2.42 zřizovat stanice
2.72 ∗ vzít míra 2.42 vyvézt zboží
2.71 vidět cesta 2.41 získávat předmět
2.70 znát pan 2.41 narušit příprava
2.70 ∗ dávat prostor 2.40 napadat myšlenka
3
max(Fixlex)
21
2.66 zhodnotit vystoupení 2.39 citovat pan
2.65 zajistit vedení 2.37 vysvětlit chování
2.65 znamenat vedení 2.36 dohodnout výše
2.63 zrušit poměr 2.36 dát obsah
Stejně jako v případě frází bez možnosti alternace i zde je počet označených
idiomů 10, což odpovídá 10 % extrahovaných frází, je tomu tak, protože
se jedná o dvojice < v, n > se nejvyšší mošnou fixností, při zkoumání dalších
frází se frekvence idiomů zmenšuje.
Lexikální fixnost – extrahované fráze (2. část)
Fixlex fráze Fixlex fráze
2.36 vyvíjet činnost 2.24 zvýšit vedení
2.34 mít konstrukce 2.24 ∗ mít základ
2.34 vytvořit inscenace 2.23 využívat pozice
2.34 vydat osoba 2.22 zpřísnit režim
2.34 ztratit kontrola 2.22 ∗ nastolit otázka
2.32 zobrazovat svět 2.22 začít sezóna
2.32 aktivovat funkce 2.22 vysvětlovat vznik
2.31 být David 2.22 začít myšlenka
2.31 ∗ volit cesta 2.21 nařídit výkon
2.29 zahrnovat pohyb 2.21 znát cesta
2.28 být dopis 2.20 zvládnout řízení
2.28 ∗ znát bratr 2.19 dát odpověď
2.28 ∗ brát míra 2.19 vést žák
2.28 nahradit generál 2.19 zadržet mladík
2.27 ztrácet čas 2.18 živit rodina
2.26 vyslat nemocnice 2.18 vytvořit zisk
2.26 využít hra 2.18 vykládat svět
2.25 dát řád 2.18 dávat smysl
2.25 nabídnout pomoc 2.18 zrušit cesta
2.25 ∗ mít sezóna 2.18 vysvětlovat chování
2.25 zahájit sezóna 2.17 zavést režim
2.25 být porada 2.17 vrátit kurs
2.24 cítit potřeba 2.17 zorganizovat demonstrace
2.24 vybrat manžel 2.17 zbavit funkce
2.24 množit případ 2.17 dělat politika
Ve výše uvedeném seznamu se opět vyskytují fráze označené jako idiomy,
22
které ale nelze nalézt v SČFI:
• změnit kurs – Mezitím však převzal roli vlajkové lodi Lotusu jiný produkt
Lotus Notes, a flotila změnila kurz od kancelářských balíků směrem
k softwarovým nástrojům: přesunout, přesmětovat
• dávat prostor – přičemž nejenže dává prostor pro širší úvahu o fungovaní
vztahu ona a on: umožnit
• znamenat svět – co bylo k vidění na prknech, co znamenají svět: zde se
jedná o část neslovesné idiomatické fráze prkna, která znamenají svět –
jeviště, divadlo
• volit cestu – pořadatel volí jednodušší cestu k úspěchu než v posledních
letech: vybrat si z možností řešení
• mít sezónu – Novináři mají okurkovou sezónu a dá se dobře spočítat:
být v období, kdy se neděje nic zajímavého
• nastolit otázku – Rusko ve Washingtonu nastolilo otázku nepřípustnosti
posunutí vojenských struktur: zeptat se; Tento výraz v SČFI není,
navzdory tomu, že obsahuje podobné nanést otázku.
Lexikální fixnost tak, jak byla definována FS pro angličtinu, kde přinášela
relativně dobré výsledky, není nejlepší heuristikou pro extrakci idiomatických
fází. Implementace a vyhodnocení této techniky na druhou stranu přináší
návrhy nových (nezařazených) idiomů.
3.2 Syntaktická fixnost
Syntaktická pevnost podle návrhu FS není dobře převeditelná pro použití
v českém jazyce (oddíl 2.3), přesto myšlenka, že idiomatické fráze lze poznat
podle syntaktické pevnosti její struktury je pro české idiomy podstatná.
Hlavním vodítkem pro syntaktickou pevnost vazby v idiomech je intersegment
(část mezi tranzitivním slovesem a jeho přímým předmětem). Intersegment
se váže k podstatnému jménu a tím ho rozvíjí.
Velikost (počet slov) intersegmentu odpovídá syntaktické pevnosti členů
v angličtině. Místo toho, aby se hledělo na to, jestli před předmětem je člen
určitý, neurčitý, či žádný, pracuje tato implementace s velikostí intersegmentu.
délka intersegmentu frekvence %
0 889 565 60
1 495 897 33,5
2 94 012 6,5
23
Z počtu výskytů jednotlivých intersegmentů je patrné, že v 60 % případů
následuje po tranzitivním slovese přímý předmět bez jakéhokoli rozvinutí.
Tato informace nepřináší posun v extrakci idiomů, ale vypovídá o vlastnosti
tranzitivních sloves v českém jazyce. V tabulce níže je 100 náhodně vybraných
frází s nejvyšší syntaktickou pevností, tj. fráze se vyskytuje pouze v jednom
z tvaru < v, n >, < v, d, n >, či < v, d, d, n >, kde d jsou jednotlivá slova
intersegmentu (zájmeno, přídavné jméno).
Syntaktická fixnost – extrahované fráze
prokázat opodstatnění oznámit propuštění dopít víno
zajistit kurs být schránka být Polsko
∗ vypustit slovo napsat poděkování porouchat auto
oznámit zástupce obvinit Moskva věnovat shánění
odstranit jádřinec mít vylosování registrovat zájemce
∗ hodit flinta investovat sto napnout sluch
zkrátit čekání opustit Kosovo hrát bridž
brát účast zvednout náklad znamenat rovnost
demonstrovat závislost zkoumat svět předložit list
zdvihnout telefon odsoudit terorismus tvořit sto
ověřit účinnost zvýšit ziskovost porazit Zlín
uslyšet rachot vynutit faul porušit zvyk
odepnout řemen přehazovat výhybka dělat sex
být zaplaťpánbůh mít zdivo napínat kůže
dodat soudce ∗ čekat přírůstek stáčet pivo
dát žádost držet licence ∗ prohnat kulka
vyvolat závislost napadnout rozhodčí popisovat vznik
kritizovat skutečnost zbavovat člověk ∗ polykat prášek
nalít olej dokázat šance zdržet komentář
vyzdobit dům vyjevit názor přivodit újma
vést svět postavit kufr odstraňovat část
projet branka mít zálusk uhradit polovina
lít Rowanová podepsat příkaz roznášet pivo
prodat Fiat sbírat kniha dosáhnout rok
zdržovat doba regulovat chování dokončit obraz
požádat doktor vykládat vagón žádat zaplacení
prožít většina konat neděle kouřit hašiš
použít počítač dotovat export odebírat elektřina
vyzvat týden potrápit favorit přijmout počet
mít prodloužená ujišťovat občan studovat teologie
věnovat milión zlepšit obchod zaplatit činže
přidat tuk doplňovat příjem postihnout defekt
24
hrát centrum ∗ připsat vina předložit premiéra
∗ čichat člověčina
Syntaktická pevnost přinesla o 3 idiomy méně, což je přibližně 30% pokles
oproti pevnosti lexikální, příčinu je třeba hledat v jazykových odlišnostech
v angličtině a zpracování pouze jedné ze syntaktických vlastností. I tak
se mezi 7 anotátory označenými idiomy našly 4, které v Slovníku české
frazeologie a idiomatiky nejsou:
• vypustit slovo – Bylo by mi trapné vypustit z úst slova jako krev nebo
pochva: říct něco nevhodného
• čekat přírůstek – každým okamžikem čeká přírustek do rodiny: čekat
narození dítěte, mláděte; V SČFI je uvedeno čekat dítě.
• polykat prášek – Podle firmy IDM prostě stačí jenom polykat prášky:
léčit se medikamenty; SČFI uvádí brát prášky, vzít prášky.
• připsat vinu – Roman Vonášek, jenž si připsal vinu při druhém gólu: zavinit;
Ačkoli SČFI obsahuje hesla připsat někomu něco k tíži/k dobru/na
vrub/na účet.
Obsahem tabulek níže jsou fráze a jejich příslušná Fixsyn, které se
v korpusu vyskytují ve dvou a více syntaktických formách (jsou méně odolné
vůči přidání a odebrání intersegmentu.
Syntaktická fixnost – extrahované fráze (1. část)
Fixsyn fráze Fixsyn fráze
0.995 říci zástupce 0.983 ∗ ztratit hlava
0.995 ∗ otevřít skóre 0.983 ∗ strkat hlava
0.993 mít dostatek 0.982 trávit většina
0.991 dostat přednost 0.982 zvyšovat produktivita
0.991 udělat maximum 0.982 ztrácet zájem
0.991 zavírat oko 0.982 ∗ strkat nos
0.990 dojít trpělivost 0.981 podat demise
0.989 dostat smyk 0.981 omezovat možnost
0.988 podat podnět 0.981 dávat přednost
0.988 udržet krok 0.981 získat bronz
0.987 popadnout dech 0.980 umýt nádobí
0.987 vyjádřit naděje 0.980 skřípat zub
0.986 stisknout spoušť 0.980 posílat kniha
0.986 vylučovat možnost 0.980 najít řeč
0.985 vyslovit naděje 0.980 vydělat milión
25
0.985 ∗ spustit oko 0.980 třást ruka
0.985 svazovat ruka 0.980 rozpustit parlament
0.985 ∗ zavřít oko 0.98 ∗ vytřeštit oko
0.984 uskutečnit týden 0.98 odstranit výhon
0.984 prosit bůh 0.979 položit sluchátko
0.984 otevřít hra 0.979 ztratit trpělivost
0.984 ∗ sklonit hlava 0.979 zdůraznit nutnost
0.983 dát přednost 0.979 strávit dovolená
0.983 poslouchat rádio 0.979 sklopit hlava
0.983 nabýt přesvědčení 0.979 popustit uzda
V první stovce je celkem 11 idiomů, z toho v prvních padesáti 8. Zde
platí více než u lexikální pevnosti, že čím větší pevnost, tím vyšší výskyt
idiomů.
Syntaktická fixnost – extrahované fráze (2. část)
Fixsyn fráze Fixsyn fráze
0.979 pootevřít dveře 0.975 zlepšovat kvalita
0.979 ztrácet naděje 0.975 udržet konto
0.979 získat poukaz 0.975 schválit týden
0.979 dostat infarkt 0.975 sepsat protokol
0.978 zazvonit telefon 0.975 potvrdit platnost
0.978 mít dovolená 0.974 zdůraznit potřeba
0.978 zvednout telefon 0.974 vyjádřit ochota
0.978 mít jasno 0.974 převzít vláda
0.978 redukovat počet 0.974 pozvednout hlava
0.978 odvrátit hlava 0.974 potvrzovat pravidlo
0.978 naznačovat možnost 0.974 ∗ lámat hůl
0.978 naklonit hlava 0.974 hledat pronájem
0.978 zvedat hlava 0.974 dělat legrace
0.977 sdělit zástupce 0.973 zvyšovat kvalita
0.977 rozhodit ruka 0.973 schválit rezoluce
0.977 ztrácet důvěra 0.973 přilákat turista
0.977 použít násilí 0.973 dělat asistent
0.977 konat dobro 0.973 ztratit rovnováha
0.977 ∗ spatřit světlo 0.972 ∗ ztratit hlas
0.976 odpovídat schopnost 0.972 převzít vedení
0.976 nést podtitul 0.972 předpokládat existence
0.976 nabízet žaluzie 0.972 podat odvolání
0.975 vyjádřit připravenost 0.972 chválit bůh
0.975 seznamovat návštěvník 0.972 zvedat telefon
0.975 prohlásit zástupce 0.972 převzít záštita
26
Stejně jako v předchozích případech se i v tomto výčtu našly označené
idiomy, které nejsou zaneseny v SČFI:
• otevřít skóre – centr z pravé strany a otevřel skóre zápasu: vstřelit první
branku, gól
• sklonit hlava – Nato sklonil hlavu , odfrkl z chřípí oblak páry: pokořit
se; V SČFI lze nalézt pouze sklonit před někým/něčím čelo.
• spatřit světlo – Nikdo, kdo šel v Rusku dlouhým či kratším „tunelem“
života , nemohl na jeho konci spatřit „světlo“: mít naději; SČFI obsahuje
pouze spatřit světlo světa.
Syntaktická pevnost vazeb ve frázích je bezpochyby spjata její idiomatičností.
Z tabulek výše vyplývá, že tento fakt neplatí pouze pro idiomy, ale
zasahuje celou šíři českého jazyka.
3.3 PMI
Pro identifikaci idiomů stejně jako lexikální a syntaktická pevnost může
sloužit i samotné PMI[13]. V průběhu algoritmu se s ním pracuje a počítá ze
s něj Fixlex.
PMI – extrahované fráze (1. část)
PMI fráze PMI fráze
14.444 vyorat brázda 12.393 vystřelit šíp
13.859 ∗ vyseknout poklona 12.393 vystřelit světlice
13.597 vyluštit křížovka 12.365 nanášet lepidlo
13.346 ∗ vpálit kulka 12.337 nadýchat kouř
13.309 modlit otčenáš 12.304 ∗ namastit kapsa
13.274 vystrojit hostina 12.300 vytasit meč
13.240 ∗ metat kozelec 12.298 naladit vidlička
13.176 vyválet váleček 12.272 mlátit černoch
13.176 vyválet placka 12.133 zatloukat hřebík
13.176 vyšlechtit odrůda 12.131 vypáčit trezor
13.086 navlhčit tampon 12.122 všít zip
12.978 vykolejit rychlík 12.109 zametat střep
12.909 nalíčit past 12.105 ∗ metat blesk
12.857 namíchat koktejl 12.088 vysypat popelník
12.835 nahodit udice 12.077 ∗ věšet bulík
12.750 vyplivnout žvýkačka 12.077 vyprsknout smích
12.746 celebrovat mše 12.065 zatlouci hřebík
27
12.740 nasekat petrželka 12.046 vyprodat lucerna
12.671 zatlouci skoba 12.017 žrát Gilbert
12.581 namáhat závit 11.950 vystřihnout trojúhelník
12.506 vpichovat stonek 11.936 ∗ zahřívat lavička
12.452 zchladit žáha 11.914 nakrájet dílek
12.452 vylosovat výherce 11.914 nakrájet čtvereček
12.422 vystěhovat neplatič 11.888 vyslyšet nářek
12.407 zvolat Alo 11.888 cucat bonbón
PMI – extrahované fráze (2. část)
PMI fráze PMI fráze
11.878 vyšít dírka 11.656 zvěstovat evangelium
11.862 zařizovat brigáda 11.653 zamíchat žloutek
11.850 ∗ vystrkovat růžek 11.605 vytýkat neschopnost
11.839 zpestřovat jídelníček 11.600 zardousit Jeruzalém
11.829 zahánět démon 11.600 cucat palec
11.797 vylít perka 11.598 zpomalovat vstřebávání
11.759 nanášet nátěr 11.585 vyznačit křížek
11.754 vytasit dýka 11.585 ∗ nadělat paseka
11.751 nahrávat záznamník 11.566 devalvovat rubl
11.744 míchat malta 11.566 devalvovat forint
11.736 doručit písemnost 11.532 zvolat don
11.736 doručit obsílka 11.525 vypáčit mříž
11.722 zvonit zvon 11.500 zasahovat výběžek
11.717 naslouchat šumění 11.494 vrážet klín
11.716 zamést dvůr 11.471 vyhlazovat vráska
11.714 zvolat Silas 11.470 vyhloubit jáma
11.714 zvolat margo 11.451 zahrávat kop
11.714 čichat toluen 11.449 zvěstovat novina
11.714 ∗ čichat člověčina 11.446 napínat struna
11.707 vykopat příkop 11.438 doručovat zásilka
11.697 zarovnat okraj 11.429 dojit koza
11.672 vytloukat klín 11.423 vyříznout stopka
11.672 nanést rtěnka 11.421 nahrát Foerster
11.672 nanést krém 11.416 dojit kráva
11.662 ∗ dobíjet baterka 11.415 mučit vězeň
Při použití PMI bylo v prvních 100 frázích nalezeno 12 idiomů, z nichž
pouze metat blesk – kostnatý kluk po nich metá blesky, starý řezník srká čaj
28
s významem „s nevraživostí se na někoho dívat“.
Při použití PMI se ve vzorku vyskytovalo nejvíc idiomů, to je překvapující,
protože se jedná o část Fixlex, a při porovnání modifikace idiomů by měla
celkově větší roli hrát pevnost syntaktická než lexikální.
3.4 Celkové zhodnocení
Implementovaný algoritmus se zdál být vhodný pro přenesení do českého
jazykového kontextu, protože se opírá především o statistické informace
z korpusu. Syntaktická pevnost idiomatických vazeb byla sice od začátku
problematickým bodem pro český jazyk, přesto se podařilo dosáhnout srovnatelných
výsledků jak pro ni, tak pro lexikální pevnost.
Zpracovaný postup označil na jeden správný idiom dalších devět až deset
špatných, což není nejlepší výsledek, ale odpovídá tomu, že přibližně každé
sedmé slovo v českém jazyce je součástí nějaké slovesné idiomatické fráze[2].
V tabulce níže je porovnání přesností pro angličtinu a češtinu s uvedením
použitého dílčího přístupu.
metoda přesnost přesnost FS
PMI 12 % 64 %
Fixlex 9,5 % 65 %
Fixsyn 9 % 70 %
Za povšimnutí stojí to, že hodnoty přesnosti jsou seřazené pro české
idiomy opačně, než je tomu v případě angličtiny. Je tedy zřejmé, že použití
Fixlex je nadbytečné a lze použít jen metodu PMI[13].
Nízká přesnost je zapříčiněna několika faktory, se kterými je nutné se
vypořádat:
• volný slovosled – kvůli volnému českému slovosledu je nemožné bez
syntaktické analýzy určovat přímý předmět, podmět (v případě pasiva),
což přináší velkou nepřesnost do výsledků (k části dat, která jsou
relevantní, se algoritmus nedostane).
• členy – ve spisovné češtině se členy převážně nepoužívají, proto nejsou
ani součástí idiomů, což na rozdíl od mateřského jazyka původního
algoritmu způsobuje nemalé problémy při určování syntaktické pevnosti
vazeb ve frázích. Absence členů nabourává celou koncepci syntaktické
pevnosti definované FS.
• pasivum – další překážka k dobrému určení syntaktické fixnosti. Pasivní
konstrukce nelze popsat stejným dotazem CQL, který byl použit pro
detekci frází s aktivním slovesným rodem.
29
• thesaurus vs. synonyma – pro budování množiny alternativních slov
k přímému předmětu byl použit thesaurus namísto synonym. Zvolený
přístup má svou výhodu v tom, že přináší mnoho variant frází.4 Toho
se dá využít především při hledání nových alternativ idiomů. (Idiomy
jsou méně náchylné k nahrazení přímého předmětu synonymem. I takto
pozměněný idiom přináší uživateli jazyka význam stejný. dělat mrtvého
brouka → dělat mrtvou berušku).
Odchylky od algoritmu a především jiný jazykový kontext jsou příčinou
malé úspěšnosti v automatickém označování frází.
Na druhou stranu práce není zbytečná, protože mezi extrahovanými
a označenými idiomy se jich podstatná část nenachází ve Slovníku české
frazeologie a idiomatiky, kam dozajista patří. Tento fakt je dobrou zprávou
pro lexikografy zabývající se tvorbou takovýchto slovníků. Jedná se totiž
o spojení, která lze kdykoli extrahovat, a tak uživatel může vidět aktuální
posuny v jazykovém vyjadřování. Použitý korpus SYN2000c obsahuje texty,
které pochází především z let 1990–1999[16], přesto ani nové vydání SČFI
z roku 2009[5] tyto výrazy neobsahuje.
Při ručním vyhodnocení prvním deseti položek seřazených podle Fixlex
narazíme na to, že se frekvence při ručním a automatickém vyhledávání liší:
Porovnání frekvencí při automatickém a ručním vyhledání fráze
fráze automaticky ručně
být republika 43 0
mít republika 21 7
být pan 158 0
žádat pan 10 10
vyhlásit republika 23 23
V prvním případě došlo k tomu, že se v korpusu vyhledala spojení, která
sice formálně splňují podmínky, že na začátku je tranzitivní sloveso, pak
intersegment a fráze končí podstatným jménem ve 4. pádě (bude Českou
republiku. Ale hned vzápětí je třeba si povšimnout, že za podstatným jménem
stojí v korpusu plnovýznamové sloveso reprezentovat, zastupovat a další
jiná. Tím pádem není ale výsledek dobře, protože tvar slovesa být tvoří až
spolu s plnovýznamovým slovesem význam – sloveso být je částí slovesa
plnovýznamového.
Obdobně je tomu u fráze být pan, kdy drtivá většina vyextrahovaných
frází je jsem pana, nicméně opět z delšího kontextu spatřil jsem pana je
4
Pro některá slova bylo vygenerováno přes 100 thesaurových záznamů, celkem jejich
počet přesáhl 5 500.
30
patrné, že se zde tvar slovesa být vykytuje ve funkci spony – jedná se o frázi
slovesa spatřit.
U fráze mít republika je situace odlišná. Zde se v části nalezených konkordancí
vykytuje sloveso mít jako spona, ale mezi tím i jako plnovýznamové
sloveso. Pro srovnání: kapitál má Českou republiku rád a Například obyvatelé
mluvící rétorománštinami . . . dosud nemají své vlastní republiky a trpí pod
jhem obyvatel.
Tím, že se skutečná frekvence liší od automaticky nalezené (je nižší),
dochází ke zkreslování všech výsledků, protože berou v úvahu i spojení,
která neodpovídají dříve danému požadavku na vazbu tranzitivního slovesa a
podstatného jména. Takového fráze pak z výčtu mizí, nebo se zásadním způsobem
posouvají do části frází s menším PMI a nižší lexikální či syntaktickou
pevností.
31
Kapitola 4
Další vývoj
Zlepšení prvotní extrakce přímého předmětu a tranzitivního slovesa je
prvořadým rozšířením této práce, protože odstraní mnoho nepřesností, které
vznikají omezením dotazů CQL. Navržení jemnějšího členění tak, aby bylo
možné zachytit co největší šíři idiomatických výrazů a zároveň odfiltrovat
fráze, které „znečišťují“ data, je výzvou do budoucna. Jazyk CQL nabízí
prostředky, jak zachytit strukturu idiomů (byť jen ve specifickém tvaru),
nicméně to přináší zvýšenou časovou zátěž.
Možnost následného vývoje je také použití implementovaného algoritmu
pro výpočet PMI a Fixlex pro jiné jazyky. Pro takový postup je třeba získat
seznam tranzitivních sloves pro daný jazyk a mít k dispozici morfologicky
označkovaný korpus.
Realizace tohoto plánu by mohly na obecné rovině určit, v jakém jazyce
jsou idiomy více lexikálně alternující, a kde ne.
Dalším směrem pro uplatnění algoritmů je použití synonymních řad místo
thesauru tak, jak je to v původním návrhu FS. Tento přístup by byl zajímavý
pro lepší srovnání s původními výsledky pro angličtinu, ale nepřinášel by
tolik nových variací idiomatických frází.
Otevřeným problémem zůstává také fixnost syntaktická, ta by mohla
hrát důležitou roli v lepším určování idiomů v češtině. Zapojení syntaktické
analýzy je jednou z možností, jak získat lepší náhled do struktury idiomů a
získané informace použít pro jejich automatickou extrakci.
Zapojení syntaktické analýzy také do extrakce při použití lexikální pevnosti
by se mohlo významně podílet na úspěšnosti celého postupu tím, že
budou k dispozici, jak pasivní vazby, tak i správný předmět bez ohledu na
volný slovosled.
Pro zkvalitnění kandidátských frází mohou sloužit také data ze sketchů, ze
kterých lze extrahovat informaci o syntaktických vazbách ve frázích v rámci
celého korpusu.
V neposlední řadě by bylo možné integrovat vyhledávání idiomů do
korpusového manageru. To by usnadnilo práci lexikografům, kteří by mohli
32
okamžitě vidět návrhy idiomatických frází a porovnat je s výskyty dané
fráze v korpusu, a tak snadno rozhodnout o případném zařazení do slovníku.
Vybírání z variant je podstatně rychlejší než ruční zpracování textu, proto
má i tato aplikace implementovaného algoritmu šanci na úspěch.
33
Závěr
Práce se zabývala přístupy pro automatickou extrakci slovesných idiomů
z korpusu a implementací pozměněného algoritmu FS[6].
V rámci práce bylo ukázáno, že idiomy lze extrahovat za pomocí algoritmů,
které fungují v jiných jazycích, ale s odlišnými výsledky. Zatímco zvolený
algoritmus odhalil něco mezi 60 a 70 % idiomů, jeho česká implementace za
tím pokulhává s desetinou dobře označených idiomů. Nelze ale říct, že by
algoritmus nefungoval. Výsledky, které přinesl jsou však ovlivněné tím, jaká
byla kvalita vstupních dat. V kandidátských frázích a jejich alternacích byly
obsaženy i ty, které zdánlivě splňují požadavky na formu takové fráze, ale
při bližším prozkoumání bylo zjištěno, že se jedná nepoužitelnou instanci,
například protože obsahuje místo plnovýznamového slovesa pouze sponu. To
naráží na limity dotazu, kterým se jednotlivá spojení v korpusu hledala.
Zásadním přínosem práce je ale fakt, že ve vyextrahovaných frázích a
anotátorsky označených idiomech se nachází podstatné množství těch, které
nejsou zařazeny ve Slovníku české frazeologie a idiomatiky[5]. Tento fakt dává
práci přidanou hodnotu, protože má okamžité praktické využití při tvorbě
frazeologických slovníků. I přesto, že se v kandidátských frázích nachází
90 % neidiomatických frází, je určení těch idiomatických snadné pro běžného
uživatele jazyka, natož pro zkušeného lexikografa.
34
Literatura
[1] Bannard, Colin. A measure of syntactic flexibility for automatically identifying
multiword expressions in corpora In Proceedings of the Workshop
on a Broader Perspective on Multiword Expressions. Association for
Computational Linguistics, 2007.
[2] Bušta, Jan. Výpočet četnosti výskytů hesel SČFI v korpusu. Bakalářská
práce, Fakulta informatiky, Masarykova univerzita, Brno, 2009.
[3] Čermák, František. Frazeologie a idiomatika česká a obecná. Praha:
Nakladatelství Karolinum, 2007.
[4] Čermák, F., Hronek, J. – editors. Slovník české frazeologie a idiomatiky.
Praha: Academia, 1994.
[5] Čermák, F. a kol. Slovník české frazeologie a idiomatiky 3, Výrazy slovesné.
Praha: Leda, 2009.
[6] Fazly, A. a Stevenson, S. Automatically constructing a lexicon of verb
phrase idiomatic combinations. In Proceedings of the 11th Conference of
the European Chapter of the Association for Computational Linguistics
(EACL-2006). 2006.
[7] Fellbaum, Christiane. The determiner in English idioms. In Idioms:
Processing, structure, and interpretation. Hillsdale: Lawrence Erlbaum
Assiciates, 1993.
[8] Hajič, Jan. Popis morfologických značek - poziční systém.
Český národní koorpus, Filosofická fakulta Univerzity Karlovy.
http://ucnk.ff.cuni.cz/bonito/znacky.php. [Online; 28. prosince 2011].
[9] Hlaváčková, D. a Horák, A. VerbaLex – New Comprehensive Lexicon of
Verb Valencies for Czech. In Proceedings of the Computer Treatment of
Slavic and East European Languages 2005. Bratislava, 2005.
[10] Horák, A., Rychlý, P., Kilgarriff, A. Czech word sketch relations with
full syntax parser. In After Half a Century of Slavonic Natural Language
Processing. Brno: Masaryk University, 2009.
35
[11] Karlík, P., Nekula, M., Rusínová, Z. – editors. Příruční mluvnice češtiny.
Praha: Nakladatelství Lidové noviny, 2008.
[12] Kilgarriff, A., Rychly, P., Smrz, P. a Tugwell, D. The Sketch Engine. In
EURALEX Proceedings 2004. Lorient, 2004.
[13] Lin, D. Automatic identification of non-compositional phrases. In
ACL ’99 Proceedings of the 37th annual meeting of the Association for
Computational Linguistics on Computational Linguistics. Stroudsburg:
Association for Computational Linguistics, 1999.
[14] Rychlý, Pavel. Korpusové manažery a jejich efektivní implementace.
Doktorská práce, Fakulta informatiky, Masarykova univerzita, Brno, 2000.
[15] Sedláček, Radek. Morphemic Analyser for Czech. Doktorská práce,
Fakulta informatiky, Masarykova univerzita, Brno, 2005.
[16] Ústav Českého národního korpusu. Korpus SYN2000. [Online; 20.
prosince 2011].
36
Přílohy
37
Příloha A
Verb-noun idiomy v rámci
jazyka
38
Příloha B
Syntaktická fixnost
v korpusu czes
Fixsyn fráze Fixsyn fráze
0.999718785152 hasit been 0.994152046784 počítat pře
0.999642474079 připojit reakce 0.994152046784 mít plno
0.99907557199 přečíst reakce 0.994117647059 obléknout punčocha
0.998957247132 nabývat účinnost 0.994100294985 zamotat hlava
0.997206703911 zobrazit detail 0.994047619048 vytěžit maximum
0.99716553288 přidávat komentář 0.993777777778 posílat komentář
0.996966632963 vytisknout článek 0.993720565149 otevřít skóre
0.996883348175 ukázat text 0.993684210526 držet huba
0.996774193548 mít Javo 0.993630573248 zpřísňovat postih
0.996666666667 vytisknout recept 0.99358974359 schválit poskytnutí
0.996376811594 uložit recept 0.99358974359 prodat pozemka
0.996282527881 udržet krok 0.993548387097 získat dostatek
0.996264009963 stáhnout zpráva 0.993506493506 mluvit jazyk
0.995884773663 nabýt účinnost 0.993288590604 poslat host
0.995192307692 narazit pře 0.993150684932 popadnout dech
0.99512195122 dosáhnout pře 0.993103448276 vyžadovat pře
0.995024875622 citovat příspěvek 0.993103448276 schválit uzavření
0.994736842105 nabýt moce 0.992827868852 postupovat pře
0.994736842105 myslet ostatní 0.992700729927 zobrazit kontakt
0.994736842105 kouřit marihuana 0.992647058824 šířit obsah
0.994623655914 opustit hřiště 0.992537313433 zobrazit vlákno
0.994594594595 najít žádný 0.992537313433 přehrát ukázka
0.994535519126 zranit pře 0.992424242424 zvýšit honorář
0.994318181818 nabýt moc 0.992424242424 zasahovat pře
0.994219653179 věšet hlava 0.992277992278 kontrolovat hra
39
Příloha C
CD s implementací
Obsah pro jednotlivé korpusy:
• spouštěcí soubor obsahující popis dalších souborů – gen_idi.sh
• programy pro jednotlivé fragmenty výpočtu – gen_all_n, gen_all_cql,
get_conc, get_trans, lex, pmi, syn, thesdump.py, thes_sets
• program pro výpis thesauru – thesdump
• extrahované idiomy podle Fixlex – extracted_idioms_lex.txt
• extrahované idiomy podle Fixsyn – extracted_idioms_syn.txt
• extrahované idiomy podle PMI – idioms.pmi
• ostatní soubory vzniklé při generování výsledků
Obsah pro SČFI:
• popis postupu – README
• programy pro extrakce a expanzi idiomů– scfi-exp.py, scfi-exp.py
• extrahované a expandované idiomy – ciste_idiomy-exp.txt
• ostatní soubory vzniklé při generování výsledků
Na CD se nachází kompletní výsledky pro korpus SYN2000c a částečné
výsledky pro korpus czes.
40