Dasher Dasher - Character LM PA154 Jazykové modelování (4) Pavel Rychlý pary@fi.muni.cz March 23, 2021 autoři: David MacKay, David Ward Cambridge University; freeware podpora pro vysoce efektivní textový vstup za použití jiných prostředků než standardní počítačové klávesnice alternativa pro tisíce lidí s různým fyzickým postižením zadávání textu na obrazovce pomocí polohovacího zařízení (myš, Joystick...) používá pravděpodobnostní prediktivní jazykový model stále se ladí (technologie zůstává stejná) PA154 Jazykové modelování (4) Dasher - Character LM O Dasheru Oblasti využití Dasher je zdarma open-source software podléhá požadavkům GNU Generel Public License abeceda pro více než 150 jazyků možnost nastavení barvy písma systém se učí a nabízí kombinace písmen, které jsou užívanější asistivní technologie (postižení - bez rukou, s jednou rukou...) Pocket PC, iOS, Android, Linux, macOS, Microsoft Windows složité jazyky (např. japonština) poslední verze 5.0.0 (beta) z 8. dubna 2016 PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Princip "Inverznľaritmetické kódování File Edit Options Control Prediction Help □ t o □ be be or not to be I othlH? □ FH s 4! písmena v abecedním pořadí, každé písmeno je v obdélníku obdélník s vybraným písmenem obsahuje opět úplnou abecedu, ze které lze vybrat 2.symbol atd. základní myšlenka: písmena s větší pravděpodobností jsou ve větším obdélníku o konkrétním rozložení se rozhoduje na základě jazykového modelu aritmetické kódování (komprese textu): kódové slovo je číslo z intervalu (0,1), postupným kódováním symbolů se intervaly zjemňují v poměru pravděpodobnosti výskytu znaku metoda bezztrátové komprese dat v Dasheru reprezentuje ypsilonová souřadnice celý interval (0,1), kde každý symbol abecedy má přiřazen segment délky odpovídající pravděpodobnosti jeho výskytu v daném kontextu PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Aritmetické kódování model příklad pro čtyřsymbolový Aritmetické dekódování kódové slovo je číslo z intervalu [0,1) 60 % pro symbol NEUTRAL; interval je [0, 0.6) 20 % pro symbol POSITIVE; interval je [0.6, 0.8) 10 % pro symbol NEGATIVE; interval je [0.8, 0.9) 10 % pro symbol END-OF-DATA; interval je [0.9, 1) symbol v sekci END-OF-DATA znamená, že dekódování je kompletní 06 0.8 0.9 1 0.36 048 054 06 -1-1-*-1 0.516 0.S2B 0.5^ 0.54 zpráva je zakódovaná do čísla 0.538 kodér s intervalem [0,1) se rozdělí na čtyři podintervaly; zpráva je v sekci NEUTRAL interval [0, 0.06) se rozdělí na čtyři podintervaly; zpráva je v sekci NEGATIVE interval [0.48, 0.54) se rozdělí na čtyři podintervaly; zpráva je v sekci END-OF-DATA PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Zakódování zprávy "WIKľaritmetickým kódováním Zakódování zprávy "WIKľaritmetickým kódováním pokračování každý symbol má svoji pravděpodobnost v intervalu [0, 1) musí být znám počet symbolů zprávy nebo terminálni symbol interval je znázorněn v binární soustavě 1. 2. W 3. I 4. 5. i W:- M:i -it «qc I :2 W I 1 %Ľt 6. [.0010101, .0010111) - .001011 interval "W"je [0, 0.01) interval "l"je [0.01, 0.11) interval "K"je [0.11,1) PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Zakódování zprávy "WIKľaritmetickým kódováním pokračování PPM (Prediction by Partial Match) 1. 2. W 3. I 4. 1 2 > 01-- 6. [.0010101, .0010111) - .001011 nejdříve kódujeme "W"[0, 0.1) následně "l"[0.001, 0.0011) po té "K"je [0.00101, 0.0011) a nakonec "l"[0.0010101, 0.0010111) výsledek je číslo z finálního intervalu jazykový model použitý v Dasheru se neomezuje jen na koncept slov spojuje informace o n-gramech s pravděpodobnostmi výskytu jednotlivých symbolů ze slovníku kontext 4-5 symbolů PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM PPM - 3 módy Jazykový model (3) Standard letter-based PPM (podle částečné shody počítá pravděpodobnost) Word-based model (slovník s četností slov) Mixture model (PPM/dictionary) jazykový model se učí v čase (učí se nové uživatelovy výrazy a obraty) vše, co napíšeme, se automaticky ukládá do souboru jako další trénovací data PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Další vlastnosti Druhy vstupních metod import tré n ovacích dat jednoduše načtením souboru zdroj dat pro češtinu: Ústav Českého národního korpusu FF UK jakékoliv abecedy: např. i LaTeX, C, IPA ostatní software - 2 módy: běžné psaní a doplňování slov (uživatel mezi nimi musí přepínat) Dasher tyto režimy nerozlišuje počítačová myš touchpad touchscreen eyetracker headmouse trackball trackpad dech tlačítka snímače náklonu PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Myš, touchpad, touchscreen Eyetracker File Edit Options Help Dasher i; great| / B / " % ra ? Rychlost vstupu s použitím myši: po 10 minutách tréninku 5-15 slov/min., po hodině 15-25 slov/min., zkušení uživatelé 40 slov za minutu (stejně rychlé jako psaní rukama pomocí klávesnice) ukázka Dasheru video: ipaq kamera + senzory snímající, na které místo na obrazovce zaměřuje uživatel pohled dřívější cena: 2000 - 4000 USD PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Eyetracker Eye Dasher To bii Eye Tracker 5 cena: 229 EUR Engineered for gaming také vestavěné v (herních) noteboocích rychlost vstupu: po deseti minutách tréninku 7 slov/min., po hodině 20 slov/min., zkušení uživatelé 30 slov za minutu eyetracking bez Dasheru, jen s virtuální (on-screen) klávesnicí: 15 slov/min., error-rate 5x vyšší poslední položka. PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Eye Dasher - Uživatelská přívětivost Headmouse vstup za pomoci virtuální (on-screen) klávesnice je diskrétní (čekání na vypršení časovače, popř.mrknutí) Dasher poskytuje spojitý vstup video: eye_dasher IR kamera reflexivní body cena: 500-1500 USD PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Breath Dasher Button Dasher prima umera mezi objemem plic a hodnotou ypsilonové souřadnice jednodimenzionální (nelze zpět) proto: Control mode Control area (Stop, Pause, Move, Delete) video: breath_dasher 3 směry ■ dopředu nahoru ■ dopředu dolů ■ zpět PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Dasher vs. rozpoznávání řeči Speech Dasher: Efficient speech recognition correction nepoužitelnost systémů pro automatické rozpoznávání řeči v hlučném prostředí i u nejlepších rozpoznávačů asi 5 % chyb (náročná editace chyb) 1. krok: zadání textu pomocí kombinace řeči a navigace přes ukazovací zařízení (myš) 2. krok: řečový rozpoznávač provede počáteční odhad textu, uživatel upraví nebo potvrdí výstup počáteční chybovost 22 %, uživatelé většinou vše opraví rychlejší než oprava s použitím samostatného rozpoznávání řeči (speciální příkazy) rychlejší než samostatný Dasher video: speech_dasher PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Další možnosti - Swype Swype (2) virtuální klávesnice pro dotykové chytré telefony a tablety vyvinuto společností Nuance Communications psaní nepřerušovaným tahem na klávesách QWERTY/QWERTZ/AZERTY/National odhadování slov pomocí prediktivního slovníku (můžeme doplňovat i vlastní slova) větší přesnost pro delší slova (krátká obvykle více možností interpretace tahu na obrazovce) zápis bez diakritiky, nabízené varianty s diakritikou rychlost psaní až přes 50 slov/min. zvládá i jednoduchou interpunkci (i smajlíky) aplikace je schopna učit se z Facebooku, Gmailu, Twitteru... dostupný i v češtině možnost diktování v různých jazycích pomocí modulu Dragon Dictation (i v češtině) video http : / /www. youtube ■ com/watch?v=S J-RAef CG_c PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Další možnosti -SwiftKey SwiftKey (2) zdarma pro Android, iOS, iPhone učí se pomocí předchozí textové komunikace (SMS, Gmail, texty v RSS, přizpůsobuje se i písmenům, která opakovaně mačkáte mírně mimo) více jazyků (až 5 zároveň) oprava překlepů predikce příštího slova (nabízí nejpravděpodobnější varianty následujících slov) 800 emoji Emoji Prediction feature - učí se predikovat relevantní emoji kvalitní slovníky (odpovídají trendům v komunikaci) lze psát ve stylu Swype (tažením) - pod funkcí Flow lze zapnout funkce diktování v angličtině červen 2012 vydaní verze SwiftKey Healthcare; predikce na základě reálných klinických dat duben 2016 vydaní verze ShakeSpeak; emulování řeči W. Shakespeara k oslavě 400. výročí jeho smrti rok 2016 odkoupení SwiftKey společností Microsoft video: http : / / www. youtube . com/watch?v=kA5Horw_SOE PA154 Jazykové modelování (4) Dasher - Character LM PA154 Jazykové modelování (4) Dasher - Character LM Další možnosti - SlidelT Další možnosti - GO Keyboard podobné klávesnici Swype - psaní tažením mezi znaky nižší požadavky na přesnost psaní kvalitní slovníky (možnost doinstalovat další vč. češtiny) více než 70 jazykových sad možnost přizpůsobení klávesnice dopočítává varianty slov, které chtěl uživatel napsat automatické doplňování mezer a velkých písmen (bohužel chybové) video: http : / /www. youtube . com/watch?v=Tp_7bWuvQwQ PA154 Jazykové modelování (4) Dasher - Character LM Další možnosti Perfect keyboard Touch Pal keyboard Google keyboard Siine Shortcut keyboard Adaptxt keyboard ShapeWriter keyboard PA154 Jazykové modelování (4) Dasher - Character LM predikce v mnoha jazycích možnost změny skinů a pozadí možnost importu jmen a SMS do slovníku podpora zadávání textu Swype stylem v roce 2017 zjištěn bezpečnostní problém; aplikace zasílala informace o uživatelích zpět do Číny (informace o jazyku, lokaci, typu sítě, ...), ovlivněno více než 200 milionů uživatelů video: http : / / www . youtube . com/wat ch?v=XQRRvSwpmWc PA154 Jazykové modelování (4) Dasher - Character LM