Pattern Generation Revisited

ANTOŠ, David and Petr SOJKA. Pattern Generation Revisited. In Proceedings of the Twelfth European TeX Conference. Kerkrade, The Netherlands: NTG, 2001, p. 7-17.

Basic information

• Original name: Pattern Generation Revisited
• Name in Czech: Generování vzorů
• Authors: ANTOŠ, David (203 Czech Republic) and Petr SOJKA (203 Czech Republic, guarantor).
• Edition: Kerkrade, The Netherlands, Proceedings of the Twelfth European TeX Conference, p. 7-17, 2001.
• Publisher: NTG

Other information

• Original language: English
• Type of outcome: Proceedings paper
• Field of Study: 20200 2.2 Electrical engineering, Electronic engineering, Information engineering
• Country of publisher: Netherlands
• Confidentiality degree: is not subject to a state or trade secret
• WWW: Authors publication WWW page EuroTeX 2001 Proceedings WWW page
• RIV identification code: RIV/00216224:14330/01:00004829
• Organization unit: Faculty of Informatics
• Keywords in English: patterns;UNICODE;finite automata;natural language processing;language engineering
• Tags: Finite Automata, language engineering, natural language processing, patterns, Unicode

Abstract

The program PATGEN, being nearly twenty years old, doesn't suit today's needs, as a) it is nearly impossible to make changes, b) it is limited to eight-bit encodings, c) it uses static data structures, d) reuse of the pattern technique and packed trie data structure for problems other than hyphenation (context dependent ligature handling, spell checking Thai syllabification, etc) is cumbersome. Those and other reasons explained further in the paper led us to the decision to reimplement PATGEN from scratch in an object-oriented manner (like NTS) and to create the PATtern LIBrary PATLIB and the (hyphenation) pattern generator based on it. We argue that this general aproach allows the code to be used in many applications in computer typesetting area, in addition to those of pattern recognition, which include various language processing, optical character recognition, and others.

Abstract (in Czech)

Článek popisuje techniku vzorů jako prostředek pro získávání informace z~rozsáhlých dat a zpětné rozpoznávání. Typickou aplikací této techniky je dělení slov. Dosud chybí generátor vzorů dělení pro systém $\Omega$ (pro UNICODE) a rozšíření programu PATGEN, omezeného osmibitovým ASCII, není únosné. Proto jsme vyvinuli knihovnu PATLIB pro obecnou manipulaci se vzory a na ní postavili generátor vzorů dělení slov v~UNICODE. Popsali jsme architekturu systému a dále méně známou datovou strukturu dynamic packed trie, kterou lze výhodně použít pro efektivní ukládání konečných jazyků s výstupy. Vzory lze použít i pro rozpoznávání hranic složených slov, proto zmíníme návrhy na rozšíření následníků TeXu o klasifikované dělení s~více typy dělících bodů a o automatické potlačování ligatur na švech složených~slov.

Links

• MSM 143300003, plan (intention): Name: Interakce člověka s počítačem, dialogové systémy a asistivní technologie

Investor: Ministry of Education, Youth and Sports of the CR, Human-computer interaction, dialog systems and assistive technologies