PA164 Strojové učení a přirozený jazyk

Fakulta informatiky
podzim 2023
Rozsah
2/1/0. 3 kr. (plus ukončení). Doporučované ukončení: zk. Jiná možná ukončení: z.
Vyučující
doc. Mgr. Bc. Vít Nováček, PhD (přednášející)
Garance
doc. Mgr. Bc. Vít Nováček, PhD
Katedra strojového učení a zpracování dat – Fakulta informatiky
Dodavatelské pracoviště: Katedra strojového učení a zpracování dat – Fakulta informatiky
Rozvrh
Po 14:00–15:50 A318
  • Rozvrh seminárních/paralelních skupin:
PA164/01: St 27. 9. až St 6. 12. každou lichou středu 18:00–19:50 C525, V. Nováček
Předpoklady
Předpokládá se základní znalost strojového učení v rozsahu předmětu IB031, počítačové lingvistiky v rozsahu PA153 a neuronových sítí v rozsahu PV021. Výuka probíhá v angličitně (v češtině jen pokud s tím studující souhlasí). Výstupy studentů mohou být anglicky, česky nebo slovensky (v jiném jazyce jen pokud s tím vyučující souhlasí).
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
předmět má 55 mateřských oborů, zobrazit
Cíle předmětu
Student získá přehled o metodách a nástrojích strojového učení pro analýzy přirozeného jazyka (text mining, natural language learning). Na konci tohoto kurzu bude student schopen použít získané znalosti pro vytvoření systémů pro analýzu textu pomocí metod strojového učení. Bude schopen porozumět vědeckým pracem z tohoto oboru.
Výstupy z učení
Student bude schopen
- předzpracovat textová data pro text mining;
- vytvořit systém pro analýzu textu pomocí metod strojového učení;
- porozumět vědeckým pracem z tohoto oboru;
- napsat technickou zprávu z této oblasti.
Osnova
  • Přehled kurzu, ukázka pipeline (před)zpracování textu
  • Rychlý a špinavý úvod do ML
  • Distribuční sémantika, LSA, slovní vložky
  • Hluboké neuronové sítě pro NLP
  • Jazykové modely a jejich aplikace
  • AutoML pro NLP
  • Studentská posterová sekce (sekce), včetně rozsáhlé zpětné vazby během práce studentů a její prezentace
  • Příklad aplikace: analýza sentimentu
  • Příklad aplikace: získávání znalostí z textu
  • Zvané přednášk(y) mezinárodních odborníků o různých aplikacích ML v oblasti NLP
  • Prezentace závěrečného projektu
Literatura
    doporučená literatura
  • Chang, Yupeng, et al. "A survey on evaluation of large language models." ACM Transactions on Intelligent Systems and Technology 15.3 (2024): 1-45.
  • Zhao, Wayne Xin, et al. "A survey of large language models." arXiv preprint arXiv:2303.18223 (2023).
  • Charu C. Aggarwal, Machine Learning for Text. Springer 2018
  • Mining text data. Edited by Charu C. Aggarwal - ChengXiang Zhai. New York: Springer Science+Business Media, 2012, xi, 522. ISBN 9781461432227. info
  • MANNING, Christopher D. a Hinrich SCHÜTZE. Foundations of statistical natural language processing. Cambridge: MIT Press, 1999, xxxvii, 68. ISBN 0-262-13360-1. info
Výukové metody
přednáška následovaná samostatnou prací a praktickými ukázkami ve cvičeních, řešení projektu
Metody hodnocení
Písemná příprava na zkoušku, ústní zkouška. Součástí ukončení jsou prezentace projektu.
Vyučovací jazyk
Angličtina
Další komentáře
Studijní materiály
Předmět je vyučován každoročně.
Předmět je zařazen také v obdobích podzim 2003, podzim 2004, podzim 2005, podzim 2006, podzim 2007, podzim 2008, podzim 2009, podzim 2010, podzim 2011, podzim 2012, podzim 2013, podzim 2014, podzim 2015, podzim 2016, podzim 2017, podzim 2018, podzim 2020, podzim 2021, podzim 2022, podzim 2024.