Studenti budou umět:

• identifikovat dokumenty obsahující předem definovanou informaci

• přiřadit relevantní klíčová slova k dokumentu

• indexovat textové dokumenty

• normalizovat textové dokumenty

• chápat hlavní principy klasifikace textových dokumentů

Students will know:

• how to identify documents containing given information

• how to assign keywords to text documents

• how to index text documents

• how to normalize text documents

• how to categorize text documents

Ústní zkouška

oral exam

Z: Baeza-Yates, R., Ribeiro-Neto, B.: Modern Information Retrieval. Second edition, Addison-Wesley, 2011.

Z: Weiss, S.M. et all: Text Mining? Predictive Methods for Analyzing Unstructured Information. Springer, 2005.

R: Baeza-Yates, R., Ribeiro-Neto, B.: Modern Information Retrieval. Second edition, Addison-Wesley, 2011.

R: Weiss, S.M. et all: Text Mining? Predictive Methods for Analyzing Unstructured Information. Springer, 2005.

Úvod do problematiky information retrieval, neurčitost, relevance, přístup fuzzy, normalizace textových dokumentů, Zipfův zákon

Indexování, dotazování a hledání v textových dokumentech - metriky, vektorový model - redukce dimenzí, latentní semantické indexování

Shlukování dokumentů a shlukování klíčových slov (clustering), vzdálenost, metriky podobnosti, centroid, metody shlukování

Klasifikace dokumentů. Bayesovská klasifikace, metoda k-NN, metoda rozhodovacích stromů, metoda support vector machine

Cíle a možnosti text miningu, metody linguistiky v text miningu, lexikon, tokenization, part-of-speech tagging, named entity recognition, parsing, koreference

Aplikace metod text mining pro information retrieval: automatická extrakce obsahu dokumentu, automatické shrnutí obsahu dokumentu, automatické odpovědi na dotazy

Introduction to information retrieval, uncertainty, relevance, text document normalization, Zipf's law

Text documents indexing, querying and searching - metrics, vector model - dimensionality reduction, latent semantic indexing

Document and keyword clustering, distance, similarity metrics, centroid, clustering algorithms

Document classification, Bayesian classification, k nearest neighbors, decision trees, metoda support vector machines

The aims and capabilities of text mining, linguistic methods in text mining, tokenization, part-of-speech tagging, named entity recognition, parsing, coreferences

Text mining in information retrieval: document content extraction, automatic document summarization, automatic question answering

Materiály přednášejícího

Lecturer materials