Dlaczego po prostu nie sprawdzisz danego terminu w internecie, zamiast bawić się myślałem że to to
? Myślałem że to był wyrostek... no... no kurczę, naprawdę nie chciałem panu wyciąć wątroby
:P
Tokenizer to taki "program" (część programu/proces), który zamienia ciąg znaków na listę tokenów.
Na przykład z działania 2 + 2 * 2
tokenizer produkuje (przykład):
NUMBER: 2
PLUS
NUMBER: 2
STAR
NUMBER: 2
Mając tę listę tokenów, swoją pracę zaczyna parser i interpretuje on wszystkie tokeny nadając im znaczenie (np. token PLUS
to w tym kontekście operator dodawania) oraz budując drzewo składniowe (abstract syntax tree).
Jest masa poradników cd. tworzenia prostych tokenizerów oraz parserów, choć sam temat jest ogromny - poszukaj w internecie wykładów/artykułów.