tokenizer

== Anglais == === Étymologie === Étymologie manquante ou incomplète. Si vous la connaissez, vous pouvez l’ajouter en cliquant ici. === Nom commun === tokenizer (Informatique) Parseur en tokens. Par exemple cela permet de transformer un texte en plusieurs mots séparés par des espaces. In the Unix-based world, there are two general tools which allow a user to write a natural language tokenizer: Lex (chap. 3 of Aho et al. 1986) and Awk (Aho 1988). — (Syntactic Wordclass Tagging - Page 121, H. van Halteren - 1999) La traduction en français de l’exemple manque. (Ajouter) ==== Variantes ==== tokeniser ==== Apparentés étymologiques ==== tokenization tokenize