| German |
| has gloss | deu: Ein Token (Art.: „das“; Pl.: „Tokens“) ist ein Stück Text, dem von einer Grammatik eine Bedeutung zugewiesen wird. Dabei ist ein Token die lexikalische Grundeinheit, die ein Parser bearbeitet. Beim Parsen wird jedes Token letztlich mit einem Terminalsymbol der Grammatik verglichen. Wenn das Terminalsymbol zu dem Token passt, kann die entsprechende Regel der Grammatik angewendet werden. |
| lexicalization | deu: Token |
| Italian |
| has gloss | ita: In informatica, un token è un blocco di testo categorizzato, normalmente costituito da caratteri indivisibili chiamati lessemi. Un analizzatore lessicale inizialmente legge i lessemi e li suddivide in categorie a seconda della loro funzione, dando loro un significato. Questa assegnazione di significato è chiamata tokenizzazione (o analisi lessicale). Un token può essere scritto in qualsiasi linguaggio: deve però avere una qualche utilità in un testo strutturato. Inoltre, bisogna tener presente che, nella programmazione, il codice sorgente si può suddividere in 5 classi di tokens (costanti, identificatori, operatori, parole riservate e separatori), in accordo con le regole del linguaggio di programmazione scelto. |
| lexicalization | ita: token |
| Japanese |
| has gloss | jpn: 字句（じく）とは、プログラミング言語においてソースコードに出現する文字列の中で意味を持つ最小単位のことであり、トークンとも言う。 |
| lexicalization | jpn: 字句 |
| Portuguese |
| has gloss | por: Token em computação é um segmento de texto ou símbolo que pode ser manipulado por um parser, que fornece um significado ao texto; em outras palavras, é um conjunto de caracteres (de um alfabeto, por exemplo) com um significado coletivo. |
| lexicalization | por: Token |
| Slovak |
| has gloss | slk: Token alebo známka v počítačovej vede je kategorizovaný blok textu, obyčajne pozostáva z nedeliteľných znakov, známych ako lexémy. Lexikálny analyzátor najprv číta lexémy a kategorizuje ich podľa funkcie, čím im priraďuje význam. Toto priradenie významu sa nazýva tokenizácia. Tokeny môžu vyzerať rôzne, napríklad to môžu byť slovenské, anglické alebo iné slová alebo rôzne symboly, musia to byť hlavne užitočné súčasti štruktúrovaného textu. |
| lexicalization | slk: token |
| Tamil |
| has gloss | tam: நிரல் மொழிகளின் இலக்கணத்தின் அடிப்படை அலகு வில்லை (Token) ஆகும். இதனை அடையாளி அல்லது அடையாள வில்லை என்றும் தமிழில் குறிப்பர். வில்லைகள் பின்வரும் வகைகளில் அடங்கும். |
| lexicalization | tam: வில்லை |
| Ukrainian |
| has gloss | ukr: Токен - об'єкт, що утворюється із лексеми в процесі лексичного аналізу. В прикладному програмуванні поняття токену та його лексема можуть не розрізняти. |
| lexicalization | ukr: токен |