A parte NEWLINE, INDENT e DEDENT, esistono le seguenti categorie di token: identifiers, keywords, literals , operators e delimiters (NdT: identificatori, parole chiave, costanti manifeste, operatori e delimitatori). I caratteri di spaziatura (a parte i terminatori di riga, come discusso precedentemente) non sono token, ma servono per delimitare i token. Quando esiste un'ambiguitą, un token comprende la maggior porzione di stringa che possa formare un token legale, quando letto da sinistra a destra.
Vedete Circa questo documento... per informazioni su modifiche e suggerimenti.