Інші жетони

Окрім NEWLINE, INDENT і DEDENT, існують такі категорії токенів: ідентифікатори, ключові слова, літерали, оператори та роздільники. Пробільні символи (окрім символів закінчення рядків, які обговорювалися раніше) не є маркерами, але служать для розмежування маркерів. Якщо існує неоднозначність, токен містить найдовший можливий рядок, який утворює законний токен, коли читається зліва направо.