O processo que analisa o código-fonte de um programa de computador e produz uma sequência de símbolos chamada tokens é definido como
