Blog

INTRODUÇAO No trabalho abordaremos o reconhecimento de tokens que a função dele é o uso de diagramas de transição que são a representação de um autômato finito, antes de entrar totalmente no reconhecimento de tokens aborda a função do analisador léxico. Teoria de Linguagens Formais e Teoria de Máquina são tópicos abrangentes que se inserem-no estudo da Teoria da Computação em geral.

A Teoria da Computação é uma ciência que procura organizar o conhecimento formal relativo aos processo de computação, como c formais, problemas Atualmente, o termo de fazer cálculos ou OF5 p s, linguagens do ao conceito sso máquinas computadores. Entretanto, a noção de contabilidade pode ser dissociada da implementação fisica da máquina. Originalmente, a palavra latina pautar significa “pensar”, mas no caso da teoria da computação o sentido mais adequado seria algo como “manipulação de símbolos”, o que não é, necessariamente, pensamento.

Essa manipulação de símbolos envolvendo, principalmente, letras, números e proposições algébricas permitiria às máquinas computadores, segundo Alan Turing (1939) realizar qualquer operação formal de que o ser humano sena capaz ANALISADOR LÉXICO A função do analisador léxico é ler uma sequência de caracteres que constitui um programa fonte e coletar, dessa sequência, os consistem o programa. Os tokens ou símbolos léxicos são as unidades básicas do texto do programa.

Cada token é representando internamente por três informações: Classe do token: representa o tipo do token reconhecido (identificadores, constantes, numérico as, cadeias de caracteres, palavras reservadas, operadores e separadores). Valor do token: o qual depende a classe (o número inteiro representado pela constante, a sequência de caracteres lida no rograma fonte que representa o identificador, um apontador para a entrada de uma tabela que contém essa sequência de caracteres).

Posição do token: indica o local do texto fonte (linha e coluna) onde ocorreu o token- Essa informação é utilizada para indicar o local de erros. Tokens simples: não tem valor associado (palavras reservadas, operadores e delimitadores). Tokens com argumentos: têm um valor associado (elementos da linguagem definidos pelo programador: identificadores, constantes numéricas, cadeias de caracteres). A especificação de um analisador léxico descreve o conjunto e tokens que formam a linguagem.

Fazem parte dessa especificação sequências de caracteres que podem aparecer entre tokens e devem ser ignoradas tais como espaços em branco e comentários. As palavras reservadas da linguagem são casos particulares dos identificadores e seguem a mesma notação (expressões regulares, autômatos finitos e gramáticas regulares) desses. As especificações de analisadores léxicos, usualmente, não expressam, explicitamente, o reconhecimento de palavras reservadas.

Essa léxicos, usualmente, não expressam, explicitamente, o reconhecimento de palavras reservadas. Essas palavras são rmazenadas em uma tabela interna, que é examinada cada vez que um identificador é reconhecido. RECONHECIMENTO DE TOKENS Uma das técnicas de reconhecimento de tokens é o uso de diagramas de transição que são a representação de um autômato finito. Um diagrama de transição é um grafo orientado em que os nodos representam estados do autômato finito.

Dependendo a forma como forem construídos estes diagramas pode corresponder a um autômato finito determinístico ou não determinístico. Caso haja a necessidade de usar um autômato finito não determin[stico, ao implementar, o mesmo deve ser transformado m um autômato finito determinístico equivalente. Letra ou dígitos 2 31 outros nicio letra No diagrama da Figura 1, os estados são representados por círculos, e o estado final por um círculo duplo. Os caracteres lidos são representados sobre os arcos que identificam as transições do autômato finito.

Nesse diagrama outros” significa qualquer outro caracter que não seja letra ou dígito. Este caracter indica o fim do identificador. Esse estado final (o “3”) retorna o token e o insere na tabela de símbol 3 ele deve ser “devolvido” para ser tratado junto ao próximo lexema. Token exemas Exemplo Descrição informal do padrão I if I if I if I relação <, >, < ou ou = ou > ou id I pi, contador, varsoma Letra seguida por letras ou dígitos num | 3. 1416, O, 6. 2E23 Qualquer constante numérica string I “string qualquer’ I Quaisquer caracteres entre aspas, exceto aspas DIAGRAMA DE TRANSIÇÕES Utilizado para determinar a sequência de ações executadas pelo analisador léxico no processo de reconhecimento de um token as posições no diagrama são representadas através de um círculo e são chamadas de estado os estados são conectados por etas, denominadas lados o os lados são rotulados com caracteres que indicam as possíveis entradas que podem aparecer após o diagrama de estado ter atingido um dado estado o rótulo outro se refere a qualquer caractere de entrada que não seja o indicado pelos demais rótulos que deixam o estado um circulo duplo determina um estado de aceitação 6 estado de partida 4DF5 instalar-id()) Obter-token( ) procura o lexema na tabela de símbolos se o lexema for uma palavra-chave o token correspondente é retornado, caso contrário, é retornado id Instalar-id( ) procura lexema na tabela de símbolos se o lexema for uma alavra-chave é retornado zero, caso contrário, é retornado um ponteiro para a tabela de símbolo se o lexema não for encontrado ele é instalado como uma variável e é retornado um apontador para entrada recém criada. Em geral pode haver mais de um diagrama de transições. Quando ocorre o erro no reconhecimento utilizando um diagrama o reconhecimento do token é reinicializado utilizando outro diagrama o lexema para um dado token deve ser o mais longo possível. Ex: 12. 3E4 Sempre que possível deve-se procurar primeiramente pelos tokens de maior incidência. Ex: espaço em branco. CONCLUSÃO S