estoy realizando un analizador léxico en Python para distinguir prolog, a lo que me lleva a mi problema y es que en prolog si la primera letra es mayúscula esta será variable, mientras que si no, es constante, por lo que ocupando la librería de ply.lex, cree lo siguiente, más algo sacado por GitHub en la parte final (https://github.com/maryito/Analisis-lexico-sintactico-Python/blob/master/analizador_lexico.py), el tema es que leyendo por la web de Microsoft sobre lenguajes de expresión, no logro hacer que me tome la palabra entera, por ejemplo "HOla", lo toma como "HO" es Variable y "la" es constante, las distingue de maravilla, pero necesito que sea la palabra entera, y no veo el error, agradezco la ayuda y guía.
import ply.lex as lex
# resultado del analisis
resultado_lexema = []
reservada = (
# Palabras Reservadas
'CADENA',
)
tokens = reservada + (
'CONSTANTE',
'VARIABLE',
)
def t_VARIABLE(t):
r'[A-Z_]+(\w\d)*'
return t
def t_CONSTANTE(t):
r'[a-z]+(\d\w)*'
return t
def t_CADENA(t):
r'\"?(\w+ \ *\w*\d* \ *)\"?'
return t
def t_error( t):
global resultado_lexema
estado = "** Token no valido en la Linea {:4} Valor {:16} Posicion {:4}".format(str(t.lineno), str(t.value),
str(t.lexpos))
resultado_lexema.append(estado)
t.lexer.skip(1)
# Prueba de ingreso
def prueba(data):
global resultado_lexema
analizador = lex.lex()
analizador.input(data)
resultado_lexema.clear()
while True:
tok = analizador.token()
if not tok:
break
# print("lexema de "+tok.type+" valor "+tok.value+" linea "tok.lineno)
estado = "Linea {:4} Tipo {:16} Valor {:16} Posicion {:4}".format(str(tok.lineno),str(tok.type) ,str(tok.value), str(tok.lexpos) )
resultado_lexema.append(estado)
return resultado_lexema
# instanciamos el analizador lexico
analizador = lex.lex()
if __name__ == '__main__':
while True:
data = input("ingrese: ")
prueba(data)
print(resultado_lexema)
La idea es que tome la palabra HOla como variable, y no que la separe en dos partes, como lo esta devolviendo el código.
ERROR: No token list is defined
cuando intento ejecutar el código. Recuerda que debes publicar un código reproducible, mínimo. También tienes que dar el resultado esperado, para validar la solución.