Eso ocurre porque estás usando headers='keys'
. Cuando usas esto se usan las llaves del diccionario pero como no es un diccionario se usa su índice.
Intenta usando tus propias cabeceras:
cur.execute("""select * from admin_eps""")
rows = [cur.fetchall()]
headers = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I']
for row in rows:
print(tabulate(row, headers=headers, tablefmt='fancy_grid', stralign='left'))