Una ejemplo mas sofisticado de como funciona un compilador:
Llámanos a nuestro código token.c para autocompilarse.
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define LONGITUD_MAXIMA 10000
#define LONGITUD_MAXIMA_FICHERO 100000
int main(){
char const s[] = " \n\t";
char *token;
char *arreglo[LONGITUD_MAXIMA];
int longitud;
FILE *archivo =fopen("token.c", "r") ;
char bufer[LONGITUD_MAXIMA_FICHERO]; // Aquí vamos a ir almacenando todo el fichero
int n=0;
int contador=0;
while (fgets(bufer+contador, LONGITUD_MAXIMA_FICHERO-contador, archivo))
{
token = strtok(bufer+contador, s);
// leemos los token de cada fila o buffer
while( token != NULL)
{
longitud=strlen(token);
printf( "\n%i:%s",longitud, token);
//guardamos el token en la matriz, vector o pila de caracteres
arreglo[n++] = token;
contador=token-bufer+(longitud+1);
token = strtok(NULL, s);
}
}
//mostramos todo lo procesado
for(int i = 0; i<n; i++) printf( "\n%i:%s",i, arreglo[i]);
}