Skip to main content
7 de 7
se añadieron 525 caracteres en el cuerpo
Francisco
  • 479
  • 3
  • 11

La funcion strtok viene en string.h y toma dos argumentos; el primero indica la cadena que vamos a dividir (es importante saber que esta cadena será modificada, así que si queremos que se mantenga intacta debemos copiarla a otra variable) y el segundo indica una lista de delimitadores.

Un ejemplo de como concatenar token en una matriz de caracteres:

int n=0;        
while (fgets(bufer, LONGITUD_MAXIMA_CADENA, archivo))
{           
    token = strtok(bufer, s);
    // leemos los token de cada fila o buffer
    while( token != NULL) 
    {   
        longitud=strlen(token);
        printf( "\n%i:%s\n",longitud, token);
       //guardamos el token en la matriz, vector o pila de caracteres
        for(int i = 0; i<=longitud; i++,n++) arreglo[n] = token[i];
           
        arreglo[n-1]=' ';arreglo[n]=0;//separamos por espacio y finalizamos la cadena
        //mostramos todo lo procesado
        for(int i = 0; i<strlen(arreglo); i++) putchar(arreglo[i]);
        
         token = strtok(NULL, s);
    }
}

Nota que el tamaño del buffer de entrada no debería ser igual al tamaño de la pila donde guardamos los tokens para que no se nos vaya de rango(stack overflow).

Una ejemplo mas sofisticado de como funciona un compilador: Llámanos a nuestro código token.c para autocompilarse.

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define LONGITUD_MAXIMA 10000
#define LONGITUD_MAXIMA_FICHERO 100000 
    
int main(){
    char const s[] = " \n\t";
    char *token;
    char *arreglo[LONGITUD_MAXIMA];
    int longitud;

    FILE *archivo =fopen("token.c", "r") ;
    char bufer[LONGITUD_MAXIMA_FICHERO]; // Aquí vamos a ir almacenando todo el fichero
    int n=0;
    int contador=0;        
    while (fgets(bufer+contador, LONGITUD_MAXIMA_FICHERO-contador, archivo))
    {           
        token = strtok(bufer+contador, s);
        // leemos los token de cada fila o buffer
        while( token != NULL) 
        {   
            longitud=strlen(token);
            printf( "\n%i:%s",longitud, token);
           //guardamos el token en la matriz, vector o pila de caracteres
           
            arreglo[n++] = token;
            contador=token-bufer+(longitud+1);          

            
             token = strtok(NULL, s);
        }
    }
    //mostramos todo lo procesado
    for(int i = 0; i<n; i++) printf( "\n%i:%s",i, arreglo[i]);
}

Nota que los token se almacenan en el propio buffer de entrada el cual vamos avanzando gracias a la variable contador:

contador=token-bufer+(longitud+1); 

Y que tenemos un vector de punteros que apunta a cada token dentro del bufer

arreglo[n++] = token;

Entonces, podemos entender el extraño comportamiento que esta haciendo strtok

  1. Es una función que tiene memoria para las siguientes iteraciones(guarda un puntero al bufer y/o al final del ultimo token tratado).
  2. Recorre el buffer ignorando los caracteres en 's' o los delimitadores
  3. Al encontrar el primer token o carácter distinto al delimitador se guarda el puntero para luego devolverlo.
  4. Sobrescribe un \0 o fin de cadena al final del token, modificando el contenido del bufer.
Francisco
  • 479
  • 3
  • 11