Primero, esos no son números. Es una cadena caracteres y para almacenarlos cómo números necesitas convertirlos.

Para eso te sugiero que lo hagas de forma similar a como puedes leer un número hexadecimal desde el terminal:

    int n = 0;
    scanf("%x", &n);

La función que puedes usar para leer desde archivos es su "hermana" [`fscanf`][1].

    FILE *in=fopen(argv[1],"r");
    int n = 0;
    fscanf(in, "%x", &n);

En lugar de `fgetc` puedes usar [`feof`][2] para ver si ya llegaste al final del archivo.

Obtendrías un código así:

    #include <stdio.h>
	
	int getHex(FILE* f){
	    int n = 0;
	    fscanf(f, "%x\n", &n);
	    return n;
	}
	
	int main(int argc, char** argv){
	    FILE* f = fopen(argv[1], "r");

	    while (!feof(f)){
	        int n = getHex(f);
	        printf("%d\n", n);
	    }
	    fclose(f);
	}

----------

Todavía falta la parte de almacenar los números que lees. Eso lo puedes lograr facilmente con un contador.

Fuera del while declaras la variable, por ejemplo **i**. Y dentro del ciclo vas aumentando el contador y asignando los valores a una posición diferente

    int prog[20];
    int i = 0;
    while(i < 20 && !feof(f)){
        ...
        prog[i] = n;
        i++;
    }

Nota que en el ejemplo agregué `20` al arreglo. Esto porque en C los arreglos son de tamaño fijo. Necesitas indicar el tamaño que quieres que tenga, de lo contrario usará la cantidad de elementos entre llaves como tamaño.

----------

Respondiendo a lo que comentas, el código funciona bien. Es solo que debes inicializar todas las variables. Incluidos los arreglos.

Para inicializar un arreglo, una forma simple es mediante una lista. Si la lista tiene menos elementos que el arreglo, [el resto de ellos se inicializará en 0][3].

Así:

    int arreglo[30] = { 1, 2, 3 };
    // También es válido usar una lista vacía
    int arreglo[30] = {};

Otra opción que puedes elegir es asignar un valor a cada posición del arreglo:

    int arreglo[30];
    for (int i = 0; i < 30, i++){
        arreglo[i] = 0;
    }


  [1]: https://en.cppreference.com/w/c/io/fscanf
  [2]: https://en.cppreference.com/w/c/io/feof
  [3]: https://en.cppreference.com/w/c/language/array_initialization