La forma en que debes realizar esto es: modificar el arreglo, enviarlo al `Adapter`, en este caso `CustomGridViewAdapter()` y volver a ejecutar: .notifyDataSetChanged(); me parece que es la única forma, tener un array de datos dinámico.