Según entiendo, tu pregunta se refiere en términos generales al tratamiento de N archivos que van quedando en una cierta carpeta producto de una acción o proceso. Yo veo los siguientes escenarios
- Los archivos se suben por tu app o tu app los genera (ya sea en respuesta a un comando, un request, o periódicamente)
- Los archivos se suben o generan ajenos al control y conocimiento de la app
(logs de otro proceso, salida de un cron, subidas de otra app, etc).
El caso 1 es trivial y el tratamiento de los archivos lo podrías hacer a continuación de la subida/creación. Vamos a suponer que estamos en el escenario 2.
Hay aspectos del problema que no son triviales y pertenecen a la lógica de dominio. ¿Se puede mover o renombrar los archivos? ¿Nos consta que el proceso externo no pisará un archivo existente con un contenido distinto? ¿Se almacenan en una ubicación que es legible para la app? La respuesta siguiente evita modificar los archivos y asume que son visibles y con nombre único
Configuración del almacenamiento
Laravel configura el almacenamiento en config/filesystems.php
y lo organiza usando discos y drivers. Cada 'disco' a su vez tiene configurado un driver. Aquellos que tienen el driver "local" apuntan a directorios en la misma máquina de la app (tal como otros drivers apuntan a S3, Firebase Storage, etc). Concretamente, el disco por defecto es local
apunta a <directorio app>/storage/app
.
Operar con almacenamiento
Usando el facade Storage
puedes invocar al método files
para listar los contenidos de un directorio.
Por ejemplo, creando un comando en routes/console.php
(sirve igual si se ejecuta en un job o un controller)
<?php
// routes/console.php
use Illuminate\Support\Facades\Artisan;
use Illuminate\Support\Facades\Storage;
Artisan::command(
'folder:files {folder?}',
function (
string $folder = ''
): void {
$this->info(sprintf('In path: %s', Storage::path($folder)));
$fileList = Storage::files($folder);
dump($fileList);
}
)->describe(
'Display contents of {folder}'
);
Para obtener también (recursivamente) los archivos que están en subcarpetas, puedes usar
Storage::files($folder, true);
o bien
Storage:allFiles($folder);
Si quisieras usar otro disco (por ejemplo, el disco public
apunta a <directorio app>/public
) puedes especificarlo con el método disk
$this->info(sprintf('In path: %s', Storage::disk('public')->path($folder)));
$fileList = Storage::disk('public')->files($folder);
Crear un nuevo disco
Suponiendo que tus archivos json están en otra ubicación (e.g. /var/output_json/exportaciones
), puedes crear un nuevo "disco" en config/filesystems.php
'disks' => [
// este es el disco por defecto
'local' => [
'driver' => 'local',
'root' => storage_path('app'),
],
// este disco apunta a tus json
'mis_json' => [
'driver' => 'local',
'root' => '/var/output_json/exportaciones'
]
//...otros discos
]
Y luego correr php artisan config:cache
para que haga efecto. De ahí en adelante puedes listar su contenido con
$fileList = Storage::disk('mis_json')->files();
// o un subdirectorio
$fileList = Storage::disk('mis_json')->files($folder);
También podrías hacer un symlink dentro de tus discos actuales, pero cuidado donde lo dejes, porque no podrás listar los contenidos de un directorio si éste contiene symlinks.
Registrar los archivos ya procesados
Teniendo la manera de listar todos los archivos candidatos a procesar, el paso siguiente es registrar los que vas procesando para no importarlos nuevamente.
Los procesados puedes mantenerlos en un modelo, un archivo o donde quieras mientras sea un mecanismo que te permita leer y añadir entradas. Cierro con un ejemplo completo que usa un vulgar archivo json para mantener el historial de importaciones
$disk = 'local';
$importadosFile = 'importados.json';
// Esto usa el storage principal
if (!Storage::exists($importadosFile)) {
Storage::put(
$importadosFile,
'[]'
);
}
$importados = collect(json_decode(Storage::get($importadosFile), true));
// Esto en cambio referencia el disco que tiene los JSON
$storage = Storage::disk($disk);
$fileList = $storage->files($folder);
$pendientes = collect($fileList)->diff($importados->map(function($entry) {
return $entry['fileName'];
}));
$pendientes->each(function ($pendiente) use (&$importados, $storage) {
$contenido = json_decode($storage->get($pendiente), true);
$importados->push(
array_merge(
$contenido??[],
[
'fileName' => $pendiente,
'lastModified' => $storage->lastModified($pendiente)
]
)
);
});
Storage::put($importadosFile, ($importados->toJson(JSON_PRETTY_PRINT)));
Si el proceso externo que crea estos archivos puede pisar un archivo existente con una versión más nueva, no basta comparar por nombres de archivo.
En ese escenario, que escapa al problema general, habría que computar el checksum de cada archivo en base a su contenido (por ejemplo usando md5-file o hash_file) pero creo que eso nos devuelve a una lógica de dominio que se aparta de la pregunta general.