0

Tengo un dispositivo que envia a mi proyecto a una carpeta un archivo tipo json cada vez que registra un proceso nuevo, entonces yo quiero tomar los valores recibidos e integrarlos a mi proyecto laravel, el tema es que esos json se almacenan con nombres variables, si pueden orientarme que proceso debo hacer, o su nombre para indagar sobre el tema.

Json(Name.json=date_name_tipo) que recibo

{
    "info": {
        "DateHour":"2021-01-13 10:29:44.574",
        "Engine":"LPR",
        "Name":"prueba",
        "Container":"",
        "ExtraInfo":"",
        "Confidence":"99.45",
        "Country":"Argentina",
    }
}

Gracias de antemano por la ayuda que puedan brindarme

3
  • 1
    Muéstranos algo de código... qué has probado? En dónde estás atascado?
    – DjCrazy
    Commented el 14 ene. 2021 a las 0:10
  • hola, @DjCrazy Ese es el json que estoy recibiendo automaticamente en mi carpeta prueba, el tema es que se guarda con nombre dinamico datetime+nombredelenvento, estoy viendo si podria consumirlo tipo con API que desconozco el tema, o hacer un insert a una tabla de lo que recibo, pero con esos nombres dinamicos no se muy bien que hacer Commented el 14 ene. 2021 a las 0:25
  • Para este caso te recomiendo guardar el nombre del archivo en bd y algun atributo, puede ser un timestamp, para que te avise que ya leiste dicho archivo Commented el 14 ene. 2021 a las 3:33

1 respuesta 1

2

Según entiendo, tu pregunta se refiere en términos generales al tratamiento de N archivos que van quedando en una cierta carpeta producto de una acción o proceso. Yo veo los siguientes escenarios

  1. Los archivos se suben por tu app o tu app los genera (ya sea en respuesta a un comando, un request, o periódicamente)
  2. Los archivos se suben o generan ajenos al control y conocimiento de la app (logs de otro proceso, salida de un cron, subidas de otra app, etc).

El caso 1 es trivial y el tratamiento de los archivos lo podrías hacer a continuación de la subida/creación. Vamos a suponer que estamos en el escenario 2.

Hay aspectos del problema que no son triviales y pertenecen a la lógica de dominio. ¿Se puede mover o renombrar los archivos? ¿Nos consta que el proceso externo no pisará un archivo existente con un contenido distinto? ¿Se almacenan en una ubicación que es legible para la app? La respuesta siguiente evita modificar los archivos y asume que son visibles y con nombre único

Configuración del almacenamiento

Laravel configura el almacenamiento en config/filesystems.php y lo organiza usando discos y drivers. Cada 'disco' a su vez tiene configurado un driver. Aquellos que tienen el driver "local" apuntan a directorios en la misma máquina de la app (tal como otros drivers apuntan a S3, Firebase Storage, etc). Concretamente, el disco por defecto es local apunta a <directorio app>/storage/app.

Operar con almacenamiento

Usando el facade Storage puedes invocar al método files para listar los contenidos de un directorio.

Por ejemplo, creando un comando en routes/console.php (sirve igual si se ejecuta en un job o un controller)

<?php

 // routes/console.php
 use Illuminate\Support\Facades\Artisan;
 use Illuminate\Support\Facades\Storage;


  Artisan::command(
    'folder:files {folder?}',
    function (
        string $folder = '' 
    ): void {
 
        $this->info(sprintf('In path: %s', Storage::path($folder)));

        $fileList = Storage::files($folder);
        dump($fileList);
    }
  )->describe(
    'Display contents of {folder}'
  );

Para obtener también (recursivamente) los archivos que están en subcarpetas, puedes usar

    Storage::files($folder, true); 

o bien

    Storage:allFiles($folder);

Si quisieras usar otro disco (por ejemplo, el disco public apunta a <directorio app>/public) puedes especificarlo con el método disk

 $this->info(sprintf('In path: %s', Storage::disk('public')->path($folder)));

 $fileList = Storage::disk('public')->files($folder);

Crear un nuevo disco

Suponiendo que tus archivos json están en otra ubicación (e.g. /var/output_json/exportaciones), puedes crear un nuevo "disco" en config/filesystems.php

 'disks' => [
    // este es el disco por defecto
    'local' => [ 
        'driver' => 'local',
        'root' => storage_path('app'),
    ],
    // este disco apunta a tus json
    'mis_json' => [ 
        'driver' => 'local',
        'root' => '/var/output_json/exportaciones'
    ]
    //...otros discos
  ]

Y luego correr php artisan config:cache para que haga efecto. De ahí en adelante puedes listar su contenido con

  $fileList = Storage::disk('mis_json')->files(); 
  // o un subdirectorio
  $fileList = Storage::disk('mis_json')->files($folder); 

También podrías hacer un symlink dentro de tus discos actuales, pero cuidado donde lo dejes, porque no podrás listar los contenidos de un directorio si éste contiene symlinks.

Registrar los archivos ya procesados

Teniendo la manera de listar todos los archivos candidatos a procesar, el paso siguiente es registrar los que vas procesando para no importarlos nuevamente.

Los procesados puedes mantenerlos en un modelo, un archivo o donde quieras mientras sea un mecanismo que te permita leer y añadir entradas. Cierro con un ejemplo completo que usa un vulgar archivo json para mantener el historial de importaciones

    $disk = 'local';
    $importadosFile = 'importados.json';
    // Esto usa el storage principal
    if (!Storage::exists($importadosFile)) {
        Storage::put(
            $importadosFile,
            '[]'
        );
    }
    $importados = collect(json_decode(Storage::get($importadosFile), true));

    // Esto en cambio referencia el disco que tiene los JSON
    $storage = Storage::disk($disk);


    $fileList = $storage->files($folder);

    $pendientes = collect($fileList)->diff($importados->map(function($entry) {
      return $entry['fileName'];
  }));

    $pendientes->each(function ($pendiente) use (&$importados, $storage) {
        $contenido = json_decode($storage->get($pendiente), true);
        
        $importados->push(
            array_merge(
                $contenido??[],
                [
                    'fileName' => $pendiente,
                    'lastModified' => $storage->lastModified($pendiente)

                ]
            )
        );
    });

    Storage::put($importadosFile, ($importados->toJson(JSON_PRETTY_PRINT)));

Si el proceso externo que crea estos archivos puede pisar un archivo existente con una versión más nueva, no basta comparar por nombres de archivo.

En ese escenario, que escapa al problema general, habría que computar el checksum de cada archivo en base a su contenido (por ejemplo usando md5-file o hash_file) pero creo que eso nos devuelve a una lógica de dominio que se aparta de la pregunta general.

6
  • gracias @ffflabs por la ayuda brindada actualmente me encuentro aplicando todo lo que me dijo, comento los resultados al finalizar Commented el 15 ene. 2021 a las 0:18
  • Hola, @ffflabs Estoy obteniendo error en esta linea $pendientes = collect($fileList)->diff($importados->map(fn ($entry) => $entry['fileName']));Error inesperado => Commented el 15 ene. 2021 a las 0:30
  • el ejemplo asume que está definida la variable $folder. Si no la pusiste defínela como un string vacío. Envuelve el método en un bucle try/catch para que te muestre información útil del error
    – ffflabs
    Commented el 15 ene. 2021 a las 2:18
  • Gracas si hasta el aqui: $fileList = $storage->files($folder); esta todo ok imprimí el array del contenido de la carpeta sin complicaciones, el error salta en la línea siguiente en la variable $pendientes, dice lo siguiente: syntax error, unexpected '=>' (T_DOUBLE_ARROW), expecting ')' Commented el 15 ene. 2021 a las 13:05
  • Oh. No estás usando php 7.4? Tendré que editar
    – ffflabs
    Commented el 15 ene. 2021 a las 15:29

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.