1

en la actualidad, hemos tenido dificultades para insertar datos provenientes de un JSON a una tabla en SQL Server utilizando C#.

Este es un ejemplo del tipo de JSON que estamos recibiendo:

[
  {
    "uniqueID": 1116804644,
    "plate": "VD-227",
    "GPSDate": "2024-10-21T06:39:18.000Z",
    "latitude": 1.18963,
    "longitude": -76.64931,
    "speed": 0,
    "course": 0,
    "odometer": 25823.429,
    "receivedDate": "2024-10-21T06:39:19.000Z",
    "stateInfo": {
      "stateData": {
        "stateParam": "11+",
        "stateDetail": "Parado"
      }
    },
    "GPSQuality": 1,
    "CANInfo": {
      "CANData": [
        {
          "CANParam": "fuelLevel1",
          "CANValue": "72"
        },
        {
          "CANParam": "RPM",
          "CANValue": "0"
        },
        {
          "CANParam": "speed",
          "CANValue": "0"
        },
        {
          "CANParam": "coolantTemperature",
          "CANValue": "80"
        }
      ]
    },
    "peripheralsInfo": {
      "peripheralsData": [
        {
          "peripheralsParam": "Motor",
          "peripheralsValue": "Parado"
        },
        {
          "peripheralsParam": "Bateria",
          "peripheralsValue": "Cargando"
        },
        {
          "peripheralsParam": "Pedal panico",
          "peripheralsValue": "off"
        },
        {
          "peripheralsParam": "Inmovilizador",
          "peripheralsValue": "Bloqueado"
        }
      ]
    },
    "geofenceInfo": {
      "geofenceData": {
        "geofencePoint": "PUNTO 161",
        "geofencePolygon": "UF5-6-7 VAR SANFRANCISCO"
      }
    }
  },
  {
    "uniqueID": 1116940862,
    "plate": "VD-207",
    "GPSDate": "2024-10-21T06:35:37.000Z",
    "latitude": 6.82334,
    "longitude": -74.78653,
    "speed": 0,
    "course": 0,
    "odometer": 27759.361,
    "receivedDate": "2024-10-21T16:13:52.000Z",
    "stateInfo": {
      "stateData": {
        "stateParam": "11+",
        "stateDetail": "Parado"
      }
    },
    "GPSQuality": 1,
    "CANInfo": {
      "CANData": [
        {
          "CANParam": "adblueLevel",
          "CANValue": "0"
        }
      ]
    },
    "peripheralsInfo": {
      "peripheralsData": [
        {
          "peripheralsParam": "Motor",
          "peripheralsValue": "Parado"
        },
        {
          "peripheralsParam": "Bateria",
          "peripheralsValue": "Cargando"
        },
        {
          "peripheralsParam": "Pedal panico",
          "peripheralsValue": "off"
        },
        {
          "peripheralsParam": "Inmovilizador",
          "peripheralsValue": "Bloqueado"
        }
      ]
    },
    "geofenceInfo": {
      "geofenceData": {
        "geofencePoint": "PUNTO 159",
        "geofencePolygon": "MAG2_ZonaOperativa"
      }
    }
  }
]

Estos son solo dos posiciones de las mas de 25.000 que entrega el JSON, la idea es presentarlas para que se puedan hacer a la idea de lo que necesitamos.

La muestra del JSON anterior, lo obtenemos con el siguiente metodo:

/// <summary>
        /// 2024-10-10 10:24: Obtenemos el JSON y con este, creamos la coleccion de objetos en C# para tener los datos disponibles.
        /// </summary>
        /// <returns></returns>
        public async Task<vehicleInfo[]> GetVehicleInfoByDate()
        {
            var client = new HttpClient();
            var request = new HttpRequestMessage
            {

                Method = HttpMethod.Get,
                RequestUri = new Uri("https://servicios.flotasnet.es:1443/api/GetInfoVehicleByDate2?startdate=2024-10-22T06%3A35%3A00Z&enddate=2024-10-22T06%3A40%3A00Z"),
                Headers =
                {
                    { "user-agent", "vscode-restclient" },
                    { "accept", "application/json" },
                    { "user", _username },
                    { "password", _sha256Concatenado },
                    { "company", _company },
                },
            };
            using (var response = await client.SendAsync(request))
            {
                response.EnsureSuccessStatusCode();
                // 2024-09-13 11:19: Con esta linea se genera la pagina con los datos.
                var body = await response.Content.ReadAsStringAsync();
                // 2024-09-11 08:19: Con esta linea, vemos los datos en consola para hacer busquedas y ver lo que 
                // estamos recibiendo.
                Console.WriteLine(body);
                // 2024-09-13 11:19: Con esta linea se convierte la pagina llena de datos en una coleccion en C#.
                var deserialized = JsonConvert.DeserializeObject<vehicleInfo[]>(body);
                return deserialized;
            }
        }

Como pueden notar, cuando deserializamos, lo convertivomos a una clase de tipo vehicleInfo, la cual tiene la siguiente estructura:

using System;
using System.Collections.Generic;
using System.Dynamic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

namespace DAL
{
    public class vehicleInfo
    {
        public long uniqueID { get; set; }
        public string? plate { get; set; }
        public DateTime GPSDate { get; set; }
        public float latitude { get; set; }
        public float longitude { get; set; }
        public int speed { get; set; }
        public int course { get; set; }
        public float odometer { get; set; }
        public DateTime receivedDate { get; set; }
        public stateData? stateInfo { get; set; }
        public int GPSQuality { get; set; }
        public CANData? CANInfo { get; set; }
        public peripheralsData? peripheralsInfo { get; set; }
        public geofenceData? geofenceInfo { get; set; }
    }
}

En este punto, ya tenemos los datos deserializado y listos para utilizarlos en un siguiente metodo que busca insertarlos en una tabla SQL Server. Antes de crear el metodo, creamos una clase con la estructura de la tabla donde se recibiran los datos, la cuel es la siguiente:

using Microsoft.Win32;
using System;
using System.Collections.Generic;
using System.ComponentModel.DataAnnotations;
using System.ComponentModel.DataAnnotations.Schema;
using System.Linq;
using System.Numerics;
using System.Runtime.InteropServices;
using System.Text;
using System.Threading.Tasks;
using Microsoft.EntityFrameworkCore;

namespace DAL
{
    public class GpsAPIRESTFlotasnet
    {
        [Key]
        [DatabaseGenerated(DatabaseGeneratedOption.Identity)]
        public int Registro { get; set; }   
        public BigInteger uniqueID { get; set; }
        public string? plate { get; set; }
        public DateTime GPSDate { get; set; }
        public int speed { get; set; }
        [Precision(53)]
        [Column(TypeName = "float(53)")]
        public float odometer { get; set; }
        public DateTime receivedDate { get; set; }
        public string? stateParamExcesoVelocidadGeocerca { get; set; }
        public string? stateParamAlarmaLimiteVelocidad { get; set; }
        public string? stateParamAlarmaACLAceleracionBrusca { get; set; }
        public string? stateParamAlarmaACLFrenadaBrusca { get; set; }
        public string? CANValueTotalFuel { get; set; }
        public string? CANValueFuelLevel1 { get; set; }
        public string? CANValueRPM { get; set; }
        public string? CANValueOdometer { get; set; }
        public string? CANValuesSpeed { get; set; }
        public string? CANValueCoolantTemperature { get; set; }
        public string? CANValueAmbientAirTemperature { get; set; }  
        public string? CANValueEngineHours { get; set; }
        public string? peripheralsValueMotor { get; set; }
        public string? geofencePolygon { get; set; }
        public DateTime FechaInsert { get; set; }
    }
}

Todo lo presentado anteriromente, lo creimos necesario para poder llegar a este pundo. Hemos diseñado un metodo cuyo proposito sera insertar los mas de 25.000 posiciones del arreglo entregados en el JSON en la tabla de SQL Server cuya estructura mostramos anteriormente. Es claro que no utilizaremos todos los datos entregados en el arreglo, sino que utilizaremos los de nuestro interes. Para ello comenzarmos con la creacion de este metodo:

public void InsertarDatosOperacion()
{
    var deserialized = GetVehicleInfoByDate();
    foreach (vehicleInfo[] b in deserialized)
    {
        var q1 = new GpsAPIRESTFlotasnet
        {
            uniqueID = b.[uniqueID]
            plate =
            GPSDate =
            speed =
            odometer =
            receivedDate =
            stateParamExcesoVelocidadGeocerca =
            stateParamAlarmaLimiteVelocidad =
            stateParamAlarmaACLAceleracionBrusca =
            stateParamAlarmaACLFrenadaBrusca =
            CANValueTotalFuel =
            CANValueFuelLevel1 =
            CANValueRPM =
            CANValueOdometer =
            CANValuesSpeed =
            CANValueCoolantTemperature =
            CANValueAmbientAirTemperature =
            CANValueEngineHours =
            peripheralsValueMotor =
            geofencePolygon =
    }
    // 2024-10-24 16:21: Datos a insertar
    context.GpsAPIRESTFlotasnet.AddRange(q1);
        context.SaveChanges();
    }

En este punto estamos llenos de dudas para poder hacer correctamente el registro de los datos en la tabla SQL Server, las cuales queremos comenzar a mencionar:

  1. Cuando comenzamos el foreach, creamos la estructura donde se van a recibir los datos, pero tener las siguientes lineas, no sabemos la forma correcta de asignarle los valores del dato b.[uniqueID] al parametro uniqueID, pensamos que simplemente era llamarlo asi b.[uniqueID]

    foreach (vehicleInfo[] b in deserialized) { var q1 = new GpsAPIRESTFlotasnet { uniqueID = b.[uniqueID]

  2. Las cosas se nos complican un poco mas cuando deseamos entrar a un array que esta interno para tomar los valores de nuestro interes como en este caso:

    foreach (vehicleInfo[] b in deserialized) { var q1 = new GpsAPIRESTFlotasnet { CANValueTotalFuel = b.[CANInfo.CANData[CANValue] CANValueFuelLevel1 = b.[CANInfo.CANData[CANValue]

Este punto es confuso para nosotros porque dentro del objeto CANData tenemos un arreglo donde deseamos tomar datos especificos como los 2 casos mencionados de CANValueTotalFuel y CANValueFuelLevel1 pero en si, no sabemos como llegar a ellos, notamos que la diferencia entre ambos esta en el "CANParam" por que uno es "CANParam":"totalFuel" y el otro es "CANParam":"fuelLevel1", pero en si, no sabemos la forma.

Agradecemos su colaboracion e instruccion para poder lograr nuestro objetivo.

1 respuesta 1

1

Tu problema se debe a que estás usando funciones asíncronas

public async Task<vehicleInfo[]> GetVehicleInfoByDate()
{
  //etc
}

public void InsertarDatosOperacion()
{
    var deserialized = GetVehicleInfoByDate();
    foreach (vehicleInfo[] b in deserialized)
    {
       //ETC
}

La última función está mal, debería tener la siguiente forma:

     //  ↓ Es necesaria una función async para poder utilizar await
public async void InsertarDatosOperacion()
{
                    //  ↓  await te retorna una lista, sin eso te retorna una tarea
   var deserialized = await GetVehicleInfoByDate();

                  //  ↓ b NO es un array
    foreach (vehicleInfo b in deserialized)
    {
      //etc
}

Te recomiendo crear una función de trasformación

public GpsAPIRESTFlotasnet ToGpsAPIRESTFlotasnet(vehicleInfo info) => new GpsAPIRESTFlotasnet
{
    uniqueID = info.uniqueID,
    plate = info.plate,
    //etc
};

Y luego usas un Select

public async void InsertarDatosOperacion()
{
    var deserialized = await GetVehicleInfoByDate();
    var gpsDatas = deserialized.Select(ToGpsAPIRESTFlotasnet);
    context.GpsAPIRESTFlotasnet.AddRange(gpsDatas);
    context.SaveChanges();
}

Tengo bastante experiencia en recoger información de telemetría, así que te voy a dar unas recomendaciones

  • Buscas otra forma de guardar los datos, algo como un bulk es mucho más rápido
  • Guarda siempre todos los datos que te entrega la API. Luego los puedes necesitar
  • Si preveas que usaras otras apis u otras marcas con datos distintos, busca un esquema común
  • La base de datos crecerá rápidamente. Ábrete a la posibilidad de usar otro tipo de base de datos, te recomiendo alguna que opere con series de tiempo (TSDB) como influxDB o QuestDb. Estas bases de datos tienen un alto performance al insertar y consultar, además cuentan con funciones especializadas para realizar consultar en relación a fechas
8
  • Yussef muchas gracias por la respuesta. Es posible que por favor nos indiques en los casos donde hay que acceder a datos dentro del arreglo como es el caso CANValueTotalFuel como se debe hacer? Pensabamos que esto se hace en el metodo GpsAPIRESTFlotasnet de la siguiente forma CANValueTotalFuel = info.CANInfo.CANValue, pero no nos es claro como se accede exactamente al dato de totafule. Tambien es importante preguntar, porque no usas foreach, pensabamos que siempre que se tiene arreglos se debia utilizar ese bucle para recorrer todos los datos. Agradecemos sus observaciones. Commented el 28 oct. a las 16:46
  • @GermanDavid No entendí tu pregunta, supongo que te refieres a lo que está en el json como CANInfo->CANData[], me parece que en vehicleInfo no está bien definido, yo creo que debe ser algo así i.sstatic.net/GPBPhTBQ.png En la imagen, la primera función muestra como buscar el valor de fuelLevel1, luego las clases de abajo son como creo que debería estar definidas tu clasas en relación a CANData y CANinfo
    – Yussef
    Commented el 28 oct. a las 21:33
  • Sobre el foreach: En mi respuesta utilizo un Select (es el equivalente un map en javascript, por si lo conoces). Un Select es una función transformadora. Toma una lista y a cada elemento de la lista lo transforma en otra cosa, devolviendo otra lista con la misma cantidad de elementos, pero cada elemento es una transformación del origina. La transformación puede ser lo que tú quieras (eso lo define el desarrollador) en este caso, simplemente convertimos un elemento del tipo vehicleInfo en GpsAPIRESTFlotasnet.
    – Yussef
    Commented el 28 oct. a las 21:37
  • En rigor un Select es lo mismo que un foreach donde en cada loop se ejecuta la función transformadora. A mi me parece más ordenado de esa manera, porque tengo una función que transforma separada y aislada, incluso reutilizable para otros casos y en la función InsertarDatosOperacion solo tengo operaciones relacionada con la inserción de datos
    – Yussef
    Commented el 28 oct. a las 21:39
  • muchas gracias Yussef. Commented el 1 nov. a las 17:23

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.