Tengo un archivo con datos separados por pipes o |
de la siguiente forma:
FOLIO|estatus|causa_rechazo|mov_solicitado|mov_definitivo|fecha_tramite|fecha_rec_cecyrd|fecha_reg_cecyrd|fecha_cancelado_mac|fecha_rechazado|fecha_cancelado_mov_post|fecha_alta_pe|fecha_actual_pe|fecha_reinc_pe|fecha_existoso|fecha_lote_prod|fecha_listo_reimp|fecha_cpv_creada|fecha_registrada_mac|fecha_disponible|fecha_entregada|fecha_afecta_ln
1738163100001|RECHAZADO|TRAMITE CANCELADO EN MAC POR MOVIMIENTO POSTERIOR|INSCRIPCION||02/01/2017 08:09:45 a. m.|02/01/2017 08:26:37 a. m.|02/01/2017 10:08:24 a. m.|02/01/2017 10:08:24 a. m.|||||||||||||
1738163100002|ENTREGADA||CAMBIO DE DOMICILIO|CAMBIO DE DOMICILIO|02/01/2017 08:09:47 a. m.|02/01/2017 08:22:48 a. m.|02/01/2017 10:08:55 a. m.||||02/01/2017 10:08:09 a. m.|02/01/2017 10:08:07 a. m.||02/01/2017 10:08:09 a. m.|02/01/2017 05:01:53 p. m.||02/01/2017 05:01:40 p. m.|09/01/2017 09:35:05 a. m.|09/01/2017 09:49:48 a. m.|23/01/2017 08:53:56 a. m.|23/01/2017 10:44:24 a. m.
1738452100001|ENTREGADA||REPOSICION DE CREDENCIAL|REPOSICION DE CREDENCIAL|02/01/2017 08:13:18 a. m.|02/01/2017 08:15:42 a. m.|02/01/2017 10:08:30 a. m.||||02/01/2017 10:07:43 a. m.|02/01/2017 10:08:53 a. m.||02/01/2017 10:07:43 a. m.|02/01/2017 05:02:05 p. m.||02/01/2017 05:01:54 p. m.|06/01/2017 08:18:06 a. m.|06/01/2017 08:32:10 a. m.|28/01/2017 10:27:27 a. m.|29/01/2017 06:40:03 p. m.
Intento procesarlos con nodejs para poder importarlos en MongoDB, por lo que hice este script que usa el módulo csvtojson:
'use strict'
const csvRegistros = 'registros.csv'
const csv = require('csvtojson')
const parametros = {
delimiter: '|',
noheader: false,
headers: [
"FOLIO", "estatus", "causa_rechazo", "mov_solicitado", "mov_definitivo",
"fecha_tramite", "fecha_rec_cecyrd", "fecha_reg_cecyrd", "fecha_cancelado_mac",
"fecha_rechazado", "fecha_cancelado_mov_post", "fecha_alta_pe", "fecha_actual_pe",
"fecha_reinc_pe", "fecha_existoso", "fecha_lote_prod", "fecha_listo_reimp",
"fecha_cpv_creada", "fecha_registrada_mac", "fecha_disponible", "fecha_entregada",
"fecha_afecta_ln"
],
checkColumn: true,
workerNum: 1
}
csv(parametros)
.fromFile(csvRegistros)
.on('json', (jsonObj) => {
console.log(jsonObj)
})
No escribe ningún archivo, porque no se cómo hacerlo todavía, así que lo ejecuto de la siguiente manera:
node .\convertidor.js > .\test.json
Y mi salida es así (borro algunos campos por brevedad):
{ FOLIO: '1738163100001',
estatus: 'RECHAZADO',
causa_rechazo: 'TRAMITE CANCELADO EN MAC POR MOVIMIENTO POSTERIOR',
mov_solicitado: 'INSCRIPCION',
mov_definitivo: '',
fecha_tramite: '02/01/2017 08:09:45 a. m.',
fecha_rec_cecyrd: '02/01/2017 08:26:37 a. m.',
fecha_reg_cecyrd: '02/01/2017 10:08:24 a. m.',
fecha_cancelado_mac: '02/01/2017 10:08:24 a. m.',
...
fecha_disponible: '',
fecha_entregada: '',
fecha_afecta_ln: '' }
{ FOLIO: '1738163100002',
estatus: 'ENTREGADA',
causa_rechazo: '',
mov_solicitado: 'CAMBIO DE DOMICILIO',
mov_definitivo: 'CAMBIO DE DOMICILIO',
fecha_tramite: '02/01/2017 08:09:47 a. m.',
fecha_rec_cecyrd: '02/01/2017 08:22:48 a. m.',
fecha_reg_cecyrd: '02/01/2017 10:08:55 a. m.',
fecha_cancelado_mac: '',
...
fecha_disponible: '09/01/2017 09:49:48 a. m.',
fecha_entregada: '23/01/2017 08:53:56 a. m.',
fecha_afecta_ln: '23/01/2017 10:44:24 a. m.' }
La salida, parece correcta, pero cuando la paso por un validador obtengo el error:
Error: Parse error on line 1:
{ FOLIO: '173816310000
--^
Expecting 'STRING', '}', got 'undefined'
Hay un demo que produce una salida correcta: un arreglo de objetos, según la definición de JSON.
Problema
Mi objetivo importar los datos a MongoDB usando Node.js con un arreglo de documentos en JSON . Este módulo me interesó porque permite usar multihilos y tengo algunas cuantas decenas de miles de registros que procesar, pero cualquier alternativa que me permita lograr el objetivo se agradece.
Notas
- Tengo un problema con las fechas, pero es tema de otra pregunta. Por el momento, esta pregunta se centra en crear el documento JSON.
- Estoy usando Windows 8 para este ejemplo, aunque puedo usar Ubuntu 16.04, Ubuntu 17.04 o macOS Sierra 10.
- El servidor MongoDB es 2.6.10 y corre en una máquina con Ubuntu Linux 16.04
Actualización
Tal como comenta Trauma en su respuesta, el primer paso es usar una salida correcta usando JSON.Stringify
, por lo que ahora el script se ve así:
csv(parametros)
.fromFile(csvRegistros)
.on('json', (jsonObj) => {
console.log(JSON.stringify(jsonObj))
})
La salida, sin embargo no es válida porque no es un arreglo de objetos:
{"FOLIO":"1738163100001","estatus":"RECHAZADO","causa_rechazo":"TRAMITE CANCELADO EN MAC POR MOVIMIENTO POSTERIOR","mov_solicitado":"INSCRIPCION","mov_definitivo":"","fecha_tramite":"02/01/2017 08:09:45 a. m.","fecha_rec_cecyrd":"02/01/2017 08:26:37 a. m.","fecha_reg_cecyrd":"02/01/2017 10:08:24 a. m.","fecha_cancelado_mac":"02/01/2017 10:08:24 a. m.","fecha_rechazado":"","fecha_cancelado_mov_post":"","fecha_alta_pe":"","fecha_actual_pe":"","fecha_reinc_pe":"","fecha_existoso":"","fecha_lote_prod":"","fecha_listo_reimp":"","fecha_cpv_creada":"","fecha_registrada_mac":"","fecha_disponible":"","fecha_entregada":"","fecha_afecta_ln":""}
{"FOLIO":"1738163100002","estatus":"ENTREGADA","causa_rechazo":"","mov_solicitado":"CAMBIO DE DOMICILIO","mov_definitivo":"CAMBIO DE DOMICILIO","fecha_tramite":"02/01/2017 08:09:47 a. m.","fecha_rec_cecyrd":"02/01/2017 08:22:48 a. m.","fecha_reg_cecyrd":"02/01/2017 10:08:55 a. m.","fecha_cancelado_mac":"","fecha_rechazado":"","fecha_cancelado_mov_post":"","fecha_alta_pe":"02/01/2017 10:08:09 a. m.","fecha_actual_pe":"02/01/2017 10:08:07 a. m.","fecha_reinc_pe":"","fecha_existoso":"02/01/2017 10:08:09 a. m.","fecha_lote_prod":"02/01/2017 05:01:53 p. m.","fecha_listo_reimp":"","fecha_cpv_creada":"02/01/2017 05:01:40 p. m.","fecha_registrada_mac":"09/01/2017 09:35:05 a. m.","fecha_disponible":"09/01/2017 09:49:48 a. m.","fecha_entregada":"23/01/2017 08:53:56 a. m.","fecha_afecta_ln":"23/01/2017 10:44:24 a. m."}
{"FOLIO":"1738452100001","estatus":"ENTREGADA","causa_rechazo":"","mov_solicitado":"REPOSICION DE CREDENCIAL","mov_definitivo":"REPOSICION DE CREDENCIAL","fecha_tramite":"02/01/2017 08:13:18 a. m.","fecha_rec_cecyrd":"02/01/2017 08:15:42 a. m.","fecha_reg_cecyrd":"02/01/2017 10:08:30 a. m.","fecha_cancelado_mac":"","fecha_rechazado":"","fecha_cancelado_mov_post":"","fecha_alta_pe":"02/01/2017 10:07:43 a. m.","fecha_actual_pe":"02/01/2017 10:08:53 a. m.","fecha_reinc_pe":"","fecha_existoso":"02/01/2017 10:07:43 a. m.","fecha_lote_prod":"02/01/2017 05:02:05 p. m.","fecha_listo_reimp":"","fecha_cpv_creada":"02/01/2017 05:01:54 p. m.","fecha_registrada_mac":"06/01/2017 08:18:06 a. m.","fecha_disponible":"06/01/2017 08:32:10 a. m.","fecha_entregada":"28/01/2017 10:27:27 a. m.","fecha_afecta_ln":"29/01/2017 06:40:03 p. m."}
Nótese que no están separados por comas, y por supuesto no es un array, que debería ser así:
[ {trámite}, {trámite}, ..., {trámite}]
'
y"
, o la has editado ? eso no es un JSON.JSON.stringify( )
, oconsole.log( )
?console.log(jsonObj)
para mostrar la salida dejsonObj
que es el objeto que se le pasa a la callback del métodoon()
decsv