2

Tengo multiples archivos .csv en un directorio y quiero anadir ellos en elastic search. Por lo momento solamente tengo un script para un archivo espesifico. ¿Me pueden ayudar a hacer el guión que los agregaría a todos?

Aquí está mi intento :

import os

from datetime import datetime
from elasticsearch import Elasticsearch
es = Elasticsearch()

import csv
l=[]
count = 0
# Para cada archivo del directorio donde estamos
for element in os.listdir(os.getcwd()):
    # en el caso el archivo esta .csv,
    if element.endswith('.csv'):
        with open(element, newline='') as csvfile:
            # leemos el csv con sus delimitadores, no sé lo que esta quotechar.
            spamreader = csv.reader(csvfile, delimiter=';', quotechar='|')
            # obtenemos el encabezado?
            headers = CSV.read(csvfile, headers: true).headers
            # for each row of the csv file
            for row in spamreader:
                # Ne sé porque tenemos que hacer el join
                a=','.join(row)
                # luego dividimos el archivo es columnas.
                data = a.split(',')
                # Despues recorrimos las columnas para anadir sus contenidos en el doc JSON
                for column in range(0,len(data)):
                    doc = {
                        headers[column]: data[column],
                    }
                res = es.index(index="index" + count, doc_type=os.path.splitext(element)[0],body=doc)
                print(doc)
                print("200")

Pero encontro un problema con los encabezados

Aquí está el archivo que funcionó para un archivo específico:

import os

from datetime import datetime
from elasticsearch import Elasticsearch
es = Elasticsearch()

import csv
l=[]
#We open the csv files one after the other.

# For each file,
with open('AccreditationByHep.csv', newline='') as csvfile:
    # we read the csv with its delimiter, I don't know what are quotechar.
    spamreader = csv.reader(csvfile, delimiter=';', quotechar='|')
    # for each row of the csv file
    for row in spamreader:
        # I don't know why we have to do the following join with the row
        a=','.join(row)
        # and then have to split it in columns.
        data = a.split(',')
        # We then add the columns to the JSON doc according to the different 
        doc = {
            'v1': data[0],
            'v2': data[1],
            'v3': data[2],
            'v4': data[3],
            'v5': data[4],
        }
    res = es.index(index="index1", doc_type='AccreditationByHep',body=doc)
            print(doc)
            print("200")
        print("200")

Por ejemplo aquí está el contenido de mi directorio :

mike@mike-thinks:~/Data/on_2018_04_25_16_43_17$ ls
AccreditationByHep.csv              JOBLIST.csv
AccreditationByHepModified.csv      JOBTYPE.csv
AccreditationByHepModifiedTest.txt  kis20180424140552.xml
ACCREDITATION.csv                   KISAIM.csv
ACCREDITATIONTABLE.csv              KISCOURSE.csv
addCSVToElastic.py                  LOCATION.csv
COMMON.csv                          logstash_AccreditationByHep.config
CONTINUATION.csv                    NHSNSS.csv
COURSELOCATION.csv                  NSS.csv
DEGREECLASS.csv                     readme.txt
EMPLOYMENT.csv                      replaceCharacter.py
ENTRY.csv                           SALARY.csv
getFirstTenLines.py                 SBJ.csv
getHeader.py                        TARIFF.csv
importCSVFiles                      test.py
INSTITUTION.csv                     UCASCOURSEID.csv

1 respuesta 1

2

Si se usa csv.reader la forma de obtener el header es simplemente leyendo la primera fila (hay que tener seguro por tanto que el csv tiene cabecera). Esto se puede hacer simplemente usando next sobre el iterador:

header = next(spamreader)

Dicho esto viendo el segundo código, que según dices funciona, lo que estás enviando es cada fila por separado en forma de diccionario donde las claves son las cabeceras, es decir para un csv de la forma:

A;B
1;2
3;4

Lo que haces es:

doc = {'A': 1, 'B': 2}
doc = {'A': 2, 'B': 4}

Para hacer esto mejor usar directamente csv.DictReader que ya nos retorna un diccionario con esta estructura por cada fila. En realidad retorna una instancia de collections.OrderecDict, pero podemos conseguir un diccionario de ser necesario usando dict() simplemente.

import csv
import glob



for path in glob.glob("*.csv"):
    with open(path, newline='') as csvfile:
        reader = csv.DictReader(csvfile, delimiter=';', quotechar='|')
        for row in reader:
            doc = dict(row)
            print(doc)

No obstante puedes usar elasticsearch.helpers.bulk para facilitar la tarea:

import csv
import glob
import os
from elasticsearch import helpers, Elasticsearch



es = Elasticsearch()

for path in glob.glob("*.csv"):
    with open(path, newline='') as csvfile:
        reader = csv.DictReader(csvfile, delimiter=';', quotechar='|')
        csv_name = os.path.splitext(path)[0]
        helpers.bulk(es, reader, index="index1", doc_type=csv_name)

Las líneas:

a=','.join(row)
data = a.split(',')

no tiene absolutamente ningún sentido en un csv válido, la única explicación que le podría encontrar es que estés ante un csv no válido que mezcle ; y , como delimitadores y se pretenda corregir con esto.

En cuanto a lo del parámetro quotechar es simplemente un carácter que es usado para acotar cuando un carácter especial, como el separador, forma parte de los datos en sí, por ejemplo:

A,B
Hola, tengo frio.,Si, yo también.

Sería un csv inválido ya que el carácter delimitador está presente dentro del contenido en sí. Si parseamos esa fila nos encontraríamos con:

['Hola', 'tengo frio.', 'Si', 'yo también.']

En tu caso (defines quotechar como '|'), el csv debería ser:

A,B
|Hola, tengo frio.|,|Si, yo también.|

Generalmente se usa el carácter " para esto.

4
  • Muchas gracias FJ, sus códigos siempre están a la vanguardia de la documentación más reciente. Tengo algunas pequeñas excepciones que han surgerion que he almacenado aquí, no creo que ponga todo en cuestión, pero prefiero advertirle el 7 may. 2018 a las 21:09
  • Finalmente, no sé si es tan benigno porque cuando intento crear una clase que hace lo que haces, como resultado de su creación de instancias, el script está bloqueado. Creé una nueva pregunta aquí el 15 may. 2018 a las 17:04
  • @Marine1 el error se debe seguramente al uso de ES>=6 y la desaparición del soporte para mapping types múltiples para un mismo índice: elastic.co/guide/en/elasticsearch/reference/6.x/…
    – FJSevilla
    el 15 may. 2018 a las 17:49
  • Entonces, ¿Que hacer? ¿utilisar ES<6 ? Tengo la impresión de que realmente molesta porque cuando trato de usarlo instanciando como un objeto, el script parece detenerse y no crear una instancia de los otros objetos. el 17 may. 2018 a las 12:27

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.