Tengo multiples archivos .csv en un directorio y quiero anadir ellos en elastic search. Por lo momento solamente tengo un script para un archivo espesifico. ¿Me pueden ayudar a hacer el guión que los agregaría a todos?
Aquí está mi intento :
import os
from datetime import datetime
from elasticsearch import Elasticsearch
es = Elasticsearch()
import csv
l=[]
count = 0
# Para cada archivo del directorio donde estamos
for element in os.listdir(os.getcwd()):
# en el caso el archivo esta .csv,
if element.endswith('.csv'):
with open(element, newline='') as csvfile:
# leemos el csv con sus delimitadores, no sé lo que esta quotechar.
spamreader = csv.reader(csvfile, delimiter=';', quotechar='|')
# obtenemos el encabezado?
headers = CSV.read(csvfile, headers: true).headers
# for each row of the csv file
for row in spamreader:
# Ne sé porque tenemos que hacer el join
a=','.join(row)
# luego dividimos el archivo es columnas.
data = a.split(',')
# Despues recorrimos las columnas para anadir sus contenidos en el doc JSON
for column in range(0,len(data)):
doc = {
headers[column]: data[column],
}
res = es.index(index="index" + count, doc_type=os.path.splitext(element)[0],body=doc)
print(doc)
print("200")
Pero encontro un problema con los encabezados
Aquí está el archivo que funcionó para un archivo específico:
import os
from datetime import datetime
from elasticsearch import Elasticsearch
es = Elasticsearch()
import csv
l=[]
#We open the csv files one after the other.
# For each file,
with open('AccreditationByHep.csv', newline='') as csvfile:
# we read the csv with its delimiter, I don't know what are quotechar.
spamreader = csv.reader(csvfile, delimiter=';', quotechar='|')
# for each row of the csv file
for row in spamreader:
# I don't know why we have to do the following join with the row
a=','.join(row)
# and then have to split it in columns.
data = a.split(',')
# We then add the columns to the JSON doc according to the different
doc = {
'v1': data[0],
'v2': data[1],
'v3': data[2],
'v4': data[3],
'v5': data[4],
}
res = es.index(index="index1", doc_type='AccreditationByHep',body=doc)
print(doc)
print("200")
print("200")
Por ejemplo aquí está el contenido de mi directorio :
mike@mike-thinks:~/Data/on_2018_04_25_16_43_17$ ls
AccreditationByHep.csv JOBLIST.csv
AccreditationByHepModified.csv JOBTYPE.csv
AccreditationByHepModifiedTest.txt kis20180424140552.xml
ACCREDITATION.csv KISAIM.csv
ACCREDITATIONTABLE.csv KISCOURSE.csv
addCSVToElastic.py LOCATION.csv
COMMON.csv logstash_AccreditationByHep.config
CONTINUATION.csv NHSNSS.csv
COURSELOCATION.csv NSS.csv
DEGREECLASS.csv readme.txt
EMPLOYMENT.csv replaceCharacter.py
ENTRY.csv SALARY.csv
getFirstTenLines.py SBJ.csv
getHeader.py TARIFF.csv
importCSVFiles test.py
INSTITUTION.csv UCASCOURSEID.csv