Estoy usando el siguiente archivo de la base de datos de geonames:
La base de datos geográfica GeoNames cubre todos los países y contiene más de once millones de nombres de lugares que están disponibles para descargar de forma gratuita.
El archivo tiene: 144513 registros.
Y estoy haciendo un programa en go para leerlo concurrentemente y generar dinámicamente unos comandos curl para hacer unos post al api de Elasticsearch y que se puedan cargar los documentos. Es decir que estoy convirtiendo los registros del archivo de formato csv a formato json para cargarlos con el comando curl en Elasticsearch.
El script que estoy ejecutando es el siguiente:
package main
import (
"encoding/csv"
"fmt"
"os"
"os/exec"
"github.com/satori/go.uuid"
"runtime"
)
const (
FILE = "./MX.txt"
TOTAL_ROWS = 144513
//TOTAL_ROWS = 5
ELASTICSEARCH_INDEX string = "mx"
ELASTICSEARCH_TYPE string = "postal_code"
FILE_DELIMITER = '\t'
)
type Document struct {
cp, colonia, ciudad, delegacion, lat, lon string
}
func main() {
runtime.GOMAXPROCS(4)
var c chan Document = make(chan Document)
go readFile(c)
go toCurl(c)
var input string
fmt.Scanln(&input)
}
func readFile(c chan Document) {
file, err := os.Open(FILE)
printError(err)
defer file.Close()
reader := csv.NewReader(file)
reader.Comma = FILE_DELIMITER
rows, err := reader.ReadAll()
printError(err)
for n, each := range rows {
n++
if n <= TOTAL_ROWS {
c <- Document{
cp: each[1],
colonia: each[2],
ciudad: each[3],
delegacion: each[5],
lat: each[9],
lon: each[10],
}
}
}
}
func toCurl(c chan Document) string {
for {
id := uuid.NewV4().String()
d := <-c
curl :=
`
curl -u elastic:changeme -X PUT "http://$ELASTICSEARCH_HOSTS:$ELASTICSEARCH_PORT/` + ELASTICSEARCH_INDEX + `/` + ELASTICSEARCH_TYPE + `/` + id + `" -d "
{
\"cp\" : \"` + d.cp + `\",
\"colonia\" : \"` + d.colonia + `\",
\"ciudad\" : \"` + d.ciudad + `\",
\"delegacion\" : \"` + d.delegacion + `\",
\"location\": {
\"lat\": ` + d.lat + `,
\"lon\": ` + d.lon + `
}
}"
`
//fmt.Println(curl)
out, err := exec.Command("sh", "-c", curl).Output()
printError(err)
fmt.Printf("%v\n\n", string(out))
}
}
func printError(err error) {
if err != nil {
fmt.Printf("\nError: %v \n ", err.Error())
os.Exit(1)
}
}
Y funciona.
Pero mi duda es:
Quiero saber si realmente estoy haciendo buen uso de los conceptos de channels y goroutines para hacer mejor y mas rapido el proceso. O si hay alguno sugerencia por parte de ustedes para mejorar el programa o los procesos.