1

Tengo un proyecto para seminario en maestría que consiste en coger un listado de 107605registros de artículos y necesitamos ingresar la información a un índice tipo percolador para finalmente ingresar textos a través de una interfaz, percolarlos y resaltar las palabras relacionadas.

Para ello tenemos, por consola, los siguientes pasos:

  1. Creamos un índice con mapeado percolador:
curl -XPUT 'localhost:9200/my-index?pretty' -H 'Content-Type: application/json' -d'
{
   "mappings": {
       "_doc": {
           "properties": {
               "title": {
                   "type": "text"
               },
               "query": {
                   "type": "percolator"
               }
           }
       }
   }
}
'
  1. Ingresamos un registro al índice:
curl -XPUT 'localhost:9200/my-index/_doc/1?refresh&pretty' -H 'Content-Type: application/json' -d'
{           
    "CourseId":35,
      "UnitId":12390,
      "id":"16069",
      "CourseName":"ARK102U_ARKEOLOJİK ALAN YÖNETİMİ",
      "FieldId":8,
      "field":"TARİH",
    "query": {
        "span_near" : {
            "clauses" : [
                { "span_term" : { "title" : "dünya" } },
                { "span_term" : { "title" : "mirası" } },
                { "span_term" : { "title" : "sözleşmesi" } }
            ],
            "slop" : 0,
            "in_order" : true
        }
    }
}
'

Como podemos ver, como consulta se van a ingresar todas las palabras incluídas en el campo título del registro. 3. Hacemos la consulta ingresando el texto:

curl -XGET 'localhost:9200/my-index/_search?pretty' -H 'Content-Type: application/json' -d'
{
    "query" : {
        "percolate" : {
            "field" : "query",
            "document" : {
                "title" : "Arkeoloji, arkeolojik yöntemlerle ortaya çıkarılmış kültürleri, dünya mirası sözleşmesi sosyoloji, coğrafya, tarih, etnoloji gibi birçok bilim dalından yararlanarak araştıran ve inceleyen bilim dalıdır. Türkçeye yanlış bir şekilde \"kazıbilim\" olarak çevrilmiş olsa da kazı, arkeolojik araştırma yöntemlerinden sadece bir tanesidir."
            }
        }
    },

    "highlight": {
      "fields": {
        "title": {}
      }
    }
}
'

Los registros vienen en un archivo json y hasta el momendo los capturo y los incluyo en un diccionario, pero de ahí para allá no sé bien como continuar. Este es mi planteamiento:

import json
from elasticsearch_dsl import (
DocType,
Integer,
Percolator,
Text,
)

# Read the json File
json_data = open('titles.json').read()
data = json.loads(json_data)

docs = data['response']['docs']

# Creating a elasticsearch connection
# connections.create_connection(hosts=['localhost'], port=['9200'], timeout=20)
"""
curl -XPUT 'localhost:9200/my-index?pretty' -H 'Content-Type: application/json' -d'
{
    "mappings": {
        "_doc": {
            "properties": {
                "title": {
                    "type": "text"
                },
                "query": {
                    "type": "percolator"
                }
            }
        }
    }
}
'

"""

class Documment(DocType):
    course_id = Integer()
    unit_id = Integer()
    # title = Text()
    id = Integer()
    course_name = Text()
    field_id = Integer()
    field = Text()


    class Meta:
        index = 'titles_index'


                properties={
                    'title': Text(),
                    'query': Percolator()
                 }

"""
    "query": {
        "span_near" : {
            "clauses" : [
                { "span_term" : { "title" : "dünya" } },
                { "span_term" : { "title" : "mirası" } },
                { "span_term" : { "title" : "sözleşmesi" } }
            ],
            "slop" : 0,
            "in_order" : true
        }
    }

"""

for doc in docs:

    terms = docs['title'].split(“ ”)
    course_id = docs['CourseId']
    unit_id = docs['UnitId']
    id = docs['id']
    course_name = docs['CourseName']
    field_id = docs['FieldId']
    field = docs['field']

Cómo debo continuar el desarrollo?

Muchas gracias.

1 respuesta 1

1

Muy bien, voy a publicar aquí la respuesta que construí con la ayuda de otro usuario del mismo sitio pero en inglés:

Primero voy a obtener todos los registros desde el archivo en formato json:

import json

# Read the json File
json_data = open('titles.json').read()
data = json.loads(json_data)

docs = data['response']['docs']

Todos los registros están ahora en el diccionario docs.

Ahora vamos a crear un objecto que llamaremos Documento, aprovechando las características de persistencia que otorga elasticsearch-dsl-py:

from elasticsearch_dsl import (
    connections,
    DocType,
    Mapping,
    Percolator,
    Text
)

class Document(DocType):
    title = Text()
    query = Percolator()    # query is a percolator

    class Meta:
        index = 'title-index' # index name
        doc_type = '_doc'

    def save(self, **kwargs):
        return super(Document, self).save(**kwargs)

Nuestro registro tendrá como campos un título tipo texto y una consulta tipo percolador; el índice se llamará title-index y el tipo de documento será _doc.

No olvidemos crear una conexión por defecto que será utilizada por los elementos del código:

# creating a new default elasticsearch connection
connections.configure(
    default={'hosts': 'localhost:9200'},
)

Ahora inicialicemos el índice:

# create the mappings in elasticsearch
Document.init()

Por último, vamos a ingresar en el índice cada uno de los registros, de tal forma que las palabras que conforman el título correspondan a una consulta asociada a ese elemento:

# index the query
for doc in docs:
    # convert title to a dictionary
    terms = doc['title'].split(" ")
    # crate a dictionary for clauses
    clauses = []
    for term in terms:
        # each word in terms going to be a SpanTerm
        field = SpanTerm(title=term)
        # add each SpanTerm to clauses
        clauses.append(field)
    # Query going to be a SpanNear query
    query = SpanNear(clauses=clauses, slop=0, in_order=True)
    # Create a new Document item with SpanNear query
    item = Document(query=query)
    # Save item
    item.save()

Hemos usado aquí algunas clases definidas dentro de la librería, esto con el fin de evitar el uso de complicados diccionarios para definir las consultas.

El código resultante es:

import json

from elasticsearch_dsl import (
    connections,
    DocType,
    Mapping,
    Percolator,
    Text
)
from elasticsearch_dsl.query import (
    SpanNear,
    SpanTerm
)
from elasticsearch import Elasticsearch

# Read the json File
json_data = open('titles.json').read()
data = json.loads(json_data)

docs = data['response']['docs']


# creating a new default elasticsearch connection
connections.configure(
    default={'hosts': 'localhost:9200'},
)


class Document(DocType):
    title = Text()
    query = Percolator()    # query is a percolator

    class Meta:
        index = 'title-index' # index name
        doc_type = '_doc'

    def save(self, **kwargs):
        return super(Document, self).save(**kwargs)


# create the mappings in elasticsearch
Document.init()

# index the query
for doc in docs:
    # convert title to a dictionary
    terms = doc['title'].split(" ")
    # crate a dictionary for clauses
    clauses = []
    for term in terms:
        # each word in terms going to be a SpanTerm
        field = SpanTerm(title=term)
        # add each SpanTerm to clauses
        clauses.append(field)
    # Query going to be a SpanNear query
    query = SpanNear(clauses=clauses, slop=0, in_order=True)
    # Create a new Document item with SpanNear query
    item = Document(query=query)
    # Save item
    item.save()

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.