1

estoy tratando de extraer datos de una porción de html que puede variar la información que tiene en un listado.

A continuación las posbiles porciones de html con sus respectiva salida esperada.

Ejemplo 1

<ul>
    <li class="contentnode">
        <dl><dt>País</dt><dd>Uganda</dd></dl>
    </li>
    <li class="contentnode">
        <dl><dt>Ciudad</dt><dd>Foo</dd></dl>
    </li>
    <li class="contentnode">
        <dl><dt>Email</dt><dd>[email protected]</dd></dl>
    </li>
</ul>

Salida esperada:

{'country': 'Uganda', 'city': 'Foo', 'email': '[email protected]'}

Ejemplo 2

<ul>
    <li class="contentnode">
        <dl><dt>País</dt><dd>Uganda</dd></dl>
    </li>
    <li class="contentnode">
        <dl><dt>Ciudad</dt><dd>Foo</dd></dl>
    </li>
</ul>

Salida esperada:

{'country': 'Uganda', 'city': 'Foo', 'email': None}
# o también
{'country': 'Uganda', 'city': 'Foo'}

Ejemplo 3

<ul>
    <li class="contentnode">
        <dl><dt>País</dt><dd>Uganda</dd></dl>
    </li>
</ul>

Salida esperada:

{'country': 'Uganda', 'city': None, 'email': None}
# o también
{'country': 'Uganda'}

Ejemplo 4

<ul>
    <li class="contentnode">
        <dl><dt>Email</dt><dd>[email protected]</dd></dl>
    </li>
</ul>

Salida esperada:

{'country': None, 'city': None, 'email': '[email protected]'}
# o también
{'email': '[email protected]'}

Detalles

  • Se puedo saber que campos se van a extraer los datos pero no si los campos están.
  • El diccionario debe ser creado en un solo paso y de forma completa debido a razones que no vienen al caso, es decir, no se debe hacer (en lo posible) una verificación previa de si algo está o no para luego extraer el dato y agregarselo al diccionario.
  • La tarea se debe concentrar en lo posible en la expresión regular.
  • La entrada (html) que recibe la expresión regular no tiene saltos de línea. Ejemplo:
<ul><li class="contentnode"><dl><dt>País</dt><dd>Uganda</dd></dl></li><li class="contentnode"><dl><dt>Ciudad</dt><dd>Foo</dd></dl></li><li class="contentnode"><dl><dt>Email</dt><dd>[email protected]</dd></dl></li></ul>

Intento

Hé probado con la siguiente expresión regular:

import re
# input
html = '<ul><li class="contentnode"><dl><dt>País</dt><dd>Uganda</dd></dl></li><li class="contentnode"><dl><dt>Ciudad</dt><dd>Foo</dd></dl></li><li class="contentnode"><dl><dt>Email</dt><dd>[email protected]</dd></dl></li></ul>'
# regex
pattern = r'<dt>(?:País</dt><dd>(?P<country>\w+)|Ciudad</dt><dd>(?P<city>\w+)|Email</dt><dd>(?P<email>[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+))</dd>'
m = re.search(pattern, html)
print(m.groupdict())
mi salida:       {'country': 'Uganda', 'city': None, 'email': None}
salida esperada: {'country': 'Uganda', 'city': 'Foo', 'email': '[email protected]'}

Desde ya gracias. Saludos.

1 respuesta 1

1

Si asumimos que tu html tiene las tres etiquetas li siempre en ese orden, puedes combinar grupos de no captura (?:) que envuelva a cada li con el cuantificador ? (cero o uno) para hacerlos opcionales:

import re


html1 = '<ul><li class="contentnode"><dl><dt>País</dt><dd>Uganda</dd></dl></li><li class="contentnode"><dl><dt>Ciudad</dt><dd>Foo</dd></dl></li><li class="contentnode"><dl><dt>Email</dt><dd>[email protected]</dd></dl></li></ul>'
html2 = '<ul><li class="contentnode"><dl><dt>País</dt><dd>Uganda</dd></dl></li><li class="contentnode"><dl><dt>Ciudad</dt><dd>Foo</dd></dl></li></ul>'
html3 = '<ul><li class="contentnode"><dl><dt>País</dt><dd>Uganda</dd></dl></li></ul>'
html4 = '<ul><li class="contentnode"><dl><dt>Email</dt><dd>[email protected]</dd></dl></li></ul>'


pattern = re.compile(r'''
<ul>
    (?:<li\ class=\"contentnode\">
        <dl>
            <dt>País</dt>
            <dd>(?P<country>\w+)</dd>
        </dl>
    </li>)?.*?
    (?:<li\ class=\"contentnode\">
        <dl>
            <dt>Ciudad</dt>
            <dd>(?P<city>\w+)</dd>
        </dl>
    </li>)?.*?
    (?:<li\ class=\"contentnode\">
        <dl>
            <dt>Email</dt>
            <dd>(?P<email>[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+)</dd>
        </dl>
    </li>)?
</ul>''', flags=re.VERBOSE)


for html in (html1, html2, html3, html4):
    m = pattern.search(html)
    print(m.groupdict())
{'country': 'Uganda', 'city': 'Foo', 'email': '[email protected]'}
{'country': 'Uganda', 'city': 'Foo', 'email': None}
{'country': 'Uganda', 'city': None, 'email': None}
{'country': None, 'city': None, 'email': '[email protected]'}

Si quieres no incluir los valores None puedes filtrar el diccionario:

for html in (html1, html2, html3, html4):
    m = pattern.search(html)
    print({group: value for group, value in m.groupdict().items() if value is not None})
{'country': 'Uganda', 'city': 'Foo', 'email': '[email protected]'}
{'country': 'Uganda', 'city': 'Foo'}
{'country': 'Uganda'}
{'email': '[email protected]'}

Normalmente no es buena idea usar regexs para parsear html/xml, pero supongo que tendrás tus razones para usar expresiones regulares en vez de usar un parser específico.

1
  • ¿qué sugieres para parsear el html? Estoy con la libreria MechanicalSoup, he buscado en la documentación de MechanicalSoup y de BeautifulSoup pero no encontré nada parecido para realizar esta tarea. Commented el 15 may. 2020 a las 0:23

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.