0

Tengo el siguiente código que me permite leer una página web que yo elija, el problema son los espacios en blanco que hay, he intentado eliminarlos con strip() o con alguna expresión regular pero no ha funcionado. Estoy usando este código en google colab.

!pip install beautifulsoup4
import urllib.request

from bs4 import BeautifulSoup



paginaweb= 'https://agenciacolocacion.ayto-albacete.es'
with urllib.request.urlopen(paginaweb) as response:
    html = response.read().decode() 
soup = BeautifulSoup(html, features = "html.parser")



#Delete script and  style

for script in soup (["script","style"]):

    script.extract() 
    print(soup.get_text().strip())

El resultado Mi intención es obtener algo así

3
  • Se podría usar una expresión regular que elimine grupos de dos o más espacios para eliminar solo espacios que se repiten.
    – Dante S.
    el 30 ene. 2022 a las 22:15
  • re.sub("\s{2,}", "", "hola mundo soy dante" produce hola mundosoy dante
    – Dante S.
    el 30 ene. 2022 a las 22:17
  • Más allá de eso, parece que el resultado que estás obteniendo no tiene el texto esperado. Incluso si hicieras lo que yo propuse, el texto resultante no sería igual al esperado...
    – Dante S.
    el 30 ene. 2022 a las 22:17

1 respuesta 1

0

Según esta respuesta: Print "\n" or newline characters as part of the output on terminal puedes usar print(repr(soup.get_text())) para verificar los caracteres que quieres eliminar.

...
'\n\n\n\n\n\n\nAgencia Municipal de Colocación Albacete\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n \n\nAgencia Municipal de\r\n\t\t\t\t\t\t\t\tColocación del Ayuntamiento de Albacete\nAgencia Colocación\nNúmero\r\n\t\t\t\t\t\t\t\tde Autorización: 0700000001.  967 21 88 21  [email protected]\n\n\n\n\n\n\n\n\n\n\n\n Inicio\n\n\n\n\n\n Listado ofertas\n\r\n\t\t\t\t\t\t\t\tSolicita Cita Previa\n ReactivateAlbacete\n\r\n\t\t\t\t\t\t\t\tEmpresas\n Contacta\n\n\n\n Iniciar Sesión\n\n\n\n\n\n\n\n\n\n\nLa Agencia\n¿Quiénes somos? ¿Qué hacemos? ¿Dónde estamos?\nLeer Más\n\n\n\n\n\n\n\n¿Qué puedes  hacer?\nDescubre las posibilidades de nuestra\r\n\t\t\t\t\t\t\tnueva Área virtual.\nLeer Más\n\n\n\n\n\n\n\n¡Solicita tu cuenta!\nAccede al Área virtual de la Agencia de\r\n\t\t\t\t\t\t\tColocación\nLeer\r\n\t\t\t\t\t\t\tMás\n\n\n\n\n\n\n\nListado Ofertas\nConsulta las ofertas de trabajo que\r\n\t\t\t\t\t\t\ttenemos disponibles para ti\nLeer\r\n\t\t\t\t\t\t\tMás\n\n\n\n\n\n\n\r\n\t\t\t\tEsta web utiliza cookies propias y de terceros para analizar y\r\n\t\t\t\tmejorar su experiencia de navegación. \r\n\t\t\t\tLeer más\nRechazo\nAcepto\n\n\n\n\n\n\n\n\n\r\n\t\t\t\t\t\t\t\tAyuntamiento de Albacete ©2022 |   \r\n\t\t\t\t\t\t\t\tReactívate Albacete\n\n\n   \n\n\n Información\r\n\t\t\t\t\t\t\t\tProtección de datos |    Política de\r\n\t\t\t\t\t\t\t\tprivacidad |   Accesibilidad \n\n\n\n\nPágina\r\n\t\t\t\t\toptimizada para trabajar con el navegador Google Chrome, Firefox,\r\n\t\t\t\t\tSafari, Edge. Algunas de las funciones en Internet Explorer podrían\r\n\t\t\t\t\tno estar disponibles\n\n\n\n\n\n'

Como sugiere @DanteS. podrías eliminar con regex los espacios, la cuestión es que tiene incluido endlines (\n) y tabs (\t) no solo espacios (\s).

Strip solo funciona para los bordes, inicio y final del texto, no para espacios intermedios. Al ser un texto largo casi todos los caracteres que quieres eliminar están entre palabras del texto.

La forma más corta en código sería usar regex (pero merecería otra pregunta), una forma aproximada sería soup.get_text().replace("\n"," ").replace("\t"," ").replace("\s"," ").


En todo caso según la documentación puedes usar el argumento soup.get_text(strip=True) lo cual ayuda un poco, observando lo que hace falta con repr(), usar:

print(soup.get_text(strip=True).replace("\t",""))

Da como salida:

...
Safari, Edge. Algunas de las funciones en Internet Explorer podrían
no estar disponibles
Agencia Municipal de Colocación AlbaceteAgencia Municipal de
Colocación del Ayuntamiento de AlbaceteAgencia ColocaciónNúmero
de Autorización: 0700000001.967 21 88 [email protected] ofertasSolicita Cita PreviaReactivateAlbaceteEmpresasContactaIniciar SesiónLa Agencia¿Quiénes somos? ¿Qué hacemos? ¿Dónde estamos?Leer Más¿Qué puedes  hacer?Descubre las posibilidades de nuestra
nueva Área virtual.Leer Más¡Solicita tu cuenta!Accede al Área virtual de la Agencia de
ColocaciónLeer
...
1
  • Tu primera propuesta no funciona bien en la parte de reemplazar los espacios. No quita los grupos de espacios. Aun así, me parece mejor la segunda propuesta.
    – Dante S.
    el 31 ene. 2022 a las 12:37

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.