1

Tengo un carpeta con 2000 archivos .txt. Cada archivo txt contiene la siguiente información de la siguiente manera:

<CATEGORIA>Noticias Articulo Categoria</CATEGORIA>
<ENCABEZADO>Noticias Articulo Encabezado</ENCABEZADO>
<ARTICULO>Noticias Articulo Text</ARTICULO>
<CATEGORIA>Noticias Articulo Categoria</CATEGORIA>

Por ejemplo:

<CATEGORIA>CULTURA</CATEGORIA>
<ENCABEZADO>LAS PINTURAS DE DALI</ENCABEZADO>
<ARTICULO>ENTRE LAS PINTURAS DE DALI PODEMOS ENCONTRAR ... ETC. </ARTICULO>

Lo que necesito hacer es coger la información de cada una de esos 2000 archivos .txt (las 2000 noticias) y convertirlas en un único data frame con las columnas: noticias_categoria, noticias_titular, noticias_articulo. Pero no se como combinarlos todos en un unico data frame de la manera mencionada. Soy nuevo en Python así que disculpad si es un poco tonta la pregunta.

He conseguido sacar una lista con los nombres de cada archivo .txt usando:

ruta_carpetas  = '../directorio/..' 
nombres_carpetas = os.listdir(ruta_carpetas)

Pero no he podido continuar.

0

1 respuesta 1

0

Procesar el contenido

Ya que el formato de los contenidos se parece ligeramente a un XML, es posible usar la biblioteca BeautifulSoup para extraer la información relevante.

Por ejemplo una función como la siguiente podría recibir una cadena que sería el contenido de un fichero, y devolverte un diccionario con la información ya procesada:

from bs4 import BeautifulSoup

def procesar_contenido(contenido):
    procesado = BeautifulSoup(contenido, 'html.parser')
    campos = ["categoria", "encabezado", "articulo"]
    return { campo: procesado.find(campo).text for campo in campos }

Ejemplo de lo que haría esa función:

contenido = """
<CATEGORIA>CULTURA</CATEGORIA>
<ENCABEZADO>LAS PINTURAS DE DALI</ENCABEZADO>
<ARTICULO>ENTRE LAS PINTURAS DE DALI PODEMOS ENCONTRAR ... ETC. </ARTICULO>
"""

datos = procesar_contenido(contenido)
print(datos)

Resultaría:

{'articulo': 'ENTRE LAS PINTURAS DE DALI PODEMOS ENCONTRAR ... ETC. ',
 'categoria': 'CULTURA',
 'encabezado': 'LAS PINTURAS DE DALI'}

Procesar todos los ficheros

Iterando por la lista de ficheros, puedes ir abriendo uno, leyendo su contenido y usando la función anterior para convertirlo en un diccionario. Puedes ir recopilando todos esos diccionarios en una gran lista (que al final tendría 2000 diccionarios).

Algo así:

todos = []  # Inicialmente vacía
ruta_carpetas  = '../directorio/..' 
for fichero in os.listdir(ruta_carpetas):
    with open(fichero) as f:
       contenido = f.read()
       datos = procesar_contenido(contenido)
       todos.append(datos)

Crear dataframe

Una vez tienes la lista de los 2000 diccionarios, del resto se ocupa pandas:

import pandas as pd

df = pd.DataFrame(todos)

Por ejemplo, yo no tengo tus 2000 ficheros, pero puedo crear una lista todos que repita 10 veces el mismo diccionario:

contenido = """
<CATEGORIA>CULTURA</CATEGORIA>
<ENCABEZADO>LAS PINTURAS DE DALI</ENCABEZADO>
<ARTICULO>ENTRE LAS PINTURAS DE DALI PODEMOS ENCONTRAR ... ETC. </ARTICULO>
"""

datos = procesar_contenido(contenido)
todo = [datos] * 10
df = pd.DataFrame(todo)

El resultado en este caso es:

Resultado

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.