2

Estoy tratando de pasar unas tablas de pdf a data frame, sin embargo en el pdf se encuentran con espacios en las columnas, como se muestra en las fotos.

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

Estoy intentando eliminar estos espacios con la ayuda de pandas, usando el siguiente código, sin embargo se me esta dificultando para cuando hay más de un espacio en blanco, ¿saben si hay alguna función que ya haga este trabajo?

import camelot
import pandas as pd

pdf_path = ('https://www.sgg.chiapas.gob.mx/po2018/archivos/C-215-09032022-1548.pdf')

tables = camelot.read_pdf(pdf_path, pages = "1-3",  multiple_tables = True, flavor= 'stream')

df2 = tables[2].df


def remueve_espacios(t):
    temp =  ""
    for j in range(1,len(t)):
        temp = t[1][j]
        if (t[0][j] == ""):
            t[1][j-1] = t[1][j-1]+ " " + temp 
            t.drop(j, inplace=True) 
            
remueve_espacios(df2)
1
  • ¿Has probado con 'tabula'? pip install tabula-py pip install pandas import tabula #declare the path of your file file_path = "/path/to/pdf_file/data.pdf"#Convert your file df = tabula.read_pdf(file_path)
    – efueyo
    Commented el 12 mar. 2022 a las 18:26

1 respuesta 1

2

Buen día,

Es una pregunta interesante

Lo que puedes hacer es crear una nueva columna (La llamo group) y hacer una condición para que group sea 1 en las filas donde la columna 0 no esté vacía

df.loc[~(df[0] == ''), 'group'] = 1

Luego agrupamos el dataframe de acuerdo a la columna group y para que cada grupo sea diferente hacemos cumsum (Eso va a ocasionar que group empiece en 1 y cada vez que haya un 1 en nuestra columna group va a sumar, entonces digamos que esto crea el ID del grupo)

g = df.group.fillna(0).cumsum()

Luego, en el dataframe original vamos a concatenar el texto de las filas que tienen el mismo ID del grupo con transform(' '.join) (Esto hace que todas las filas de la columna 1 que tengan el mismo ID de grupo tengan el mismo texto, pero ahora ya es el texto completo)

df[1] = df.groupby(g)[1].transform(' '.join)

Por último, creamos un nuevo dataframe para obtener únicamente las filas que tienen información en la columna 0

new_df =  df.loc[~(df[0] == '')]

Si deseas eliminar la columna group puedes hacer

new_df = new_df.drop('group', axis=1)

El ejemplo completo:

import camelot
import pandas as pd

pdf_path = ('https://www.sgg.chiapas.gob.mx/po2018/archivos/C-215-09032022-1548.pdf')

tables = camelot.read_pdf(pdf_path, pages = "1-3",  multiple_tables = True, flavor= 'stream')

df = tables[2].df

df.loc[~(df[0] == ''), 'group'] = 1
g = df.group.fillna(0).cumsum()
df[1] = df.groupby(g)[1].transform(' '.join)
new_df =  df.loc[~(df[0] == '')]

new_df = new_df.drop('group', axis=1)
2
  • Muchísimas gracias me ayudo mucho, no se me hubiera ocurrido con una nueva columna, interesante solución.
    – mirii99
    Commented el 12 mar. 2022 a las 18:39
  • @mirii99, si la respuesta te sirvió por favor acéptala, así ayudas a otros usuarios a encontrar la solución a sus preguntas y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. Commented el 13 mar. 2022 a las 2:42

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.