5

Tengo una tabla en formato csv con más de 30 columnas con valores de 0 por fila, pero algunas columnas tienen valores. Entonces me gustaría usar Pandas para extraer esos valores y almacenarlos por Zona # Área # y Ptc # y almacenar los valores de acuerdo con su OBJ. La columna de porcentaje tiene sus valores separados por comas.

input

OBJ total run  PERCENTAGE             C5    M1     M12  M15 R7A R10 MR7 R9
0   0.59 |0.40| 100.00                 0    0.401   0   0   0   0   0   0
1   0.88 |0.60| 100.00                 0    0.602   0   0   0   0   0   0
2   0.52 |0.51| 100.00                 0    0.511   0   0   0   0   0   0
3   1.05 |0.98| 100.00                 0    0.979   0   0   0   0   0   0
4   0.58 |0.66| 0.088, 0.12, 99.0     0.001 0.656   0   0 0.00096 0 0   0
5   0.55 |0.88| 0.62, 99.37            0    0.878   0   0 0.00556 0 0   0
6   1.04 |0.86| 0.46, 99.53            0    0.851 0 0   0.0040  0   0   0

lo que ando buscando

OBJ total   run    Zone1 Area1  Ptc1  Zone2 Area2   Ptc2    Zone3   Area3   Ptc3
0   0.59    0.40    M1  0.401   100     0    0      0         0        0    0
1   0.88    0.60    M1  0.602   100     0    0      0         0        0    0 
2   0.52    0.51    M1  0.511   100     0    0      0         0        0    0
3   1.05    0.98    M1  0.979   100     0    0      0         0        0    0
4   0.58    0.66    C5  0.001   0.088   M1   0.656  99.76    R7A    0.00096 0.12
5   0.55    0.88    M1  0.878   99.37   R7A  0.0055 0.62      0        0    0
6   1.04    0.86    M1  0.851   99.53   M15  0.0040 0.46      0        0    0
3
  • Hola Jose, bienvenido a Stack Overflow en español, sería buena idea que colocaras un fragmento inicial del csv (supongo que lo que muestras es el DataFrame) que muestre esas seis filas originales. Si añades el código que estas usando para leer el csv y si has intentado algo además facilitaría mucho la tarea de reproducir el problema por nuestra parte. Supongo que el número de elementos de PERCENTAGE es el número de columnas no vacías en esa fila ¿no?. Un saludo.
    – FJSevilla
    Commented el 23 jun. 2018 a las 16:43
  • Entiendo que la columna percentage tiene separados por comas tantos valores como elementos no-nulos aparezcan en las columnas C5, M1, M12, M15... R9 ¿correcto? Preguntas: ¿pueden aparecer más de tres valores separados por comas? ¿hasta cuántos? ¿Hay más columnas en tu entrada de las que muestras en el ejemplo?
    – abulafia
    Commented el 9 oct. 2018 a las 7:02
  • Buen día, Si alguna respuesta te fue útil no olvides aceptarla, de esa forma ayudas a otros usuarios a encontrar la solución a preguntas similares y al mismo tiempo ayudas a la comunidad a mantener abiertas únicamente las preguntas que no han sido resueltas. ¿Qué debo hacer cuando alguien contesta mi pregunta? Commented el 24 jun. 2022 a las 1:55

3 respuestas 3

0

No entiendo bien tu pregunta pero para reccorrer las filas en un data frame puedes usar esto:

import pandas as pd
dataframe=pd.read_csv('Path de tu archivo')
for indice_fila, fila in dataframe.iterrows():
    print(indice_fila, fila)

aqui imprimes el indice de tu fila y la fila , ya ahi puedes iterar la fila asi:

print(fila['nombre de la columna en el dataframe'])

al final quedaria algo asi

import pandas as pd
dataframe=pd.read_csv('Path de tu archivo')
for indice_fila, fila in dataframe.iterrows():
    print(indice_fila, fila)
    print(fila['nombre de la columna en el dataframe'])
0

Ya que lo que quieres hacer es un tanto complejo, no se me ocurre forma de lograrlo mediante operaciones "vectorizadas" (por así decir), es decir, programación funcional como map(), assign(), etc. que opere con todas las filas del dataframe a la vez.

Sólo se me ocurre iterar por las filas y hacer "a mano" la conversión, lo que no es muy eficiente y puede tardar si tu dataframe es muy grande.

Basándome en el ejemplo que proporcionas y suponiendo que todas las filas cumplen el requisito de que contienen tantas columnas con valor distinto de cero (a partir de la cuarta columna, que es "C5") como elementos separados por comas existen en la columna "PERCENTAGE", el siguiente código haría lo que pides.

Lo he comentado, por que no es evidente ver cómo funciona:

from collections import OrderedDict

# Crearemos una lista en la que cada elemento será una fila del
# dataframe que queremos obtener como resultado. Cada una de esas filas
# será de momento un diccionario (OrderedDict)cuyas claves son los nombres
# de las columnas y los valores los de las correspondientes celdas
new_rows = []

# Iteramos sobre cada fila del dataframe original
for indice, data in df.iterrows():
  # Del campo PERCENTAGE separamos por las comas y convertimos
  # a float cada trozo. El resultado es una tupla con tantos elementos
  # como porcentajes hallados
  percts = tuple(float(p)  for p in data.PERCENTAGE.split(","))

  # El diccionario es de tipo OrderedDict() para que las columnas
  # salgan al final en el orden que me interesa
  extraido = OrderedDict()
  # Insertamos las "columnas" en el orden deseado
  extraido["total"] = data["total"]
  extraido["run"] = data["run"]

  # Contador de "zonas" a crear
  contador = 1
  for c in data.index[4:]:
    # Para cada columna a partir de la cuarta... 
    if data[c]>0:
      # Si esa columna tiene un dato distinto de cero, hemos encontrado
      # una zona. Añadimos al diccionario los datos para esa zona
      extraido["Zone{}".format(contador)] =  c
      extraido["Area{}".format(contador)] = data[c]
      extraido["Pct{}".format(contador)] = percts[contador-1]
      contador += 1       
  # Añadimos este diccionario como nueva "fila" al resultado
  new_rows.append(extraido)

Al ejecutar el código anterior (siendo df tu dataframe de entrada), obtendremos una lista de diccionarios como esta:

>>> new_rows
[OrderedDict([('total', 0.59),
              ('run', 0.4),
              ('Zone1', 'M1'),
              ('Area1', 0.401),
              ('Pct1', 100.0)]),
 OrderedDict([('total', 0.88),
              ('run', 0.6),
              ('Zone1', 'M1'),
              ('Area1', 0.602),
              ('Pct1', 100.0)]),
...

Esto lo convertiremos al dataframe final, con la precaución de usar fillna(0) para rellenar con ceros todos los valores inexistentes, y cambiando el nombre del index para que sea "OBJ" como en el dataframe de entrada:

resultado = pd.DataFrame(new_rows).fillna(0)
resultado.index.name = "OBJ"

El resultado es:

     total   run Zone1  Area1     Pct1 Zone2    Area2   Pct2 Zone3    Area3  Pct3
OBJ                                                                              
0     0.59  0.40    M1  0.401  100.000     0  0.00000   0.00     0  0.00000   0.0
1     0.88  0.60    M1  0.602  100.000     0  0.00000   0.00     0  0.00000   0.0
2     0.52  0.51    M1  0.511  100.000     0  0.00000   0.00     0  0.00000   0.0
3     1.05  0.98    M1  0.979  100.000     0  0.00000   0.00     0  0.00000   0.0
4     0.58  0.66    C5  0.001    0.088    M1  0.65600   0.12   R7A  0.00096  99.0
5     0.55  0.88    M1  0.878    0.620   R7A  0.00556  99.37     0  0.00000   0.0
6     1.04  0.86    M1  0.851    0.460   R7A  0.00400  99.53     0  0.00000   0.0
0

Buen día,

Utilizando el siguiente dataframe según los datos que pusiste en tu pregunta (Archivo "sample2.csv")

    total   run     PERCENTAGE      C5      M1      M12 M15 R7A     R10 MR7 R9
OBJ                                         
0   0.59    0.40    100.00          0.000   0.401   0   0   0.00000 0   0   0
1   0.88    0.60    100.00          0.000   0.602   0   0   0.00000 0   0   0
2   0.52    0.51    100.00          0.000   0.511   0   0   0.00000 0   0   0
3   1.05    0.98    100.00          0.000   0.979   0   0   0.00000 0   0   0
4   0.58    0.66    0.088,0.12,99.0 0.001   0.656   0   0   0.00096 0   0   0
5   0.55    0.88    0.62,99.37      0.000   0.878   0   0   0.00556 0   0   0
6   1.04    0.86    0.46,99.53      0.000   0.851   0   0   0.00400 0   0   0

Lo primero que hay que hacer es separar la columna "PERCENTAGE" en las 3 columnas "Ptc1", "Ptc2" y "Ptc3" (Creo que hay un error de dedo, PERCENTAGE se abreviaría Pct, pero lo dejo tal como está en tu pregunta), para eso utilizamos pandas.Series.str.split

df[['Ptc1', 'Ptc2', 'Ptc3']] = df['PERCENTAGE'].str.split(',', expand=True).fillna(0)

Y quitamos la columna "PERCENTAGE"

df = df.drop(['PERCENTAGE'], axis=1)

Esto nos deja el siguiente dataframe


    total   run     C5      M1      M12 M15 R7A     R10 MR7 R9  Ptc1    Ptc2    Ptc3
OBJ                                                 
0   0.59    0.40    0.000   0.401   0   0   0.00000 0   0   0   100.00  0       0
1   0.88    0.60    0.000   0.602   0   0   0.00000 0   0   0   100.00  0       0
2   0.52    0.51    0.000   0.511   0   0   0.00000 0   0   0   100.00  0       0
3   1.05    0.98    0.000   0.979   0   0   0.00000 0   0   0   100.00  0       0
4   0.58    0.66    0.001   0.656   0   0   0.00096 0   0   0   0.088   0.12    99.0
5   0.55    0.88    0.000   0.878   0   0   0.00556 0   0   0   0.62    99.37   0
6   1.04    0.86    0.000   0.851   0   0   0.00400 0   0   0   0.46    99.53   0

Luego vamos a obtener de las columnas "C5" a "R9" los nombres de las columnas que tengan valores diferentes a 0 y vamos a crear 3 nuevas columnas "Zone1", "Zone2" y "Zone3" con los nombres de las columnas según aparezcan

df[['Zone1', 'Zone2', 'Zone3']] = df.loc[:,'C5':'R9'].ne(0).dot(df.columns[2:10]+',').str.rstrip(',').str.split(',', expand=True).fillna(0)

Esto crea las siguientes tres columnas (Escondí las demás porque el dataframe tiene muchas columnas)

    Zone1   Zone2   Zone3
OBJ         
0   M1      0       0
1   M1      0       0
2   M1      0       0
3   M1      0       0
4   C5      M1      R7A
5   M1      R7A     0
6   M1      R7A     0

Luego vamos a utilizar pandas.DataFrame.apply para obtener los valores de las diferentes columnas correspondientes según lo soliciten las columnas "Zone".

df['Area1'] = df.apply(lambda x: x.loc[x['Zone1']] if x['Zone1'] != 0 else 0, axis=1)
df['Area2'] = df.apply(lambda x: x.loc[x['Zone2']] if x['Zone2'] != 0 else 0, axis=1)
df['Area3'] = df.apply(lambda x: x.loc[x['Zone3']] if x['Zone3'] != 0 else 0, axis=1)

Luego eliminamos las columnas que no necesitamos

df = df.drop(['C5', 'M1', 'M12', 'M15', 'R7A', 'R10', 'MR7', 'R9'], axis=1)

Y por último reordenamos las columnas

df = df[['total', 'run', 'Zone1', 'Area1', 'Ptc1', 'Zone2', 'Area2', 'Ptc2', 'Zone3', 'Area3', 'Ptc3']]

Ejemplo completo:

import pandas as pd

df = pd.read_csv('sample2.csv', index_col = 'OBJ', sep=';')
df[['Ptc1', 'Ptc2', 'Ptc3']] = df['PERCENTAGE'].str.split(',', expand=True).fillna(0)
df = df.drop(['PERCENTAGE'], axis=1)

df[['Zone1', 'Zone2', 'Zone3']] = df.loc[:,'C5':'R9'].ne(0).dot(df.columns[2:10]+',').str.rstrip(',').str.split(',', expand=True).fillna(0)

df['Area1'] = df.apply(lambda x: x.loc[x['Zone1']] if x['Zone1'] != 0 else 0, axis=1)
df['Area2'] = df.apply(lambda x: x.loc[x['Zone2']] if x['Zone2'] != 0 else 0, axis=1)
df['Area3'] = df.apply(lambda x: x.loc[x['Zone3']] if x['Zone3'] != 0 else 0, axis=1)

df = df.drop(['C5', 'M1', 'M12', 'M15', 'R7A', 'R10', 'MR7', 'R9'], axis=1)

df = df[['total', 'run', 'Zone1', 'Area1', 'Ptc1', 'Zone2', 'Area2', 'Ptc2', 'Zone3', 'Area3', 'Ptc3']]

Al imprimir df obtenemos el siguiente dataframe

    total   run     Zone1   Area1   Ptc1    Zone2   Area2   Ptc2    Zone3   Area3   Ptc3
OBJ                                         
0   0.59    0.40    M1      0.401   100.00  0       0.00000 0       0       0.00000 0
1   0.88    0.60    M1      0.602   100.00  0       0.00000 0       0       0.00000 0
2   0.52    0.51    M1      0.511   100.00  0       0.00000 0       0       0.00000 0
3   1.05    0.98    M1      0.979   100.00  0       0.00000 0       0       0.00000 0
4   0.58    0.66    C5      0.001   0.088   M1      0.65600 0.12    R7A     0.00096 99.0
5   0.55    0.88    M1      0.878   0.62    R7A     0.00556 99.37   0       0.00000 0
6   1.04    0.86    M1      0.851   0.46    R7A     0.00400 99.53   0       0.00000 0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.