0

Tengo dos DataFrame, del siguiente tipo:

df_C = pd.DataFrame(data=[[-3,-1,-1], [5,3,3], [3,3,1], [-1,-1,-3], [-3,-1,-1], [2,3,1], [1,1,1]], columns=['C1','C2','C3'])

   C1  C2  C3
0  -3  -1  -1
1   5   3   3
2   3   3   1
3  -1  -1  -3
4  -3  -1  -1
5   2   3   1
6   1   1   1


df_F = pd.DataFrame(data=[[-1,1,-1,-1,-1],[1,1,1,1,1],[1,1,1,-1,1],[1,-1,-1,-1,1],[-1,0,0,-1,-1],[1,1,1,-1,0],[1,1,-1,1,-1]], columns=['F1','F2','F3','F4','F5'])

   F1  F2  F3  F4  F5
0  -1   1  -1  -1  -1
1   1   1   1   1   1
2   1   1   1  -1   1
3   1  -1  -1  -1   1
4  -1   0   0  -1  -1
5   1   1   1  -1   0
6   1   1  -1   1  -1

Me gustaría poder «cruzar» estos dos DataFrame, para generar un un DataFrame en 3D, de la siguiente manera:

Matriz 3D

El dato nuevo que se genere, debe comparar los valores del df_F con los valores del df_C, teniendo en cuenta lo siguiente:

  • Si ambos valores son positivos, genera 1
  • Si ambos valores son negativos, genera 1
  • Si un valor es positivo y el otro negativo, genera 0
  • Si alguno de los valores es cero, genera None (NaN)

Tabla de verdad

Resultado de comparar los datos de df_C vs df_F generara un dato en la nueva matriz en 3D

df_C vs df_F = 3D
  +       +     1
  +       -     0
  +       0     None
  -       +     0
  -       -     1
  -       0     None
  0       +     None
  0       -     None
  0       0     None

Vosotros que soy expertos en programación, por favor me podrían orientar, como genero esta matriz, comparo los valores. Lo deseo hacer con PANDAS. Lo he realizado con ciclos (for) y condiciones (if), pero es visualmente desagradable y creo que con Pandas es más eficiente y elegante.

1 respuesta 1

1

Pandas, en estos momentos no proporciona una estructura de datos en tres dimensiones, en algún tiempo si gozo de esta estructura, pero la opción (al día de hoy) se encuentra obsoleta y ha sido eliminada. Sin embargo, es posible expresar este tipo de datos utilizando el formato largo (también conocido como EAV) con tres columnas clave (o niveles de índice).

Teniendo, en cuenta esto; Jan Šimbera del grupo de DataScience, nos sugiere el siguiente código:

(
    df_C
    # Transformar a formato largo (dos columnas: nombres de columnas anteriores en `variable`
    # y valores correspondientes debajo de `valor`) más el índice original.
    .melt(ignore_index=False)
    # Únase con el otro marco de datos, transformado de manera similar. join () se une implícitamente
    # en índices, por lo que esto generará todas las combinaciones de los valores de la columna `variable`.
    .join(df_F.melt(ignore_index=False), lsuffix='_C', rsuffix='_F')
    # Haga del índice una columna regular.
    .rename_axis('index')
    .reset_index()
    # Sus reglas se pueden expresar multiplicando las dos columnas de valores y examinando el signo.
    .assign(combined=lambda df: df.value_C * df.value_F)
    .assign(output=lambda df:
        # Utiliza el tipo booleano que acepta valores NULL de Pandas (tres valores: Verdadero, Falso, NA).
        pd.Series(pd.NA, index=df.index, dtype='boolean')
        # Si la combinación es positiva, ambos valores eran distintos de cero con el mismo signo.
        .mask(df.combined > 0, True)
        # Si la combinación es negativa, ambos valores eran distintos de cero con signos opuestos.
        .mask(df.combined < 0, False)
        # Si combinado es cero, cualquiera de los valores fue cero y se retiene el NA.
    )
    # Eliminar valores intermedios. Las primeras tres columnas también se pueden transformar
    # a un MultiIndex.
    [['index', 'variable_C', 'variable_F', 'output']]
)

El código completo seria:

import pandas as pd

df_C = pd.DataFrame(data=[[-3,-1,-1], [5,3,3], [3,3,1], [-1,-1,-3], [-3,-1,-1], [2,3,1], [1,1,1]], columns=['C1','C2','C3'])

df_F = pd.DataFrame(data=[[-1,1,-1,-1,-1],[1,1,1,1,1],[1,1,1,-1,1],[1,-1,-1,-1,1],[-1,0,0,-1,-1],[1,1,1,-1,0],[1,1,-1,1,-1]], columns=['F1','F2','F3','F4','F5'])

eav = df_C.melt(ignore_index=False)
    .join(df_F.melt(ignore_index=False), lsuffix='_C', rsuffix='_F')
    .rename_axis('index')
    .reset_index()
    .assign(combined=lambda df: df.value_C * df.value_F)
    .assign( output=lambda df:
        pd.Series(pd.NA, index=df.index, dtype='boolean')
        .mask(df.combined > 0, True)
        .mask(df.combined < 0, False) )
    [['index', 'variable_C', 'variable_F', 'output']]

Lo cual nos arrojaria como resultado un DataFrame, con la siguiente estructura:

>>> eav

     index variable_C variable_F  output
0        0         C1         F1    True
1        0         C1         F2   False
2        0         C1         F3    True
3        0         C1         F4    True
4        0         C1         F5    True
..     ...        ...        ...     ...
100      6         C3         F1    True
101      6         C3         F2    True
102      6         C3         F3   False
103      6         C3         F4    True
104      6         C3         F5   False

Otra posible solución, seria usar Numpy... tenemos en este caso dos posibles soluciones, una "larga" y otra corta.

1ra. Solución [Numpy]

Esta solución, es gracias a Cassandra Sinclair del grupo de Computer Science Meta, ella nos sugiere:

import numpy as np
import pandas as pd

df_C = pd.DataFrame(data=[[-3,-1,-1], [5,3,3], [3,3,1], [-1,-1,-3], [-3,-1,-1], [2,3,1], [1,1,1]], columns=['C1','C2','C3'])
    
df_F = pd.DataFrame(data=[[-1,1,-1,-1,-1],[1,1,1,1,1],[1,1,1,-1,1],[1,-1,-1,-1,1],[-1,0,0,-1,-1],[1,1,1,-1,0],[1,1,-1,1,-1]], columns=['F1','F2','F3','F4','F5'])


Cs = np.sign(df_C.values)
Fs = np.sign(df_F.values)

### El siguiente paso es realizar el tipo de transmisión correcto. Usando A [:, Ninguno], introducimos una nueva dimensión después de la primera:

assert Cs[:, None].shape == (7, 1, 3)

### Entonces, expandiremos F con una dimensión adicional en el medio, de modo que podamos hacer una multiplicación por elementos de cada valor en la columna de F con un valor en la columna de C. También necesitamos expandir C, de modo que el último eje tiene un solo valor.

F2 = Fs[:, None]
C2 = Cs[:,:, None]

### Finalmente, multiplicamos y almacenamos en caché los valores intermedios para poder usar np.where para reemplazar 0 con None y -1 con 0. Sin embargo, debe mantener -1,0,1 ya que usa menos memoria, evita múltiples copias y es más fácil de trabajar.

S = F2*C2
assert S.shape == (7,3,5)
S = np.where(S==0, None, S)
S = np.where(S==-1, 0, S)

Y obtenemos como resultado, un 'numpy.ndarray', con la siguiente estructura:

>>> S
array([[[1, 0, 1, 1, 1],
        [1, 0, 1, 1, 1],
        [1, 0, 1, 1, 1]],

       [[1, 1, 1, 1, 1],
        [1, 1, 1, 1, 1],
        [1, 1, 1, 1, 1]],

       [[1, 1, 1, 0, 1],
        [1, 1, 1, 0, 1],
        [1, 1, 1, 0, 1]],

       [[0, 1, 1, 1, 0],
        [0, 1, 1, 1, 0],
        [0, 1, 1, 1, 0]],

       [[1, None, None, 1, 1],
        [1, None, None, 1, 1],
        [1, None, None, 1, 1]],

       [[1, 1, 1, 0, None],
        [1, 1, 1, 0, None],
        [1, 1, 1, 0, None]],

       [[1, 1, 0, 1, 0],
        [1, 1, 0, 1, 0],
        [1, 1, 0, 1, 0]]], dtype=object)

Por ultimo...

2da. Solución [Numpy]

Shubham Sharma del equipo de stackoverflow (en ingles) no sugiere una muy elegante forma de resolverlo... nos indica:

###Transmita y multiplique los valores en df_C con los valores de df_F de tal manera que la forma de la matriz del producto resultante sea (3, 7, 5), luego pruebe la condición donde los valores en la matriz del producto son positivos, negativos o cero y asigne los valores correspondientes 1, 0 y NaN donde la condición sea Verdadera:

import numpy as np
import pandas as pd

df_C = pd.DataFrame(data=[[-3,-1,-1], [5,3,3], [3,3,1], [-1,-1,-3], [-3,-1,-1], [2,3,1], [1,1,1]], columns=['C1','C2','C3'])
    
df_F = pd.DataFrame(data=[[-1,1,-1,-1,-1],[1,1,1,1,1],[1,1,1,-1,1],[1,-1,-1,-1,1],[-1,0,0,-1,-1],[1,1,1,-1,0],[1,1,-1,1,-1]], columns=['F1','F2','F3','F4','F5'])

a = df_C.values.T[:, :, None] * df_F.values
a = np.select([a > 0, a < 0], [1, 0], np.nan)

Lo cual nos arroja, un 'numpy.ndarray', con la siguiente estructura:

>>> a
array([[[ 1.,  0.,  1.,  1.,  1.],
    [ 1.,  1.,  1.,  1.,  1.],
    [ 1.,  1.,  1.,  0.,  1.],
    [ 0.,  1.,  1.,  1.,  0.],
    [ 1., nan, nan,  1.,  1.],
    [ 1.,  1.,  1.,  0., nan],
    [ 1.,  1.,  0.,  1.,  0.]],

   [[ 1.,  0.,  1.,  1.,  1.],
    [ 1.,  1.,  1.,  1.,  1.],
    [ 1.,  1.,  1.,  0.,  1.],
    [ 0.,  1.,  1.,  1.,  0.],
    [ 1., nan, nan,  1.,  1.],
    [ 1.,  1.,  1.,  0., nan],
    [ 1.,  1.,  0.,  1.,  0.]],

   [[ 1.,  0.,  1.,  1.,  1.],
    [ 1.,  1.,  1.,  1.,  1.],
    [ 1.,  1.,  1.,  0.,  1.],
    [ 0.,  1.,  1.,  1.,  0.],
    [ 1., nan, nan,  1.,  1.],
    [ 1.,  1.,  1.,  0., nan],
    [ 1.,  1.,  0.,  1.,  0.]]])

A todos, MUCHAS GRACIAS por su ayuda!, Son programadores estupendos y las soluciones que nos han ofrecido son brillantes. Gracias totales!

1
  • wow que interesante, gran aporte y gran investigación.
    – Christian
    el 24 may. 2021 a las 0:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.