0

Tengo dos dataframes los cuales estoy comparando, para ver si el 'start' y 'end' de df1 están dentro del rango 'start' y 'end' de df2. Si están dentro del rango, lo que he hecho es adicionar una nueva columna llamada 'Genes into LCBs', en la cual se adiciona el valor 'genes lcbs'. Sin embargo observo que, el primer rango (977715 a 985708) no le es asignado el valor 'genes lcbs' en el df1, y no entiendo el por qué?, algo se me escapa y no lo veo.

df1

SEQ_NAME    START   END
NC_017357   975761  976096
NC_017357   976444  977268
NC_017357   977410  977604
NC_017357   977775  979698
NC_017357   979691  981621
NC_017357   981751  982736
NC_017357   982736  984003
NC_017357   984000  985235
NC_017357   985320  985616
NC_017357   985606  985869
NC_017357   985866  986165
NC_017357   986165  987105
NC_017357   987102  987557
NC_017357   987554  987844
NC_017357   987845  988402
NC_017357   988403  990145
NC_017357   990385  990667
NC_017357   990660  991750
NC_017357   992124  992560
NC_017357   992613  993042
NC_017357   993352  994480
NC_017357   994662  994880
NC_017357   994873  995067
NC_017357   995141  996988
NC_017357   997002  998171
NC_017357   998176  998604
NC_017357   998621  999406
NC_017357   999410  1000429
NC_017357   1000430 1002385
NC_017357   1002555 1003724
NC_017357   1003727 1005598
NC_017357   1006281 1006357
NC_017357   1006380 1006456
NC_017357   1006516 1006592
NC_017357   1006659 1006736
NC_017357   1006920 1007669
NC_017357   1007753 1009279
NC_017357   1009276 1009767
NC_017357   1009948 1012338
NC_017357   1012442 1013032
NC_017357   1013058 1014380
NC_017357   1014399 1014713
NC_017357   1014795 1015781
NC_017357   1015781 1018075
NC_017357   1018090 1019379
NC_017357   1019381 1020193
NC_017357   1020315 1021973
NC_017357   1022002 1022538
NC_017357   1022554 1024128
NC_017357   1024138 1025988
NC_017357   1026011 1026679
NC_017357   1026681 1027439
NC_017357   1027443 1028381
NC_017357   1028437 1030868
NC_017357   1030865 1031362
NC_017357   1031619 1032119
NC_017357   1032341 1032982
NC_017357   1033036 1033767
NC_017357   1033829 1035688
NC_017357   1035673 1035909
NC_017357   1035922 1036149
NC_017357   1036348 1037094
NC_017357   1037361 1037885
NC_017357   1038066 1039290
NC_017357   1039287 1040117
NC_017357   1040183 1041529
NC_017357   1041543 1042147
NC_017357   1042157 1044967

df2

977715  985708
-985709 -990725
991992  1042023

Mi salida:

SEQ_NAME    START   END    Genes Into LCBs
NC_017357   975761  976096  
NC_017357   976444  977268  
NC_017357   977410  977604  
NC_017357   977775  979698  
NC_017357   979691  981621  
NC_017357   981751  982736  
NC_017357   982736  984003  
NC_017357   984000  985235  
NC_017357   985320  985616  
NC_017357   985606  985869  
NC_017357   985866  986165  genes LCBs
NC_017357   986165  987105  genes LCBs
NC_017357   987102  987557  genes LCBs
NC_017357   987554  987844  genes LCBs
NC_017357   987845  988402  genes LCBs
NC_017357   988403  990145  genes LCBs
NC_017357   990385  990667  genes LCBs
NC_017357   990660  991750  
NC_017357   992124  992560  genes LCBs
NC_017357   992613  993042  genes LCBs
NC_017357   993352  994480  genes LCBs
NC_017357   994662  994880  genes LCBs
NC_017357   994873  995067  genes LCBs
NC_017357   995141  996988  genes LCBs
NC_017357   997002  998171  genes LCBs
NC_017357   998176  998604  genes LCBs
NC_017357   998621  999406  genes LCBs
NC_017357   999410  1000429 genes LCBs
NC_017357   1000430 1002385 genes LCBs
NC_017357   1002555 1003724 genes LCBs
NC_017357   1003727 1005598 genes LCBs
NC_017357   1006281 1006357 genes LCBs
NC_017357   1006380 1006456 genes LCBs
NC_017357   1006516 1006592 genes LCBs
NC_017357   1006659 1006736 genes LCBs
NC_017357   1006920 1007669 genes LCBs
NC_017357   1007753 1009279 genes LCBs
NC_017357   1009276 1009767 genes LCBs
NC_017357   1009948 1012338 genes LCBs
NC_017357   1012442 1013032 genes LCBs
NC_017357   1013058 1014380 genes LCBs
NC_017357   1014399 1014713 genes LCBs
NC_017357   1014795 1015781 genes LCBs
NC_017357   1015781 1018075 genes LCBs
NC_017357   1018090 1019379 genes LCBs
NC_017357   1019381 1020193 genes LCBs
NC_017357   1020315 1021973 genes LCBs
NC_017357   1022002 1022538 genes LCBs
NC_017357   1022554 1024128 genes LCBs
NC_017357   1024138 1025988 genes LCBs
NC_017357   1026011 1026679 genes LCBs
NC_017357   1026681 1027439 genes LCBs
NC_017357   1027443 1028381 genes LCBs
NC_017357   1028437 1030868 genes LCBs
NC_017357   1030865 1031362 genes LCBs
NC_017357   1031619 1032119 genes LCBs
NC_017357   1032341 1032982 genes LCBs
NC_017357   1033036 1033767 genes LCBs
NC_017357   1033829 1035688 genes LCBs
NC_017357   1035673 1035909 genes LCBs
NC_017357   1035922 1036149 genes LCBs
NC_017357   1036348 1037094 genes LCBs
NC_017357   1037361 1037885 genes LCBs
NC_017357   1038066 1039290 genes LCBs
NC_017357   1039287 1040117 genes LCBs
NC_017357   1040183 1041529 genes LCBs
NC_017357   1041543 1042147 
NC_017357   1042157 1044967 

Yo esperaría que, las lineas del 5 al 11 también tuvieran el valor 'genes LCBS', sin embargo no es así.

Mi código:

import pandas as pd

ivt = pd.read_csv('ivt_nc_017357.csv', sep=";")
tmp_df1 = pd.DataFrame(ivt)
df1= tmp_df1.drop(tmp_df1.columns[0], axis=1)


mochifile= pd.read_csv('NC_017357.csv', sep=";")
df2 = pd.DataFrame(mochifile)


for i in range(0, len(df2)):
    for j in range(0, len(df1)):
        if df2.iloc[i, 1] >= df1.iloc[j, 0] and df2.iloc[i, 2] <= df1.iloc[j, 1]:
            df2.loc[i, 'Genes Into LCBs']= 'genes LCBs'
        elif df2.iloc[i, 1] >= df1.iloc[j, 0]* -1 and df2.iloc[i, 2] <= df1.iloc[j, 1]* -1:
            df2.loc[i, 'Genes Into LCBs']= 'genes LCBs'
outfile = df2.to_csv('Mochi_lcbs_tmp.csv', sep=";")
2
  • ¿Cuál es la condición que buscas? ¿Que ambos START y END de df1 estén comprendidos entre los dos valores dados por df2? Si es ese el caso, la primera fila por ejemplo no lo cumpliría, ya que el valor START es 975761 que no está en el rango [977715, 985708].
    – abulafia
    Commented el 13 ene. 2021 a las 11:40
  • @abulafia es cierto que, el valor de START 975761 no esta en el rango por lo tanto estaría bien. Sin embargo, el START 977775 hasta el END 985869, cumplen con la condición de: if df2.iloc[i, 1] >= df1.iloc[j, 0] and df2.iloc[i, 2] <= df1.iloc[j, 1] pero no lo es asignado el valor:genes LCBs
    – Alex GZ
    Commented el 13 ene. 2021 a las 11:48

1 respuesta 1

2

No he entrado a mirar qué tienes mal exactamente en tu código, pues quiero plantearte otra opción mucho más breve, fácil de leer e incluso más rápida ya que usa las operaciones vectorizadas de pandas en lugar de iterar por las filas de df1.

Entiendo que el objetivo es que si ambos START y END en df1 están comprendidos entre los extremos indicados por cualquiera de las filas de df2 (ignorando los signos), hay que asignar la cadena "genes LCBs".

Es decir, por ejemplo, la primera fila no tendría esa asignación porque su valor de START no está comprendido en ninguno de los intervalos [977715, 985708], ni [985709, 990725], ni [991992, 1042023]. Pero la fila 3 sí tendría esa asignación porque sus dos extremos (977775, 979698) están ambos dentro del primer intervalo especificado por df2.

El siguiente código haría eso:

df1['Genes Into LCBs'] = ""
for indice, limites in df2.iterrows():
  df1.loc[df1.START.between(*map(abs, limites)) & df1.END.between(*map(abs, limites)),
          'Genes Into LCBs'] = "genes LCBs"

Funciona así:

  • Primero creamos la columna Genes Into LCBs con cadenas vacías.
  • Después, para cada fila de df2 extraemos los valores del rango que queremos testear, a la variable limites
  • Aplicando un map(abs, limites) convertimos esos límites a positivo, para ignorar el signo cuando lo tenga.
  • El resultado se pasa como parámetros (el asterisco es para separar la lista resultante de dos elementos en dos parámetros independientes) al método between(). Este método retorna True si el valor está entre los dos parámetros recibidos (ambos inclusive). Por tanto verifica si está dentro de los límites.
  • Esto lo hacemos tanto para la columna START como END. La operación between() es vectorial y actúa sobre todas las filas "a la vez". El resultado es por tanto una columna de booleanos según cada dato esté o no dentro de los límites.
  • Se combinan ambas columnas con un & para tener una columna de booleanos que sólo será cierta si ambos valores START y END están dentro de los límites.
  • Todo eso se pasa entre corchetes a .loc[] y de ese modo quedan seleccionadas sólo aquellas filas en las que dio True.
  • A esas filas seleccionadas se les asigna la cadena "genes LCBs` (las no seleccionadas se quedan como estaban).

Al estar esto en un bucle que itera sobre df2, se va comprobando lo mismo para cada uno de los rangos contenidos en df2. Por tanto la cadena "genes LCBs" queda asignada si en cualquiera de las iteraciones se asigna.

El resultado es el siguiente. Es diferente del tuyo y no sé si está correcto (es decir, no sé si es esto lo que buscabas):

     SEQ_NAME    START      END Genes Into LCBs
0   NC_017357   975761   976096                
1   NC_017357   976444   977268                
2   NC_017357   977410   977604                
3   NC_017357   977775   979698      genes LCBs
4   NC_017357   979691   981621      genes LCBs
5   NC_017357   981751   982736      genes LCBs
6   NC_017357   982736   984003      genes LCBs
7   NC_017357   984000   985235      genes LCBs
8   NC_017357   985320   985616      genes LCBs
9   NC_017357   985606   985869                
10  NC_017357   985866   986165      genes LCBs
11  NC_017357   986165   987105      genes LCBs
12  NC_017357   987102   987557      genes LCBs
13  NC_017357   987554   987844      genes LCBs
14  NC_017357   987845   988402      genes LCBs
15  NC_017357   988403   990145      genes LCBs
16  NC_017357   990385   990667      genes LCBs
17  NC_017357   990660   991750                
18  NC_017357   992124   992560      genes LCBs
19  NC_017357   992613   993042      genes LCBs
20  NC_017357   993352   994480      genes LCBs
21  NC_017357   994662   994880      genes LCBs
22  NC_017357   994873   995067      genes LCBs
23  NC_017357   995141   996988      genes LCBs
24  NC_017357   997002   998171      genes LCBs
25  NC_017357   998176   998604      genes LCBs
26  NC_017357   998621   999406      genes LCBs
27  NC_017357   999410  1000429      genes LCBs
28  NC_017357  1000430  1002385      genes LCBs
29  NC_017357  1002555  1003724      genes LCBs
30  NC_017357  1003727  1005598      genes LCBs
31  NC_017357  1006281  1006357      genes LCBs
32  NC_017357  1006380  1006456      genes LCBs
33  NC_017357  1006516  1006592      genes LCBs
34  NC_017357  1006659  1006736      genes LCBs
35  NC_017357  1006920  1007669      genes LCBs
36  NC_017357  1007753  1009279      genes LCBs
37  NC_017357  1009276  1009767      genes LCBs
38  NC_017357  1009948  1012338      genes LCBs
39  NC_017357  1012442  1013032      genes LCBs
40  NC_017357  1013058  1014380      genes LCBs
41  NC_017357  1014399  1014713      genes LCBs
42  NC_017357  1014795  1015781      genes LCBs
43  NC_017357  1015781  1018075      genes LCBs
44  NC_017357  1018090  1019379      genes LCBs
45  NC_017357  1019381  1020193      genes LCBs
46  NC_017357  1020315  1021973      genes LCBs
47  NC_017357  1022002  1022538      genes LCBs
48  NC_017357  1022554  1024128      genes LCBs
49  NC_017357  1024138  1025988      genes LCBs
50  NC_017357  1026011  1026679      genes LCBs
51  NC_017357  1026681  1027439      genes LCBs
52  NC_017357  1027443  1028381      genes LCBs
53  NC_017357  1028437  1030868      genes LCBs
54  NC_017357  1030865  1031362      genes LCBs
55  NC_017357  1031619  1032119      genes LCBs
56  NC_017357  1032341  1032982      genes LCBs
57  NC_017357  1033036  1033767      genes LCBs
58  NC_017357  1033829  1035688      genes LCBs
59  NC_017357  1035673  1035909      genes LCBs
60  NC_017357  1035922  1036149      genes LCBs
61  NC_017357  1036348  1037094      genes LCBs
62  NC_017357  1037361  1037885      genes LCBs
63  NC_017357  1038066  1039290      genes LCBs
64  NC_017357  1039287  1040117      genes LCBs
65  NC_017357  1040183  1041529      genes LCBs
66  NC_017357  1041543  1042147                
67  NC_017357  1042157  1044967                

Bonus

Con una leve modificación puedes marcar no sólo que está en uno de los intervalos, sino en cual. Así:

df1['Genes Into LCBs'] = ""
for indice, limites in df2.iterrows():
  df1.loc[df1.START.between(*map(abs, limites)) & df1.END.between(*map(abs, limites)),
          'Genes Into LCBs'] = f"genes LCBs {indice}"

Ahora la cadena que se asigna sería por ejemplo "genes LCBs 0" si está en el primer intervalo especificado por df2, o "genes LCBs 1" si está en el segundo, etc.

6
  • Implemente tu codigo y curiosamente me pasa lo mismo que, con el codigo que escribi. No asigna el valor 'genes LCBS' entre START 977775 y END 985869. @abulafia
    – Alex GZ
    Commented el 13 ene. 2021 a las 14:26
  • No comprendo que pasa... @abulafia. Alguna idea?..
    – Alex GZ
    Commented el 13 ene. 2021 a las 14:35
  • @AlexGZ Hmm... tengo una hipótesis, si. ¿Qué te sale si haces print(df2.shape) ?
    – abulafia
    Commented el 13 ene. 2021 a las 14:49
  • (2, 2) (2, 2) @abulafia
    – Alex GZ
    Commented el 13 ene. 2021 a las 14:52
  • solucionado, agregue encabezados a df2 @abulafia
    – Alex GZ
    Commented el 13 ene. 2021 a las 14:57

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.