2

Estoy haciendo un programa que analice columnas especificas mediante pandas. Específicamente estoy tratando de establecer si la distancia entre esos dos puntos se cumple. Sin embargo, la condición que he establecido solo se ejecuta sobre algunos de los datos y no sobre todos aquellos que cumplen dicha condición.

Por ejemplo en la linea 5, se observa un bloque que cumple condición (syntenic < de 25000) pero que no es analizado:

   seq0_leftend  seq0_rightend  seq7_leftend  seq7_rightend    IVT-LR
    0              2         107088             1         109406  syntenic
    1         107089         108941        362514         364315       NaN
    2         108942         362759        109408         362513  syntenic
    3         362760         500813        364436         505167  syntenic
    4         500814         509259       -505168        -515994       NaN
    5         509260         702767        515995         671363       NaN
    6         702768         713280       -671364        -682263       NaN
    7         713281         737722        682264         707022       NaN
    8         737723         739398       -708815        -709827       NaN
    9         742884         977570        711261         934493       NaN
    10        977571        1014945        973784        1015589  syntenic
    11       1014946        1022000       -951620        -973782       NaN

El código que he implementado es el siguiente:

#! /usr/bin/env python
# -*- coding: utf-8 -*-
from os import sep
import pandas as pd
import numpy as np
import argparse
import math

parser = argparse.ArgumentParser()
parser.add_argument('--infile_lcbs')
args = parser.parse_args()

infile_lcbs = args.infile_lcbs

infile_lcbs = pd.read_csv(infile_lcbs, sep="\t")
df_lcbs = pd.DataFrame(infile_lcbs)

for i in range(2, df_lcbs.shape[1], 2):
    paired = df_lcbs.iloc[:, np.r_[0:2, i:i+2]]
    df_paired_lr = pd.DataFrame(paired)
    D= 25000 #distancia
    #print(df_paired_lr)

    for i in range(0, len(df_paired_lr)):
        if df_paired_lr.iloc[i, 2] > 0 and df_paired_lr.iloc[i, 3] > 0:
            if df_paired_lr.iloc[i, 1] < df_paired_lr.iloc[i, 3]:
                if df_paired_lr.iloc[i, 1]*-1 - df_paired_lr.iloc[i, 3]*-1 <= D:
                    df_paired_lr.loc[i, "IVT-LR"] = "syntenic"

            if df_paired_lr.iloc[i, 1] > df_paired_lr.iloc[i, 3]:
                if df_paired_lr.iloc[i, 1] - df_paired_lr.iloc[i, 3] <= D:
                     df_paired_lr.loc[i, "IVT-LR"] = "syntenic"
    print(df_paired_lr)

el archivo que utilizo como entrada es el siguiente:

seq0_leftend    seq0_rightend   seq1_leftend    seq1_rightend   seq2_leftend    seq2_rightend   seq3_leftend    seq3_rightend   seq4_leftend    seq4_rightend   seq5_leftend    seq5_rightend   seq6_leftend    seq6_rightend   seq7_leftend    seq7_rightend
2   107088  2   112030  1   105722  1   107946  1   106766  5   109084  1   112452  1   109406
107089  108941  112031  113883  105723  107576  107947  109800  106767  108620  109085  110937  363106  364998  362514  364315
108942  362759  113884  381662  107577  355193  109801  357253  108621  355933  110938  362713  112453  363105  109408  362513
362760  500813  381663  519888  355194  487811  357254  489938  355934  488742  362735  501092  365015  507355  364436  505167
500814  509259  519889  528316  487812  496219  489939  498330  488743  497150  501093  509564  -507356 -518332 -505168 -515994
509260  702767  528317  724531  496220  689591  498331  691689  497151  690143  509565  706774  518333  676201  515995  671363
702768  713280  724532  735069  689592  700131  691690  702229  690144  700684  706775  717300  -676202 -687110 -671364 -682263
713281  737722  735070  759473  700132  721440  702230  723538  700685  721993  717301  741693  687111  711877  682264  707022
737723  739398  759474  761504  721441  721454  723539  723552  721994  722302  741694  743574  -713571 -714583 -708815 -709827
742884  977570  764675  996765  721729  947019  723827  949713  722608  946132  746872  977520  716017  943624  711261  934493
977571  1014945 996766  1034497 947020  978606  949714  986561  946133  977719  977521  1015086 943625  985755  973784  1015589
1014946 1022000 1034498 1051200 978607  991612  986562  999567  977720  990725  1015087 1015120 -1057351    -1079531    -951620 -973782
1059336 1113110 1071713 1125418 995106  1046245 1002886 1054022 991989  1042015 1069823 1123092 985756  1040231 1015590 1069978
1113111 1340633 1125419 1353901 1046247 1264692 1054023 1273063 1042016 1259523 1123093 1355090 1079533 1305879 1069979 1300427
1340634 1342388 1353902 1355701 1264693 1266283 1273064 1274654 1259524 1260969 1355091 1356838 -1305880    -1307064    -1300428    -1301612
1342389 1379474 1355702 1393018 1266284 1302737 1274655 1310720 1260973 1296905 1356839 1394894 1307065 1346483 1301613 1341297
1379475 1404259 1393019 1418786 1302738 1327246 1310725 1334614 1296910 1321283 1394895 1420393 -1538294    -1563683    -1571795    -1596497
1404269 1419096 1421228 1436446 1330217 1345609 1337544 1352938 1321321 1336163 -1590161    -1605223    -1520931    -1535994    -1515463    -1571753
1419097 1420280 1436447 1437583 1345610 1346751 1352939 1354080 1336164 1337305 -1589004    -1590155    1519960 1520930 1514466 1515462
1420384 1430790 1437584 1447990 1346752 1353465 1354081 1360789 1337306 1347787 -1578034    -1589003    -1512867    -1519959    -1507338    -1514465
1430791 1449720 1448160 1467091 1353495 1371738 1360819 1378340 1347788 1365337 -1558300    -1577642    1353075 1367758 1346999 1361467
1449721 1455376 1467092 1472716 1371739 1377357 1378341 1383947 1365338 1370969 -1552587    -1558299    -1367759    -1373448    -1361468    -1367145
1455630 1588452 1472966 1655408 1377358 1494865 1383948 1509265 1370970 1496625 -1420653    -1552586    1373449 1512866 1367146 1507337
1588522 1643813 1655670 1709911 1494866 1548236 1509266 1562832 1496626 1549666 1606973 1660685 1565718 1622901 1596501 1653913
2
  • 1
    No entiendo claramente qué buscas. Entiendo que se trata de poner en la última palabra la cadena "syntenic" en las filas que cumplan cierta condición, aparentemente esa condición es que la resta entre las columnas 3 y 1 (seq7_rightend y seq0_rightend respectivamente) sea menor a 25000. ¿Es eso? Si es eso se puede hacer de forma mucho más eficiente. Y en cualquier caso no entiendo qué problema ves en la fila 5, ya que esa no cumple la condición, pues la resta de esas columnas es 31404 (que es mayor de 25000)
    – abulafia
    el 21 mar. 2022 a las 20:14
  • @abulafia a mi la resta de la linea 5: iloc[i, 3] = 515995 - iloc[i, 1] = 509260, me da 6735 o ¿estoy confundiendo algo que se me pasa?
    – Alex GZ
    el 21 mar. 2022 a las 20:25

2 respuestas 2

0

@abulafia ya he visto mi error y es en la asignación de las columnas que deben ser analizadas. Estaba contando una columna inexistente. Ooops!

2
  • Las menciones (@) en las respuestas no funcionan. Las respuestas deben ser para todos. Pulsa en editar y mejora tu respuesta, leyendo Cómo responder.
    – padaleiana
    el 21 mar. 2022 a las 20:55
  • Esto no es una respuesta, sería más bien un comentario. Si quieres convertirlo en respuesta debes explicar mejor cuál era el error y ofrecer código que lo corrija. O si prefieres, borra la respuesta y ponla como comentario en la pregunta.
    – abulafia
    el 21 mar. 2022 a las 21:05
0

Al margen del problema con la numeración de las columnas (entiendo que lo que querías era restar primera y tercera columna, las cuales tienen índice 0 y 2 en vez de 1 y 3), tienes un problema de ineficiencia, pues iteras por cada una de las filas para hacer esa resta, en el siguiente bucle:

    for i in range(0, len(df_paired_lr)):
       ... operaciones que involucran sólo la fila i-ésima ...

Esto en pandas es un antipatrón, es decir, una forma en la que no se deben hacer las cosas.

Pandas ofrece operaciones vectorizadas, lo que quiere decir que tú puedes directamente operar sobre una columna (por ejemplo, restarle otra, compararla con un entero, etc) e internamente pandas aplicará esa operación a todos los elementos de la columna sin que tengas que operar por ellos.

Así, pues, si lo que quieres es encontrar qué elementos de un dataframe cumplen una cierta condición, como que el valor absoluto de la diferencia entre las columnas primera y tercera sea inferior a 25000, puedes expresarlo con una sola línea:

(df.iloc[:, 0] - df.iloc[:, 2]).abs() <= 25000

Esta línea iterará implícitamente por todas las filas sin que tú tengas que hacerlo, hará la resta de los elementos correspondientes, aplicará la operación .abs() para encontrar el valor absoluto y lo comparará con 25000. Como resultado, en vez un simple True o False, obtendrás una columna de booleanos, con True en los elementos (filas) en las que la condición fue cierta y False en las que no.

Ese vector de booleanos puedes usarlo dentro de un .loc[], para que seleccione sólo las filas en las que haya True, es decir, aquellas en las que la condición se ha cumplido.

Gracias a esto tu código se puede simplificar enormemente:

for i in range(2, df_lcbs.shape[1], 2):
    paired = df_lcbs.iloc[:, np.r_[0:2, i:i+2]]
    df_paired_lr = pd.DataFrame(paired)
    D = 25000 #distancia
    seleccion = (df_paired_lr.iloc[:,0]-df_paired_lr.iloc[:,2]).abs() <= D
    df_paired_lr.loc[seleccion, "IVT-LR"] = "syntenic"
    print(df_paired_lr)

Es posible incluso que el bucle en el que iteras para crear "paired" también pudiera ser eliminado, pero como no tengo claro para qué usas ese bucle, no estoy seguro.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.