0

Estoy tratando de extraer de una lista con nombres de ficheros, el nombre completo que aparece en la lista (nombre del fichero) pero buscando únicamente por una parte de los nombres (coincidencia).

Por ejemplo, de esta lista:

 lista = ['AU0737f8','AU63954p_1','RB238750_1','VV967823_1','HY88974_1']
lista2 = ['AU987654','AU63954p_1','LJ256550_1','VV5215f3_1','MB65485_1']
lista3 = ['AU987654','AU63954p_1','LJ256550_1','VV967823_1','HY88974_1']

Yo necesito que de una variable que me llega con el nombre parcial del fichero, en primer lugar saber si existe en una o en varias de las 3 listas, y en caso de que exista, sacar el valor de la lista, no la variable. Es decir

if ("AU63954" in lista):
   return True 

Consigo un True, pero lo que realmente necesito conseguir es "AU63954_1" dicho en otras palabras el nombre completo. tras saber seguro que existe como minimo en una lista.

De ahí que mi primer paso fuera hacer

if ("AU63954" in lista or "AU63954" in lista2 or "AU63954" in lista3):

Como estamos comentando, se puede hacer con bucles for pero me gustaría evitarlo porque cada lista de las mías contiene aprox 40k. registros, y recorrer las 3 listas por cada registro que me viene (también rondan los 40k en total a cotejar) pues puede ser un proceso bastante largo y de carga elevada para el equipo.

5
  • 1
    In no sirve a ese proposito, si usas in en una lista de cadenas, devuelve true con coincidencias completas. Tendrás que hacer un bucle for que recorra la lista y procese cadena por cadena si cumple la condición. Si una cumple la condición, la devuelves con un return dentro del bucle for (si es que estás dentro de una función).
    – Dante S.
    Commented el 15 jul. 2022 a las 13:50
  • Gracias Dante, realmente, creo que me expliqué bastante mal. Recorrer con un for ya lo tenía como una alternativa pero buscaba la forma de hacerleo con el "in". Si no es una opción, pues iremos al for de toda la vida. Gracias por la ayuda
    – Vera Canet
    Commented el 15 jul. 2022 a las 13:52
  • De nada! En estos casos, lo más conveniente es un for. Sin embargo, lo que buscas es posible (pero tendrías que convertir las cadenas en otra cosa, sería muy rebuscado e innecesariamente complicado). La proxima te recomiendo agregar a la pregunta que buscabas hacerlo sin un bucle for, de ese modo nos ahorrarías proponerte cosas que no deseas hacer/ya probaste.
    – Dante S.
    Commented el 15 jul. 2022 a las 13:54
  • Espera, que reformulo la pregunta para complicarlo porque no he tenido en cuenta un aspecto
    – Vera Canet
    Commented el 15 jul. 2022 a las 13:56
  • Vi la edición! Lo que te conviene en ese caso es concatenar las tres listas, o usar itertools.chain para "fusionar" las listas y recorrerlas con un bucle for. Luego haces lo que dije en mi primer comentario.
    – Dante S.
    Commented el 15 jul. 2022 a las 14:05

3 respuestas 3

0

puedes hacerlo asi:

lista = ['AU0737f8','AU63954p_1','RB238750_1','VV967823_1','HY88974_1']
lista2 = ['AU987654','AU63954p_1','LJ256550_1','VV5215f3_1','MB65485_1']
lista3 = ['AU987654','AU63954p_1','LJ256550_1','VV967823_1','HY88974_1']

def existInList(word,*list):
    for l in zip(*list):     
        for w in l:
            if word in w:
                return w


r = existInList("AU63954",lista,lista2,lista3)
print(r)
2
  • El OP ha aclarado al final de la pregunta que no quiere usar un bucle for. Pero aun así buena respuesta!
    – Dante S.
    Commented el 15 jul. 2022 a las 14:29
  • Gracias @Byro. Efectivamente intento huir de los bucles for porque al final, los datos iniciales son 3 listas con aprox 30k registros, y los tengo que cruzar todos ellos contra un csv que trae casi 40k registros. Realizar esa cantidad de bucles for anidados puede ser una carga muy grande para el equipo que realiza la tarea. Ahora mismo es mi equipo de sobremesa que es potente pero cuando se implante en producción, el servidor no va a tener esta misma potencia y además podría afectar a otros recursos más críticos que hay en el server
    – Vera Canet
    Commented el 18 jul. 2022 a las 7:59
0

La mejor alternativa que veo si es que te importa la velocidad es recurrir a una librería de terceros que fue pensada para trabajar con tablas muy grandes: pandas.

Pandas, al estar sus funciones hechas en c, son mucho más rapidas que un bucle for de Python.

import pandas as pd
import random

# Usamos una serie ya que se trata de una sola columna, pero si querés trabajar con varias columnas te conviene más un DataFrame.
serie = pd.Series(("a" if(i == 999999) else "") + "".join(random.choice("bc") for _ in range(10)) for i in range(10**6))

print("Obteniendo primero que empieza por a...")

if(resultado.empty):
    print("No fue encontrado.")
else:
    print(resultado.iloc[0])

En este código se genera una serie con 10**6 (1.000.000) registros (tenele paciencia al código encargado de generar los datos, tarda unos 10 o 15 segundos) con cadenas aleatorias compuestas por los caracteres b y c, agregando una a al principio de la ultima cadena. Y obtiene de todos ellos el primero que empieza con "a". Si la serie que tiene todos los que empiezan por a está vacía, dice que no fue encontrado.

Parece que no se tarda ni un segundo en lograrlo! Incluso siendo el ultimo y que la condición es evaluada en todos los registros!

Te dejo el getting started de pandas para que te vayas familiarizando!

0
0

¡Buen dia!

La mejor alternativa como dice @Dante S. en cuestion de eficiencia y optimización es utilizar la libreria Pandas la cual fue diseñada para analizar y manipular grandes cantidades de datos teniendo como filosofia: La no utilización de bucles aunque internamente si los estara utilizando pero en un lenguaje de bajo nivel oara mayor eficiencia.

Para tu caso creeriá que la mejor solución seria vectorizar tus datos en una matriz 1xn pregunta la cual me hacia dias atras ¿Como agrupar columnas de un dataframe en una sola con pandas.

Debido a que dice no importarle el nombre de la variable si no la coincidencia vectorizaremos los datos con el fin de poder recurrir al método pandas.Series.str.contains el cual nos buscará las coincidencias en la matriz de la sigueinte manera:

Código:

Primero que nada importamos la librerias pandas y numpy paso seguido creamos un DataFrame de la siguiente manera:

import pandas as pd
import numpy as np


datos = {
    "lista"  :['AU0737f8','AU63954p_1','RB238750_1','VV967823_1','HY88974_1'],
    "lista2" :['AU987654','AU63954p_1','LJ256550_1','VV5215f3_1','MB65485_1'],
    "lista3" :['AU987654','AU63954p_1','LJ256550_1','VV967823_1','HY88974_1']
}
#Creacion de un DataFrame
df = pd.DataFrame(datos)
print(df)

Como resultamos obtenemos:

        lista      lista2      lista3
0    AU0737f8    AU987654    AU987654
1  AU63954p_1  AU63954p_1  AU63954p_1
2  RB238750_1  LJ256550_1  LJ256550_1
3  VV967823_1  VV5215f3_1  VV967823_1
4   HY88974_1   MB65485_1   HY88974_1

¡Ahora viene la magia! vectorizamos la matriz en una sola columna hallamos todas las coincidencia y como tan solo necesitamos una extraemos la primera con la función iloc asi:

df = df.to_numpy().flatten() 
df = pd.DataFrame(df)
coincidencias= df[df[0].str.contains("AU63954")]
valor = coincidencias.iloc[0,0]
print(valor)

Obteniendo como resultado:

AU63954p_1
2
  • Muchas gracias @jred0N29, estaba adaptando tu respuesta a mi código pero me encuentro con un problema, y es que las listas iniciales no tienen porqué tener la misma longitud, de hecho sería raro si las 3 listas lo tuvieran. Esto provoca que pandas me tire un error porque no tienen las mismas dimensiones y por tanto no puede hacer la matriz inicial.
    – Vera Canet
    Commented el 18 jul. 2022 a las 7:56
  • Ojalá puedas hacer una pregunta más detallada del problema porque en pandas para conformar la matriz las listas no tienen porque ser iguales pusto que en tal caso pandas rellenarla con valores NAN
    – Jred0n29
    Commented el 18 jul. 2022 a las 11:09

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.