17

Necesito buscar una forma lo más eficiente de eliminar duplicados de una lista en Python.

Yo lo estoy haciendo de esta forma:

for i in mj:
    if i not in mj2:
        mj2.append(i)

Donde kj es una lista como [2, 4, 4, 4, 4, 4, 9, 9] y la salida mj2 es de la forma:

   [2, 4, 9]

Existe una forma más eficiente que no incluya bucles, ya que debo analizar grandes listas.

4 respuestas 4

15

Lo más sencillo es usar set():

>>> mj = [2, 4, 4, 4, 4, 4, 9, 9]
>>> mj2 = set(mj1)
>>> mj2
set([9, 2, 4])
>>> list(mj2)
[9, 2, 4]

Si quieres mantener el orden (ya que los sets son una lista desordernada de elementos), puedes pasarle un sort al final:

>>> sorted(list(mj2))
[2, 4, 9]

Otra opción, si tu lista está originalmente ordenada y deseas mantener el orden, puedes usar la clase OrderedDict y aprovecharla para mantener este orden:

>>> from collections import OrderedDict
>>> OrderedDict.fromkeys(mj)
OrderedDict([(2, None), (4, None), (9, None)])
>>> OrderedDict.fromkeys(mj).keys()
[2, 4, 9]

OrderedDict es una implementación de los diccionarios que te permite "recordar" el orden en que sus elementos han sido insertados. Por lo tanto, puedes usar el método fromkeys del diccionario para usar los elementos de mj como las llaves del diccionario, dado que los elementos de mj están previamente ordenados entonces el orden se mantiene.

6
  • @JorgePonti la lista está originalmente ordenada?
    – César
    el 18 jul. 2017 a las 18:36
  • Genial muchas gracias! el 18 jul. 2017 a las 18:38
  • vi lo de sorted() era lo que faltaba, así queda como quería, creo que esto debería ser mucho más eficiente que un "for" el 18 jul. 2017 a las 18:41
  • Necesito que quede con orden creciente, con el "sorted()" basta y sobra el 18 jul. 2017 a las 18:44
  • Gran solución @César. En el caso de usar sorted() no hace falta que conviertas el conjunto a una lista antes de ordenarla, directamente le puedes pasar el conjunto y te devuelve una lista ordenada: sorted(mj2). el 18 jul. 2017 a las 23:38
4

Puedes probar que tal el rendimiento con la siguiente linea de código:

mj2 = sorted(set(mj))

aunque utilizar sorted capaz que consuma un poco de recurso. Si no tienes problemas con el orden puedes utilizar como sigue:

mj2 = set(mj)
3

Si la lista original es muy grande y está ordenada, es mucho más eficiente usar itetools.groupby que crea un iterador sin crear nuevas listas:

from itetools import groupby

mj2 = (k for (k,_) in groupby(m2))

Es posible obtener los primeros elementos sin necesidad de procesar toda la lista:

first = next(mj2)
second = next(mj2)
...
3
  • 1
    Gran solución @ChemaCortes. Otra forma de obtener la lista de los elementos sin repetir, usando groupby, sería: mj2 = next(zip(*groupby(mj))) el 18 jul. 2017 a las 23:50
  • 1
    Es el extraño truco para hacer el unzip en python. Pero cuando haces next procesa toda la lista, no siendo igual de eficiente. el 19 jul. 2017 a las 0:03
  • Sí, es cierto que no obtiene un iterator, sino una tupla. Pero como el OP pedía una lista, era otra forma de proceder usando la solución groupby que has propuesto. el 19 jul. 2017 a las 0:06
1

Para 'grupos' puedes hacerlo así también.

grupos= [['calculo', 1], ['calculo', 1], ['calculo', 1], ['Algebra', 5], ['Algebra', 5], ['Algebra', 5]]

grupos_sin_repetir = []
for i in grupos:
    if i not in grupos_sin_repetir:        
      grupos_sin_repetir.append(i)
    
print(grupos_sin_repetir)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.