1

Hasta ahora eh probado de todo con itertools.

product('ABCD', repeat=2)

AA AB AC AD BA BB BC BD CA CB CC CD DA DB DC DD

permutations('ABCD', 2)

AB AC AD BA BC BD CA CB CD DA DB DC

combinations('ABCD', 2)

AB AC AD BC BD CD

combinations_with_replacement('ABCD', 2)

AA AB AC AD BB BC BD CC CD DD

Pero no logro un resultado que complete lo que quiero esto es lo que mas se acerca.

from itertools import chain

def get_m_2_ngrams(input_list, min, max):
    for s in chain(*[get_ngrams(input_list, k) for k in range(min, max+1)]):
        yield ' '.join(s)

def get_ngrams(input_list, n):
    return zip(*[input_list[i:] for i in range(n)])

if __name__ == '__main__':
    input_list = [ "like", "just", "love", "know", "never", "want", "time", "constant", "there", "make", "look", "eye" ]
    for s in get_m_2_ngrams(input_list, 1, 6):
      with open('mywordlist.txt', 'a') as file:
        file.write(s + '\n')
        print(s)

Resultado:

like
just
love
know
never
want
time
constant
there
make
look
eye
like just
just love
love know
know never
never want
want time
time constant
constant there
there make
make look
look eye
like just love
just love know
love know never
know never want
never want time
want time constant
time constant there
constant there make
there make look
make look eye
like just love know
just love know never
love know never want
know never want time
never want time constant
want time constant there
time constant there make
constant there make look
there make look eye
like just love know never
just love know never want
love know never want time
know never want time constant
never want time constant there
want time constant there make
time constant there make look
constant there make look eye
like just love know never want
just love know never want time
love know never want time constant
know never want time constant there
never want time constant there make
want time constant there make look
time constant there make look eye

No se si se pudiera combinar itertools con algún otro modulo.

Para ser mas especifico con la idea se trata de lograr que cada palabra logre combinarse de todas las maneras posibles con las de la lista en un rango de 12 palabras como max por frase generada creo que este patrón explica un poco mejor el objetivo:

aaa bbb ccc
aaa ddd eee
aaa fff ggg
aaa hhh iii.......
.............etc...
..............
bbb ccc ddd
bbb eee fff
bbb ggg hhh
bbb iii jjj.......
.............etc...
ccc ddd eee
ccc fff ggg
ccc hhh iii
ccc jjj kkk.........
..............etc....
ddd eee fff
ddd ggg hhh
ddd iii jjj
ddd kkk lll
ddd mmm nnn.........
.............etc....

Para ser mas especifico con la idea se trata de lograr que cada palabra logre combinarse de todas las maneras posibles con las de la lista en un rango de 12 palabras como max por frase generada creo que este patrón explica un poco mejor el objetivo:

aaa bbb ccc
aaa ddd eee
aaa fff ggg
aaa hhh iii.......
.............etc...
..............
bbb ccc ddd
bbb eee fff
bbb ggg hhh
bbb iii jjj.......
.............etc...
ccc ddd eee
ccc fff ggg
ccc hhh iii
ccc jjj kkk.........
..............etc....
ddd eee fff
ddd ggg hhh
ddd iii jjj
ddd kkk lll
ddd mmm nnn.........
.............etc....

Esto logra perfectamente con el objetivo de la pregunta

import sys
import itertools
from itertools import permutations

input_list = [ "like", "just", "love", "know", "never", "want", "time", "constant", "there", "make", "look", "eye" ]
def permutations(input_list, r):
  while number > 0:
    comb = list()
for comb in itertools.permutations(input_list, r=6):
#  with open('mywordlist.txt', 'w') as f:
#    f.write(s + '\n')
# print(" " + " ".join(comb) + " ")
  print((" ".join(comb)))
# print(" " + "".join(comb) + " ")
#  print(("".join(comb)))
5
  • ¿Frases de 3 líneas o 3 palabras?
    – Candid Moe
    el 26 mar. 2021 a las 16:02
  • si 3 palabras la idea es que mantenga ese patron pero en bucle hasta que complete todas las combinaciones posibles @CandidMoe el 26 mar. 2021 a las 16:46
  • Las frases de tres palabras, han de tener todas tres palabras, o vale "tres palabras o menos" (lo digo por el ejemplo que pones, donde salen muchas lineas con una sola palabra). Por otro lado ¿pueden repetirse palabras en la misma frase? ¿Es una frase válida "want want want", por ejemplo? Y el orden cuenta? O sea "there make look" es diferente de "look make there" por ejemplo, o sólo debe aparecer una de esas dos?
    – abulafia
    el 26 mar. 2021 a las 17:06
  • ¿Y por qué en el ejemplo que pones lo que estás generando son n-gramas? Eso no tiene nada qué ver con lo que preguntas. Los n-gramas son secuencias de palabras que deben aparecer en el mismo orden que en tu lista de entrada, como "like", "just", "love". No sería un n-grama válido por ejemplo "like", "just", "know", porque se ha saltado "love". En cambio como "frase de tres palabras" sí que sería válida, no?
    – abulafia
    el 26 mar. 2021 a las 17:10
  • exacto si primero busque eh intente lograr que con las 1000 palabras de la lista secuencialmente empezaran a generarse todas las combinaciones posibles palabra por palabra es decir por ejemplo love y todas las combinaciones que podria tener con las 999 palabras de la lista pero en un rango que no supere las 12 palabras por combinacion o frase generada asi empecé a jugar con itertools para ver si lograba algo así pero lo mas cerca que estuve fue con n-gram gracias a este articulo enlace el 26 mar. 2021 a las 17:38

1 respuesta 1

5

Por lo que he podido entender de tu pregunta, creo que la solución es itertools.permutations(). Sin embargo dices que ya la has intentado usar. ¿Es que no produce el resultado que buscabas o es que no has sabido usarla?

He aquí un ejemplo de cómo se usaría para tu lista de 12 palabras:

import itertools

input_list = [ "like", "just", "love", "know", "never", "want", "time", "constant", "there", "make", "look", "eye" ]

permutaciones = list(itertools.permutations(input_list, r=3))

No obstante, cuidado con estas cosas. La cantidad de combinaciones que obtienes crece de forma muy rápida. Para 12 palabras obtienes 1320 combinaciones (que sale de 12*11*10). Por tanto no voy a mostrarlas aquí todas. Puedes ver como empieza la cosa para que puedas observar que (creo) es lo que buscabas:

>>> print(permutaciones[:20]) # Las 20 primeras
[('like', 'just', 'love'),
 ('like', 'just', 'know'),
 ('like', 'just', 'never'),
 ('like', 'just', 'want'),
 ('like', 'just', 'time'),
 ('like', 'just', 'constant'),
 ('like', 'just', 'there'),
 ('like', 'just', 'make'),
 ('like', 'just', 'look'),
 ('like', 'just', 'eye'),
 ('like', 'love', 'just'),
 ('like', 'love', 'know'),
 ('like', 'love', 'never'),
 ('like', 'love', 'want'),
 ('like', 'love', 'time'),
 ('like', 'love', 'constant'),
 ('like', 'love', 'there'),
 ('like', 'love', 'make'),
 ('like', 'love', 'look'),
 ('like', 'love', 'eye')]

Si en vez de 12 palabras tienes 1000, las combinaciones de 3 palabras posibles serían 1000*999*998, que son 997002000 combinaciones. No parece un número tan grande, pero lo es. Tratar de generar todas ellas en una lista requeriría una lista con casi mil millones de entradas. Probablemente no cabría en la memoria, pues cada entrada en la lista como mínimo serían 8 bytes (el tamaño de un puntero en una arquitectura de 64 bits) y por tanto la lista entera serían 8GB. Y ya digo que esto es el mínimo, en python se guarda más meta-información que hace que ocupe más.

Para números tan elevados de combinaciones es mejor no crear la lista, sino iterar por las combinaciones a medida que se producen, con un bucle del estilo:

for combinacion in itertools.permutations(input_list, r=3):
  # Hacer algo con esa combinacion

Esto evita la necesidad de una lista monstruosa, pues las combinaciones a medida que se van generando y procesando se van descartando sin quedar almacenadas en ningún lugar.

De todas formas, los requisitos de tiempo de CPU siguen siendo muy grandes. Si en procesar cada elemento de la iteración tardas una décima de segundo, en procesar todas las combinaciones tardarías 99700200 segundos, que son ¡más de tres años!

Me pareció entender en un comentario que querías las combinaciones de 12 palabras tomadas de una lista de 1000. Esto ya es un número completamente astronómico que se sale de lo imaginable. Es el resultado de la operación 1000*999*998*997*996*995*994*993*992*991*990*989. Te lo escribo, pero es inconcebible:

935892684798735644377278527923200000 combinaciones

Aún si pudiéramos procesar mil millones de ellas por segundo se tardaría casi tres trillones (2.96e18) de años en generarlas todas. Eso es miles de millones de veces más tiempo que el transcurrido desde el Big Bang.

Si estabas pensando en hacer así algún tipo de ataque por fuerza bruta basado en diccionario, ve olvidándolo :-)

9
  • si @abulafia tienes razon seria mucho pero creo que crear algo que se acerque o que almenos genere una parte valdria la pena, y si realmente se piensa en un tipo de ataque de fuerza bruta pero que no sea random ya que la posibilidad de hit es mucho menor que escogiendo informacion de un target determinado y probar aciertos ya que logras tomar un poco el control y disminuir un poco mas el espacio entre 1 y 1000*999*998*997*996*995*994*993*992*991*990*989 el 27 mar. 2021 a las 1:35
  • se que no hablamos de un hardware quantum solo de programacion python de un codigo que haga posible dicho generador de posibles palabras recopiladas segun tu investigacion el 27 mar. 2021 a las 1:35
  • ¿Sabes de algun otro modulo que haga algo parecido o que sea otra alternativa a itertools que pueda usar en #python .... o será que esta es la unica herramienta que tengo para contruir un generador de combinaciones a ese nivel secuencial y completo.... ¿existe algo mejor que itertools? que pueda investigar el 27 mar. 2021 a las 2:11
  • Gracias a todos por sus respuestas y ayuda es genial esta comunidad..... el 27 mar. 2021 a las 2:13
  • No entiendo nada de lo que me has dicho en los comentarios de más arriba :-) ¿Cómo es eso de que tienes más probabilidades de acertar si sigues una estrategia no random? Yo creo que la probabilidad es la misma. En todo caso el espacio de búsqueda es tan enorme que la probabilidad de acierto es cero. Lo del hardware quantum ya ni intento comprenderlo :-) Y en cuanto a una librería "mejor" que itertools... ¿en qué sentido podría ser mejor? itertools hace exactamente lo que pides, generar todas las combinaciones posibles, siendo óptimo en el uso de memoria.
    – abulafia
    el 27 mar. 2021 a las 19:23

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.