2

Realizo llamadas API para subir videos, he creado un código que funciona perfectamente para subir videos directamente desde el directorio pero solo sube uno y espera finalizar la subida para seguir el for, me gustaría que abriera varias ventanas CMD y ejecutara el for completo (15 subidas a la vez).

mi código actual es:


import requests
import os
import time
import threading
from subprocess import call
import random
from subprocess import Popen, PIPE, STDOUT


def descarga():
    call(comando, shell=True)
    if ('"status":"success","message":"OK"') and str(x) in str(stdout):
        print((x)+(" Se subió Perfectamente"))                
        path = (('G:/videos/') + str(x))
        os.remove(path)

     else:
         print((x)+(" No pudo subirse"))
    


api=('https://abg7.nsapi.org/api/file/upload/*****************************')



carpeta = ('G:\videos')

contenido = os.listdir(carpeta)

videos = []
for fichero in contenido:
    if os.path.isfile(os.path.join(carpeta, fichero)) and fichero.endswith('.mp4'):
        videos.append(fichero)



nombres_archivos=[]
    



for i in videos:
    nombres_archivos.append(i)

subiendo=list(set(nombres_archivos)) #quitamos repetidos





if len(subiendo)>14:
    for x in (subiendo[0:14]):
        user=str(x)
        comando = (('curl -k -F  "file=@G:/videos/') + (user)+('"') + (' -F apiId=*************** -F apiSecretId=****************') +  str(api))
        hilo = threading.Thread(target=descarga)
        res = Popen(comando, stdout=PIPE, stderr=STDOUT)
        stdout, err = res.communicate()
        hilo.start()

        time.sleep(random.randint(1,15))

                
            

P.D: probé varias opciones con el modulo threading, pero no fui capaz espero me puedan resolver el problemas les estaré muy agradecidos

Gracias

3
  • 1
    te falta iniciar el hilo, tampoco muestras la función descarga
    – Christian
    Commented el 20 ago. 2021 a las 3:18
  • no, no puse el código con hilos, solo el de descarga simple, ahora lo subo pero no funciona, el que puse si me funciona pero claro solo descarga de uno en uno
    – Samuel82
    Commented el 20 ago. 2021 a las 3:43
  • actualicé el código con una de mis pruebas ( no funciona)
    – Samuel82
    Commented el 20 ago. 2021 a las 3:54

3 respuestas 3

2

Lo conveniente es tener una función que ejecute la acción que quieras, piensa en como lo harías con un solo video, luego ese código lo metes en una función. Ahora si lo quieres hacer con hilos simplemente haces el llamado a esa función para cada hilo y listo!. Adaptando tu código quedaría así:

#... importas modulos

def descarga(comando):
    res = Popen(comando, stdout=PIPE, stderr=STDOUT)
    stdout, err = res.communicate()

    if ('"status":"success","message":"OK"') and str(x) in str(stdout):
        print(f"{x} Se subió Perfectamente")                
        path = f'G:/videos/{x}'
        os.remove(path)
     else:
         print(f"{x} No pudo subirse")
    


api=('https://abg7.nsapi.org/api/file/upload/*****************************')

carpeta = ('G:\videos')
contenido = os.listdir(carpeta)

videos = []
for fichero in contenido:
    if os.path.isfile(os.path.join(carpeta, fichero)) and fichero.endswith('.mp4'):
        videos.append(fichero)

#creamos el set
nombres_archivos= set([arch for arch in videos])    
subiendo = list(nombres_archivos) #convertimos a lista, lo puedes hacer todo en una linea

if len(subiendo)>14:
    for x in (subiendo[:14]):
        user=str(x)
        #utilizamos f-strings para armar el comando
        comando = f'curl -k -F  "file=@G:/videos/{user}"-F apiId=*************** -F apiSecretId=**************** {api}'
        #ejecutamos la función y le pasamos como argumento el comando
        hilo = threading.Thread(target=descarga, args=(comando))
        hilo.start()

        time.sleep(random.randint(1,15))

Lo más probable es que obtengas un error en la función descarga pues la variable x no ha sido definida, si la quieres enviar por parámetro solo colócala en el argumento args tal que quede así args=(commando, x) y en la función descarga también lo añades def descarga(comando, x): ... y listo!. Por cierto, tu condición if ('"status":"success","message":"OK"') and str(x) in str(stdout) la veo un poco rara pero no sé que tratas de hacer por lo que no la toqué, pero tal vez no pasa lo que tu crees.

6
  • Estoy intentando pero no me funciona, se ejecuta el codigo completo sin error , pero no lanza CMD, if ('"status":"success","message":"OK"') and str(x) in str(stdout) , es un poco chapuza lo se jeje, lo que hace es comprobar que la respuesta al finalizar la subida contenga '"status":"success","message":"OK"' y el nombre del video, así una vez subido y comprobado lo borra.
    – Samuel82
    Commented el 20 ago. 2021 a las 4:52
  • ya lo conseguí! ahora voya intentar mejorar ese condicional jejej, Gracias de nuevo Christian
    – Samuel82
    Commented el 20 ago. 2021 a las 5:31
  • 1
    La condición que tu tienes comprueba si la cadena status: succes, .... es True (siempre lo sera) y luego comprueba que user este en stdout :)
    – Christian
    Commented el 20 ago. 2021 a las 13:26
  • if ('"ON"') and str(x) in (var_stdout): Esto o seria, si "ON" y x estan en var_stdout se cumple el condicional?
    – Samuel82
    Commented el 21 ago. 2021 a las 4:55
  • 1
    No es lo que dices, es: si "ON" es True y x esta en stdout :)
    – Christian
    Commented el 21 ago. 2021 a las 5:01
2

Creo que el multihilo te puede servidor.

  1. Toma el código donde subes los vídeos e insértalo en la función hilo() mencionada en el código más abajo.

Luego utiliza este fragmento:

import threading
import time

NTHREADS=15

def hilo(i):
    """
 :param i: numero de hilo a efectos ilustrativos
 :return: nada
 :aquí tu código
 """
 print "[+] En hilo %d" % i
    time.sleep(3)
    print "[-] hilo %d finalizado" % i


simplethread=[]
for i in range(NTHREADS):
    # arranque y comienzo de hilo num i+1
 simplethread.append(threading.Thread(target=hilo, args=[i+1]))
    simplethread[-1].start()

for i in range(NTHREADS):
    # esperamos que acabe el hilo num i
 simplethread[i].join()

print "[*] all threads finished"

Luego de eso, solo ejecútalo y ve probando.. si necesitas más ayuda te dejo dos buenos portales.

Multihilo y Multiprocesamiento

Éxitos.

7
  • gracias!! fíjate el el código mío, lo acabo de editar con una prueba, pero no funciona, voy a intentar entender su código y adaptarlo, pero es algo complicado para mi.
    – Samuel82
    Commented el 20 ago. 2021 a las 3:56
  • 1
    1. estas utilizando python 2 y en la pregunta se utiliza python 3 #2. Si se utiliza hilos es para ejecutar varias tareas a la vez, por lo que esperar a que el hilo acabe no es de muy buena opción
    – Christian
    Commented el 20 ago. 2021 a las 4:00
  • 1
    Mira, que pasa sii en dado caso no quisiera esperar a que termine el hijo?? Hay problema?? Así como que para dejar una clase que escribe en disco ejecutarse y me da igual si termina o no, ya que tengo manejado varios casos
    – Alfa Rojo
    Commented el 20 ago. 2021 a las 4:01
  • 1
    Christian lo de python 2 es para Amilcar no? yo utilizo python 3 fíjate en mi enunciado modifiqué el código y puse uno mas cercano
    – Samuel82
    Commented el 20 ago. 2021 a las 4:13
  • 1
    Si no quieren esperar que termine el hijo, simplemente eliminen esa línea. Y es correcto el código es para python 2, deberías hacer unas pequeñas modificaciones para que sirva para python 3. Commented el 20 ago. 2021 a las 11:56
1

La recomendación es usar asyncio siempre que sea posible, y dejar los threads sólo cuando sea inevitable.

asyncio permite correr múltiples corutinas (funciones) en un sólo thread de ejecución, en un esquema de cooperativo: una corutina tiene el control hasta que lo retorna explícitamente, y es entregado a otra corutina.

Una corutina

Para demostrar la solución implementare una maqueta de la función de subida de videos como corutina. Está maqueta simplemente ira haciendo esperas de duración aleatoria. Cada espera simulara el envío de un trozo del video.

La corutina termina al "subir" el contenido deseado y retorna una tupla (nombre_archivo, bytes_subidos)

async def subir(video):
    fs = file_size = random.randint(1_000, 10_000)

    print(f"Subiendo {video}, tamano {file_size} bytes")
    while file_size:
        random_wait = random.randint(1, 5)
        ''' Simulamos una operación de envio al sitio
            por una cantidad indeterminada de bytes
        '''
        await asyncio.sleep(random_wait)
        
        bytes_out = random.randint(1, file_size)
        file_size -= bytes_out
        
        print(f"Enviados {bytes_out} bytes de {video}, {file_size} restantes")
        
    print(f"Termino de {video}")
    return video, fs

La única novedad es el prefijo async en la definición. Esta palabra indica que se trata de una corutina asíncrona.

Una corutina es igual que una función normal, excepto que puede ejecutar un await:

    resultado = await async_funcion(parametros)

Esto funciona igual que una llamada tradicional: pasa parámetros y recibe resultados. La diferencia es que await retorna el control a Python, quien puede ahora seguir con la ejecución de otra corutina del programa.

El uso de await impide que la ejecución se quede bloqueada a la espera de que otro proceso (enviar bytes al servidor) termine. Mientras la corutina invocada no retorne, Python estará ejecutando otras corutinas.

Ejecución de múltiples corutinas

Esta corutina main que lanza la ejecución de múltiples subidas y espera a que terminen para informar el resultado de cada una:

async def main():
    tareas = [subir(video) for video in videos]
    lista = await asyncio.gather(*tareas)
    print("")
    print("Resultados:")
    for tupla in lista:
        print(f"Sitio {tupla[0]}, {tupla[1]} bytes enviados")

La línea

tareas = [subir(video) for video in videos]

crea una lista de tareas (objetos del tipo asyncio.Task). Importante: subir(video) no ejecuta la función subir, simplemente crea una tarea que luego puede ser ejecutada. Eso es porque subir es una corutina (tiene un asyncen su definición).

Con esa lista, puedo lanzar su ejecución y esperar a que todas se completen en una sola llamada:

lista = await asyncio.gather(*tareas)

La corutina gather recibe múltiples corutinas, las ejecuta todas, y devuelve sus resultados en una lista. Por tanto, en la siguiente línea puedo imprimirlos:

print("")
print("Resultados:")
for tupla in lista:
    print(f"Sitio {tupla[0]}, {tupla[1]} bytes enviados")

El main

Falta un último detalle, que es lanzar la ejecución del código completo:

if __name__ == "__main__":
    asyncio.run(main())

Para poder ocupar await, el código tiene que estar dentro de una corutina y debe ser ejecutado usando asyncio; esa es la razón de estas dos líneas para comenzar la ejecución.

Demo

import asyncio
import random

videos = [
    "el pollito pio.mp4",
    "turismo aventura.mp4",
    "idiotas al volante.mp4"
]

async def subir(video):
    fs = file_size = random.randint(1_000, 10_000)

    print(f"Subiendo {video}, tamano {file_size} bytes")
    while file_size:
        random_wait = random.randint(1, 5)
        ''' Simulamos una operación de envio al sitio
            por una cantidad indeterminada de bytes
        '''
        await asyncio.sleep(random_wait)
        
        bytes_out = random.randint(1, file_size)
        file_size -= bytes_out
        
        print(f"Enviados {bytes_out} bytes de {video}, {file_size} restantes")
        
    print(f"Termino de {video}")
    return video, fs
    

async def main():
    tareas = [subir(video) for video in videos]
    lista = await asyncio.gather(*tareas)
    print("")
    print("Resultados:")
    for tupla in lista:
        print(f"Sitio {tupla[0]}, {tupla[1]} bytes enviados")


if __name__ == "__main__":
    asyncio.run(main())

produce:

Subiendo el pollito pio.mp4, tamano 4847 bytes
Subiendo turismo aventura.mp4, tamano 8542 bytes
Subiendo idiotas al volante.mp4, tamano 9930 bytes
Enviados 8420 bytes de idiotas al volante.mp4, 1510 restantes
Enviados 4008 bytes de turismo aventura.mp4, 4534 restantes
Enviados 984 bytes de el pollito pio.mp4, 3863 restantes
Enviados 1289 bytes de idiotas al volante.mp4, 221 restantes
Enviados 3980 bytes de turismo aventura.mp4, 554 restantes
Enviados 1281 bytes de el pollito pio.mp4, 2582 restantes
Enviados 58 bytes de idiotas al volante.mp4, 163 restantes
Enviados 367 bytes de turismo aventura.mp4, 187 restantes
Enviados 1063 bytes de el pollito pio.mp4, 1519 restantes
Enviados 188 bytes de el pollito pio.mp4, 1331 restantes
Enviados 135 bytes de idiotas al volante.mp4, 28 restantes
Enviados 185 bytes de turismo aventura.mp4, 2 restantes
Enviados 984 bytes de el pollito pio.mp4, 347 restantes
Enviados 10 bytes de el pollito pio.mp4, 337 restantes
Enviados 15 bytes de idiotas al volante.mp4, 13 restantes
Enviados 2 bytes de turismo aventura.mp4, 0 restantes
Termino de turismo aventura.mp4
Enviados 177 bytes de el pollito pio.mp4, 160 restantes
Enviados 4 bytes de idiotas al volante.mp4, 9 restantes
Enviados 81 bytes de el pollito pio.mp4, 79 restantes
Enviados 1 bytes de idiotas al volante.mp4, 8 restantes
Enviados 1 bytes de idiotas al volante.mp4, 7 restantes
Enviados 79 bytes de el pollito pio.mp4, 0 restantes
Termino de el pollito pio.mp4
Enviados 5 bytes de idiotas al volante.mp4, 2 restantes
Enviados 2 bytes de idiotas al volante.mp4, 0 restantes
Termino de idiotas al volante.mp4

Resultados:
Sitio el pollito pio.mp4, 4847 bytes enviados
Sitio turismo aventura.mp4, 8542 bytes enviados
Sitio idiotas al volante.mp4, 9930 bytes enviados

Process finished with exit code 0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.