0

El script basicámente coge los proxies que proporciona una web y los guarda en un txt. El caso es que quiero implementar el modulo threading ya que es muy lento,pero no lo consigo. (He investigado,he hecho script con Threads pero no consigo implementarlo en mi código) La idea sería que cada hilo ejecutase la función "check" con su proxie correspondiente,por ejemplo,de 10 en 10. Mi código:

from colorama import Fore,Back,Style
import requests
import json
import os
import datetime

def check():
    count = 0
    os.system("cls")
    today = datetime.datetime.today()
    hoy = (f"{today.day}-{today.month}-{today.year}___{today.hour}-{today.minute}")
    print (hoy)
    nombre = (hoy+".txt")
    good = open(nombre,"a+")
    fichero = open("proxygen.txt","r+")
    print (Back.BLACK+"TEST")
    for ip_port in fichero:
        todo = ip_port.split(":")
        ip, port = ip_port.rstrip().split(":")
        line = f'http://{ip}:{port}'
        proxies = {'http': line, 'https': line}
        try:
            testIP = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=3)
            resIP = testIP.json()["origin"]
            origin = resIP.split(",")[0]
            if origin == ip:
                print(f"Proxy {ip}:{port}"+Fore.GREEN+"    OK"+Fore.WHITE)
                good.write(ip+"\n")
                count += 1

            else:
                print(f"Proxy {ip}:{port}"+Fore.RED+"   BAD"+Fore.WHITE)



        except:
            print (f"Proxy {ip}:{port}"+Fore.RED+"    ERROR"+Fore.WHITE)
    fichero.close()
    good.close()
    print (count)




check()




Se que aquí no dan las cosas hechas pero solo pido que me ayudeis a encontrar el camino correcto.Saludos y gracias.

1
  • Teniendo en cuenta que son operaciones de red de las que debes esperar respuesta, echale un vistazo a la libreria asyncio que sin ser hilos si puede acelerar mucho el script
    – Durgeoble
    el 2 ago. 2019 a las 20:20

1 respuesta 1

1

La idea es que cada hilo pueda ir tomando una linea (url del proxy) del fichero y la procese, cuando termine tome otra y así hasta que el trabajo esté completado. Por lo tanto, debes leer el fichero en el hilo principal y modificar la función que será ejecutada en cada hilo para que solo procese una url. Es el clásico diseño productor-consumidor, para implementarlo de forma relativamente simple puede usar concurrent.futures.ThreadPoolExecutor:

import concurrent.futures
import datetime
import json
import os

from colorama import Fore, Back, Style
import requests


def check(ip_port, timeout):
    ip, port = ip_port.split(":")
    line = f'http://{ip}:{port}'
    proxies = {'http': line, 'https': line}

    testIP = requests.get('https://httpbin.org/ip', proxies=proxies, timeout=timeout)
    resIP = testIP.json()["origin"]
    origin = resIP.split(",")[0]
    if origin == ip:
        return ip


os.system("cls")
today = datetime.datetime.today()
hoy = (f"{today.day}-{today.month}-{today.year}___{today.hour}-{today.minute}")
nombre = (f"{hoy}.txt")

print(hoy)
print(Back.BLACK + "TEST")

count = 0
hilos = 5
timeout = 3
with open("proxygen.txt") as fichero, open(nombre, "a+") as good:
    with concurrent.futures.ThreadPoolExecutor(max_workers=hilos) as executor:
        futures = {executor.submit(check, proxy, timeout):
            proxy for proxy in (row.rstrip() for row  in fichero)}
        for future in concurrent.futures.as_completed(futures):
            proxy = futures[future]
            try:
                result = future.result()
            except:
                print(f"Proxy {proxy:25}{Fore.RED}ERROR{Fore.WHITE}")
            else:
                if result is None:
                    print(f"Proxy {proxy:25}{Fore.RED}  BAD{Fore.WHITE}")
                else:
                    print(f"Proxy {proxy:25}{Fore.GREEN}   OK{Fore.WHITE}")
                    good.write(result + "\n")
                    count += 1
print(f"GOOD PROXIES: {Fore.GREEN}{count}{Fore.WHITE}")

Modifica el número de hilos para ajustarlo a tus necesidades, no siempre más hilos es mejor, lanzar un nuevo hilo tiene un coste importante por lo que debes encontrar un equilibrio.

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.