4

tengo un archivo txt con emails, hay casi un millón de emails algo como 978.000 (algunos son repetidos).

Pero mi script es ineficiente, no logra hacerlo de forma "rápida" y si los números de emails superan el millón prácticamente no puede extraerlos.

Lo que tengo hecho es lo siguiente:

<?php
    $fp = fopen('emails.txt', 'r');
    $salida = fopen("salida.txt", "w+");
    if (!$fp) {
        echo 'ERROR: No ha sido posible abrir el archivo. Revisa su nombre y sus permisos.';
        exit;
    }    
    $loop = 0; 
    while (!feof($fp)) { 
        while (($line = fgets($fp)) !== false) {
            if (preg_match("/[a-z0-9_\-\+\.]+@[a-z0-9]+\.([a-z]{2,4})(?:\.[a-z]{2})?/i", $line, $result)) {
                preg_match("/[a-z0-9_\-\+\.]+@[a-z0-9]+\.([a-z]{2,4})(?:\.[a-z]{2})?/i", $line, $result);
                $result = join("\n", $result);
                $emails_unicos[] = $result;
                $emails_unicos = array_unique($emails_unicos);
            }
        }
        foreach ($emails_unicos as $email_unico) {
            echo rtrim($email_unico, "com") . '<br/>';;
            fwrite($salida, $email_unico);
            $loop++;
        }
    }
    fclose($fp);
?>

Lo que hago en mi script es leer los datos del txt, filtrarlos y eliminar lo duplicados.

Pero ¿se podría mejorar de alguna forma? para optimizarlo y que pueda extraer más de un millón de usuarios.

6
  • 1
    ¿Puedes definir lo que es para tí rápido? ¿Cuánto tiempo está tardando ahora y en cuanto tiempo esperas que se puedan procesar?
    – ordago
    el 21 nov. 2019 a las 15:33
  • 1
    300 mil lineas en 1 minuto las lee, pero 1 millon tarda eternidades.
    – Jellestad
    el 21 nov. 2019 a las 15:34
  • 2
    ¿Cuanto es una eternidad....? 10 minutos, 10horas, 10 días...?
    – ordago
    el 21 nov. 2019 a las 15:36
  • 1
    tarda mas de 2 horas
    – Jellestad
    el 21 nov. 2019 a las 15:36
  • 2
    No soy experto en php pero si se que lo que quiere hacer debe hacerlo con programacion asíncrona o en varios hilos. No se porque esta metiendo tantos datos en un solo archivo. No sería mejor crear archivos con 300 mil líneas cada uno y en varios hilos cargar todos esos archivos en lugar de tratarlo de hacer bruscamente en uno solo ????? el 21 nov. 2019 a las 15:56

2 respuestas 2

4

1ra opción: Tengo esta opción que podría servirte:

$lines = file("emails.txt", FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
$lines = array_intersect_key($lines, array_unique(array_map(function($v){
    // Aquí podrías poner tus expresiones regulares
    return trim($v);
}, $lines)));
$salida = fopen("salida.txt", "w+");
foreach ($lines As $line)
    fwrite($salida, "$line\n");
fclose($salida);

2da opción: Y bueno se me ocurre ésta otra forma modificando tu código para que no tengas que iterar dos veces:

set_time_limit(3600); // Aqui va el tiempo de ejecución según el tiempo que requieras
$fp = fopen('emails.txt', 'r');
$salida = fopen("salida.txt", "w+");
if (!$fp) {
    echo 'ERROR: No ha sido posible abrir el archivo. Revisa su nombre y sus permisos.';
    exit;
}

$loop = 0;
$arrEmails = array();
while (!feof($fp)) {
    $line = fgets($fp);
    if (preg_match("/[a-z0-9_\-\+\.]+@[a-z0-9]+\.([a-z]{2,4})(?:\.[a-z]{2})?/i", $line, $result)) {
        preg_match("/[a-z0-9_\-\+\.]+@[a-z0-9]+\.([a-z]{2,4})(?:\.[a-z]{2})?/i", $line, $result);
        $result = join("\n", $result);
        if (!in_array($result, $arrEmails)) { // Aquí pregunto si el email no existe en el array (y se escribe en el archivo si no existe)
            $arrEmails[] = $result;
            fwrite($salida, $result);
            $loop++;
        }
    }
}

fclose($fp);
3
  • 3
    Muy buena acotación, por otra parte tomé tu código para optimizarlo un poco más. Saludos el 21 nov. 2019 a las 16:15
  • Genial, funciono perfectamente, gracias
    – Jellestad
    el 22 nov. 2019 a las 12:27
  • 2
    ¿Esta respuesta solucionó tu problema, @Cristian ? Por favor no olvides marcarla como aceptada si tu problema fue resuelto. Puedes hacerlo marcando el ✓ en la parte izquierda de la respuesta (se pondrá verde, ganarás 2 puntos de reputación y podrías acceder a nuevos privilegios). ¡Mira ¿Qué debo hacer cuando alguien contesta mi pregunta? si tienes alguna duda!
    – fedorqui
    el 22 nov. 2019 a las 13:19
0

Basandome en el codigo de @Israel-ICM te sugiero indexarlo con las dos primeras siglas de cada correo en un arreglo multidimensional, ya que estas manejando una cantidad muy alta de datos (1 millón).

PD: No estoy seguro si funciona porque no he ejecutado, pero desde mi interprete mental funciona, pruebalo y me comentas.

<?php

set_time_limit(0); // Se define en 0 para que no tenga limite de tiempo de ejecución.
$fp = fopen('emails.txt', 'r');
$salida = fopen("salida.txt", "w+");
if (!$fp) {
    echo 'ERROR: No ha sido posible abrir el archivo. Revisa su nombre y sus permisos.';
    exit;
}

$loop = 0;
$arrIndex = array();

while (!feof($fp)) {
    while (($line = fgets($fp)) !== false) {
        if (preg_match("/[a-z0-9_\-\+\.]+@[a-z0-9]+\.([a-z]{2,4})(?:\.[a-z]{2})?/i", $line, $result)) {
            $result = join("\n", $result);
            if (!in_array($result, $arrIndex[substr($result, 0,2)])) { // Aquí pregunto si el email no existe en el array (y se escribe en el archivo si no existe)
                $arrIndex[substr($result, 0,2)][] = $result;
                fwrite($salida, $result);
                $loop++;
            }
        }
    }
}

fclose($fp);

Espero te sirva, saludos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.