-4

¡Hola!

Me veo obligado a solicitar de su ayuda, Después de una larga espera al fin, me toca desarrollar un proceso de ETL (Extraccion, Tranformacion y Carga de los datos) utilizando Yii2

Necesito saber si alguien de la comunidad a desarrollado algún proyecto utilizando Yii2 y le ha aplicado un proceso de ETL (Extraccion, Transformacion y carga de datos). Les agradezco si me pueden enviar documentacion o ejemplos de como realizar un proceso de ETL en Yii2, quedo pendiente de cualquier información que me puedan aportar, es un proyecto academico

3

1 respuesta 1

1

Instala el componente en tu proyecto yii2(utilizando composer composer require marquine/php-etl), una vez hecho eso puedes generar un comando(controlador de consola) y dentro de él, en el metodo init

Puedes inicializar el uso de Etl::config($params)

namespace app\commands;

use Marquine\Etl\Etl;
use Marquine\Etl\Job;
use yii\console\Controller;

class EtlController extends Controller
{
    public $file;
    public function init()
    {
        Etl::config([
            'path' => '/path/to/etl/files',
            'database' => [
                // Base de datos a utilizar
                'default' => 'sqlite',

                'connections' => [

                    'sqlite' => [
                        'driver' => 'sqlite',
                        'database' => '/path/to/database.sqlite',
                    ],

                    'mysql' => [
                        'driver' => 'mysql',
                        'host' => 'localhost',
                        'port' => '3306',
                        'database' => 'dbname',
                        'username' => 'user',
                        'password' => 'pass',
                        'charset' => 'utf8',
                        'collation' => 'utf8_unicode_ci',
                    ],

                    'pgsql' => [
                        'driver' => 'pgsql',
                        'host' => 'localhost',
                        'port' => '5432',
                        'database' => 'dbname',
                        'username' => 'user',
                        'password' => 'pass',
                        'charset' => 'utf8',
                        'schema' => 'public',
                    ],

                ],

            ],

        ]);
    }
    public function options($actionID)
    {
        return ['file'];
    }

    public function optionAliases()
    {
        return ['f' => 'file'];
    }

    public function actionIndex()
    {
        // ejecución de la tarea de etl
        Job::start()
        // datos a extraer
        ->extract('table', 'nombre_tabla_extraer', [
            'connection' => 'mysql' // Base de datos de donde obtendre los datos, si no viene seteado se utiliza el valor que tiene el campo 'default'
        ]) 
        // transformacion a aplicar a los datos
        ->transform('trim', ['columns' => ['name', 'email']])
        // donde cargare los datos
        ->load('table', 'users', [
            'connection' => 'pgsql' // Base de datos a donde voy a insertar los datos
        ]);
    }
}

extractores de datos https://php-etl.readthedocs.io/en/latest/extractors/#table

transformadores de datos https://php-etl.readthedocs.io/en/latest/transformers/

cargadores de datos https://php-etl.readthedocs.io/en/latest/loaders/

en consola lo llamas como ./yii etl

7
  • 1
    No entiendo la base de datos a utilizar, el proceso de ETL se realiza de la siguiente manera tengo una base de datos de la cual voy a extraer unos datos los transformo y luego los cargo en otra en esa caso cual seria la base de datos a extraer y cual seria la que voy a cargar
    – John Doe
    el 3 mar. 2018 a las 4:47
  • 1
    en dado caso puedes utilizar el extractor de la base de datos, lo coloco en un momento el 3 mar. 2018 a las 4:54
  • 1
    No entiendo lo de generar un comando (controlador de consola)
    – John Doe
    el 3 mar. 2018 a las 5:06
  • 1
    Creas un Controlador en tu carpeta commads, como cualquier controlador que utilizas para la web, solo extiende del controlador yii\console\Controller y lo mandas a llamar desde la consola o terminal ./yii etl el 3 mar. 2018 a las 5:10
  • 1
    ¿Qué es lo que no te queda claro? no estoy seguro si continuamos hablando de poder abrir un chat mediante esta plataforma. el 3 mar. 2018 a las 5:26

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.