0

Desde una función principal se organiza todo.

Una vez recuperados los datos paramétricos, servidor, user, pass, listado de ficheros, etc...se inicia el objeto con la función ftp_init

def ftp_init(ftp_server,log_dir,log_name):
    try:
        #Genera el objeto FTP
        ftp = FTP(ftp_server)
        #Si conecta, da valor al resto de variables del módulo
        escribe_log(log_dir,log_name,"Generado objeto FTP correctamente")
        return ftp
    except Exception as e:
        escribe_log(log_dir,log_name,"Se ha encontrado un error al generar el objeto FTP.")
        os.exit(1)

Ésta retornará el objeto al módulo principal para seguir estableciendo los criterios. Modo de descarga, mediante variable tipoque obtendrá valor según campo db.

def ftp_mode(ftp,log_dir,log_name,tipo):
    try:
        #Establece el modo de descarga y posicionamiento
        if tipo == "I":
            tipo_cmd = "TYPE I"
            tipo_log = "Binario"
        if tipo == "A":
            tipo_cmd = "TYPE A"
            tipo_log = "ASCII"
        ftp.sendcmd(tipo_cmd)
        escribe_log(log_dir,log_name,"Modo Seleccionado : " + tipo_log)
        #Navegamos a una ruta válida
        ftp.cwd("..")
        return ftp
    except Exception as e:
        escribe_log(log_dir,log_name,"No se ha podido establecer el tipo de descarga")
        os.exit(1)

Una vez establecido el modo, se hace la llamada a la descarga.

def ftp_download(ftp,log_dir,log_name,tipo,filename):
    try:
        if tipo == "I":
            with open(filename, "wb",encoding="utf") as f:
                ftp.retrbinary("RETR "+filename, f.write)
        if tipo == "A":
            with open(filename, "w",encoding="utf") as f:
                ftp.retrlines("RETR "+filename, f.write)
        escribe_log(log_dir,log_name,"[OK]-"+filename+" Descargado 100%")
        return ftp
    except Exception as e:
        escribe_log(log_dir,log_name,"[KO]-"+filename+" -- ERROR --")
        os.remove(filename)

Yo diría que aquí es donde no consigo dar con el kit de la cuestión, he probado varias combinaciones: binario - Latin-1, binario - utf, texto - utf-8 pero o no se descarga "bien". De momento solo he probado descargar ficheros planos, sin campos Packed (el binario quedaría descartado por el momento...) pero cuando se descarga con el tipo texto, si el fichero tiene :

A través de SW Ftp Comercial...

Se descargan como un solo registro :

A través del script

No se si así lo he dejado más claro o lo he enrevesado más !!!! je je je je

Muchas gracias a todos!!!!

11
  • No das mucha informacion pero puedes probar añadiendo el argumento .replace('\n','') que te eliminaria los saltos de línea. Así con todo lo que quieras eliminar el 4 mar. 2021 a las 12:10
  • disculpa si he sido demasiado escueto :). precisamente ese es el problema, que las p.e 10.000 líneas que contiene el fichero, cuando lo descarga, pone esas 10.000 líneas en la primera, una detrás de otra...
    – AlbertoOG
    el 4 mar. 2021 a las 12:22
  • Sin código que estudiar, cualquier respuesta es pura especulación. Publica tu codigo.
    – Candid Moe
    el 4 mar. 2021 a las 15:42
  • El fichero f se debe abrir también en modo binario, y sin especificar encoding. Es decir open(filename, "wb"). No debes poner ningún encoding porque los datos que recibes son binarios. La única diferencia entre traerlo por ftp en modo binario o modo texto es cómo se tratarán los retornos de carro, pero los caracteres en sí no son procesados de ninguna forma por lo que debes limitarte a escribirlos tal cual te llegan, sin preocuparte de encodings
    – abulafia
    el 5 mar. 2021 a las 7:36
  • mmm..Descargar todos los ficheros como binarios y leerlos como binarios todos de forma local, al conocer las estructuras de fichero se pueden convertir sin problema entiendo..no?
    – AlbertoOG
    el 5 mar. 2021 a las 7:38

1 respuesta 1

2

Si quieres que el archivo recibido sea 100% idéntico al archivo original, debes transferir siempre en modo binario.

Una transferencia en modo texto "altera" lo que recibes, de una forma que describiré luego. La mayoría de los archivos que sigan un formato estandarizado no deberían transmitirse en modo texto, porque esa "alteración" que sufre los dejaría inservibles. Esto afecta a formatos típicos como PDF, xlsx, docx, zip, rar, mp3, mp4, jpg, png, etc... Todos estos deben transmitirse en modo binario si quieres que al recibirse sean idénticos a como eran en origen (pues de otro modo posiblemente no puedas abrirlos).

Sólo los ficheros que se van a abrir con un editor de texto plano podrían ser susceptibles de transmitirse en modo texto. Por ejemplo, el código fuente de un programa C, un script Python, un archivo .txt o markdown, etc... Pero incluso estos tipos podrían transmitirse también en modo binario sin problemas, y lo que obtendrías sería una copia idéntica de cómo era ese fichero en la máquina origen.

¿Qué alteración hace entonces el modo texto?

  • Si quien recibe es una máquina Windows, y quien emite es Unix, la alteración que hace es la siguiente: analiza cada byte recibido y si encuentra uno con valor 10 (0x0A en hexadecimal), lo transforma en dos bytes de valores 13 y 10 (0x0D, 0x0A en hexadecimal). El resto de bytes los deja pasar tal cual.
  • Si quien recibe es una máquina Unix, y quien emite es Windows, la alteración que hace es la contraria: analiza los bytes recibidos y si aparecen dos seguidos de valores 13 y 10 (0x0D, 0x0A) lo convierte en uno solo de valor 10 (0x0A).
  • Si las máquinas son ambas Unix o ambas Windows, no hace nada (y por tanto la transmisión equivale a una binaria)

¿Por qué esas transformaciones?

La razón es histórica. En Unix los ficheros de texto usan el byte 0x0A para indicar dónde termina una línea (es el carácter conocido como "Avance de línea", o Line Feed en inglés, o LF, y típicamente escrito como \n en los lenguajes de programación). En cambio en Windows usan la pareja de bytes 0x0D, 0x0A ("retorno de carro + avance de línea", o Carriage Return+Line Feed, CRLF, típicamente escritos como \r\n en los lenguajes de programación).

Esta diferencia hace que si transmites un fichero de texto en modo binario, desde Unix a Windows, al abrirlo en Windows con un editor "tonto", que espere un CRLF al final de cada línea, ya que lo que encontraría sería sólo LF, no entendería por dónde están divididas las líneas, y te lo mostraría todo como una sola larga línea. Un editor más listo detectaría que el fichero no usa el convenio CRLF sino solo LF y te lo mostraría bien de todas formas.

A la inversa, si transmites un fichero en modo binario de Windows a Unix y lo abres con un editor "tonto" en Unix, ya que al final de cada línea hay CRLF donde sólo se esperaba LF, las líneas tendrán un carácter extra "raro" al final (el CR) que típicamente se muestra como ^M en estos editores. Un editor más listo detectaría que el fichero viene con el convenio CRLF y lo mostraría correctamente.

Por tanto la transferencia en modo texto es para arreglar el asunto LF vs CRLF y ayudar a que se visualicen correctamente aún con editores tontos.

Ya que hoy día la mayoría de editores son listos, la transmisión en modo texto podría considerarse opcional. Además, si por error transmites en modo texto un archivo que tiene internamente bytes que puedan tomar el valor 10 (0x0A), pero que no representan finales de línea, la alteración que hace la transferencia en modo texto podría dejar el archivo inutilizable (como ocurriría si lo que transmites es por ejemplo un .zip entre otros muchos formatos).

Y el encoding?

El encoding es un asunto diferente que está relacionado con cómo se codifican los caracteres que no son ASCII (ej: eñes o acentos). Este asunto no lo arreglas con una transmisión en modo texto, ya que como se ha explicado ésta sólo "arregla" el problema CRLF. El encoding recibido coincidirá por tanto con el encoding en origen. El editor en que lo abras debe soportar el mismo encoding.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.