6

Tengo un problema con la recepción de datos del servidor al cliente. Tengo la siguiente función del lado del cliente que intenta recibir los datos del servidor. Los datos enviados por el Servidor mediante la función socket.sendall(datos) son mayores que buff_size por lo tanto necesito un bucle que vaya leyendo los datos.

def recibirTodo(sock):
    datos = ""
    buff_size=4096
    while True:
       parte = sock.recv(buff_size)     
       datos += parte
       if parte < buff_size:
             break;
    return datos

El problema que me ocurre es que luego de la primera iteración (lee los primeros 4096 MB), en la segunda el programa se queda bloqueado esperando los demás datos en parte = sock.recv(buff_size). ¿Cómo tengo que hacer para que recv() pueda seguir leyendo los demás datos que faltan? Gracias

1
  • ¿Podrías agregar la parte en la que creas y configuras el socket? Commented el 30 ago. 2017 a las 5:33

3 respuestas 3

4

Edición: Gracias a la respuesta de @abulafia me doy cuenta que aunque mi respuesta es perfectamente válida para comunicaciones UDP, es probable que la conexión sea TCP ya que el OP nunca respondió a mi pregunta ¿Podrías agregar la parte en la que creas y configuras el socket?, de modo que añadiré un apartado adicional para tratar las comunicaciones TCP.

Comunicación UDP

Si el tráfico de datos es UDP entonces el problema que sufres es que en UDP, a diferencia de TCP, si recibimos un paquete y no podemos obtener el contenido en su totalidad el resto se pierde, no se queda en ningún tipo de buffer esperando ser leído, pero si hay más paquetes UDP pendientes de ser leídos no se pierden y podrán ser leídos uno tras otro de manera compacta (sin mezclarse un mensaje con otro).

Una ventaja que tienes es que se conoce y es acotado el tamaño máximo que puede llegar a tener un paquete IP (216 - 1 = 65.535 bytes) a los que se debería restar el tamaño de la propia cabecera IP (20 bytes mínimo) y la UDP (8 bytes).

En definitiva, deberás definir un tamaño máximo de información de 65.507 bytes para asegurarte que no perderás contenido de ningún paquete UDP por haberlo leído incompleto, ahorrándote el bucle y la concatenación de resultados parciales (nunca los habrá):

def recibirTodo(sock):
    return sock.recv(65507)

Comunicación TCP

En el caso de TCP se podría usar la misma solución que UDP ya que el paquete máximo que se podrá recibir de una tacada será similar al UDP, aunque el tamaño de una cabecera TCP tiene un tamaño mínimo de 20 bytes en vez de 8 bytes, dando un tamaño máximo de 65.495 bytes por paquete (en realidad se denomina datagrama).

Las principales diferencias con UDP son:

  • Si no se leen todos los datos recibidos el resto se quedan en un búfer esperando su obtención.
  • Si se recibe más de un paquete la información se concatena en el búfer de recepción, por lo que una llamada a sock.recv() podría leer el contenido de dos paquetes a la vez.
  • Debido a este último punto, no hay garantía alguna que al usar sock.recv(65495) se obtenga el contenido de únicamente un paquete o incluso, dependiendo de la situación, podría llegarse a leer uno de los paquetes recibidos de manera parcial.

Por ello se suele implementar siempre un protocolo de comunicación en el que cada mensaje enviado usa delimitadores para marcar el comienzo y/o final de cada mensaje o informar de su tamaño en un campo para que tras leer ese número de bytes se analice el contenido del mensaje.

En tu código supones que si llenas con el tamaño máximo tu variable de recepción es porque aún quedan datos por leer, pero existe una probabilidad (aunque sea minúscula) de que tu aplicación haya recibido exactamente 4096 bytes y vuelvas a leer el socket quedándote bloqueado en la lectura.

Por cierto, el código correcto (como apuntan en la otra respuesta mencionada) sería:

if len(parte) < buff_size

Pero si tu objetivo es que se quede esperando hasta recibir datos y llenar la variable hasta haber recibido toda la información pendiente, entonces es mejor usar socket.setblocking() para forzar una excepción cuando no haya más datos que leer y no se quede bloqueado esperando a recibir más:

def recibirTodo(sock):
    datos = ""
    buff_size = 4096
    # En python3 puedes obtener el estado previo y luego restablecerlo
    #bloqueo = sock.getblocking()
    # La primera vez nos forzamos a esperar la llegada de datos
    sock.setblocking(True)
    try:
        while True:
            datos += sock.recv(buff_size)
            # A partir de ahora si no hay datos que leer finalizamos el bucle
            sock.setblocking(False)
    except socket.error:
        pass
    # En python3 podremos recuperar el estado inicial del bloqueo
    #sock.setblocking(bloqueo)
    return datos
4

Aunque no muestras cómo se crea el socket, por tu alusión al método sendall() del otro lado se deduce que es un socket tipo TCP.

No mencionas tampoco qué versión de python estás usando, pero dado que inicializas datos con un string ("") y no con una cadena de bytes (b"") deduzco que se trata de Python2.

Tu programa tiene un bug, que en Python3 habría sido un error en tiempo de ejecución que te habría ayudado a detectar el problema, y es que estás comparando un string con un entero. En python 3 tal comparación estaría prohibida y generaría la excepción TypeError: unorderable types: str() < int(), pero en Python2 es legal y produce False*.

En concreto, la línea problemática es esta:

   if parte < buff_size:

Donde parte es un string y buff_size es un entero. Asumo que querías decir if len(parte) < buff_size.

Otra forma de implementar tu bucle sería:

def recibirTodo(sock):
    datos = ""
    buff_size=4096
    recibidos = "aun nada"
    while recibidos:
       recibidos = sock.recv(buff_size)     
       datos += recibidos
    return datos

Lo cual funciona porque en el momento en que se han terminado de recibir todos los datos (y el socket se ha cerrado desde el otro extremo), recv() retornará la cadena vacía. Recuerda que el otro extremo debe cerrar la conexión. Si no, no hay forma alguna de que puedas saber si hay o no hay más datos a menos que tengas un protocolo propio que, por ejemplo, envíe primero la cantidad de bytes que tendrá el mensaje que viene después.

*: porque la forma en que Python 2 resuelve la comparación de datos entre diferentes tipos es para flipar, y lo que hace es comparar alfabéticamente sus tipos, y resulta que "str" es mayor que "int"

Actualización. Aclaración sobre sendall y UDP

En mi respuesta había escrito que el uso de .sendall() era un indicio de que se estaba usando TCP. @OscarGarcia amablemente me señaló que .sendall() también puede usarse sobre un socket UDP. Efectivamente, así es, pero he tenido que revisar la documentación y hasta el código fuente de Python para verificar que así era, pues en mi opinión no tiene sentido y quería aclarar este tema, pero la explicación es demasiado larga para un comentario.

  1. ¿Qué hace socket.sendall()? Simplemente es un bucle que llama repetidamente a socket.send() hasta haber enviado todos los datos.

  2. ¿Por qué hace falta? o también, ¿en qué se diferencia de socket.send()? Puede ser necesario en TCP porque en este protocolo es posible que un .send() no envíe todos los datos debido a cómo está implementado este protocolo (con buffers intermedios, ventanas de transmisión, mecanismos para evitar congestión, etc).

    Es decir, imagina que la variable buff contiene 5000 bytes. Cuando haces socket.send(buff) se intentarán colocar esos 5000 bytes en el buffer "de salida" del socket (de donde la pila de protocolos del operativo los tomará para enviarlos por la red). Es posible que el buffer esté saturado y sólo quede sitio para 3000 bytes. En ese caso socket.send(buff) colocaría sólo los 3000 primeros bytes en el buffer, por lo que sólo esos 3000 serían enviados. Eso sí, la función te retorna 3000 para que puedas ver que no se han enviado todos (te retorna siempre la cantidad de bytes admitidos en el buffer). Es responsabilidad del programador decidir qué hacer con los que no han cabido. Lo habitual es volver a llamar a send() para enviar el resto. Es posible que esa llamada a send() sea bloqueante porque no hay sitio en el buffer. Entonces el proceso que lo llamó queda parado hasta que haya sitio de nuevo y en cuanto lo haya (por ejemplo, se dispone más tarde de 1000 bytes en el buffer), el proceso se desbloquea, se admiten los bytes que quepan y se retorna cuántos se han admitido.

    Si queremos asegurarnos de que se han enviado todos, podemos hacer un bucle como el siguiente:

    def enviar_todo(sock, buff):
        while len(buff) == 0:
            admitidos = sock.send(buff)
            buff = buff[admitidos:]
    

    en el que, en cada iteración, se intenta enviar "todo lo que queda del buffer" y se actualiza el buffer para quitarle lo que ya haya sido enviado, y se insiste hasta que ya no quede nada por enviar.

    O usar socket.sendall() que en el fondo hace esto mismo (pero en C).

  3. ¿Por qué digo que no tiene sentido en UDP? Por varias razones:

    • UDP no es un protocolo orientado a conexión. A diferencia de TCP en el que se establece un "canal virtual" que actúa a modo de tubería entre los sockets conectados y que garantiza que el orden en que recibimos los bytes es el mismo que el orden en que los enviamos, en UDP no hay tal "tubería", sino que cada datagrama es algo completamente independiente del anterior.
    • De hecho, en UDP en lugar de usar socket.send() se usa socket.sendto(), que además de los bytes a enviar necesita la IP y puerto a dónde enviarlos, pues cada envío, al ser independiente, podría ser a una máquina diferente.
    • Un socket UDP tiene el método .connect(), pero su comportamiento es muy diferente al de TCP. En TCP este método se traduce verdaderamente en un handshake de red, un intercambio de paquetes entre cliente y servidor para crear el canal virtual antes mencionado, y una vez establecido el canal .send() lo usará. En UDP en cambio no se establece canal alguno. El uso de .connect() no genera ninguna actividad de red. Tan sólo asocia en nuestro lado un destino para las comunicaciones de ese socket, para poder usar .send() en vez de .sendto() y evitar así tener que especificar siempre la IP y puerto de destino si siempre va a ser la misma. Se especifica una sola vez en el .connect() y ya queda asignado al socket.

    • UDP no tiene el problema de las escrituras incompletas. Cuando se hace un socket.send(buff) sobre un socket UDP, o bien todo cabe en el datagrama (64K es el límite) o bien no cabe y tendremos un error (excepción "Message too long"). Y si todo cabe en el datagrama, la operación .send() retornará con éxito, tanto si se consigue enviar como si no. El operativo hará todo lo que pueda para intentar que el datagrama llegue a destino, pero podría perderse por el camino y no lo sabríamos. UDP no tiene mecanismo para detectar esto.

      En otras palabras, socket.send(buff) siempre tendrá éxito (a menos que el mensaje sea demasiado largo, en cuyo caso no lo podemos enviar por UDP) y siempre admitirá el mensaje completo. Por tanto no puede darse el caso en que sólo se admita parte y haya que insistir hasta enviar todo, como en TCP. Pero esto tampoco nos garantiza que el mensaje haya sido recibido. Y obviamente sendall() tampoco tendrá esa garantía, pues UDP no ofrece forma de saber desde este lado si algo ha llegado al otro lado. En cualquier caso, el mensaje, si llega, llegará completo. No puede darse el caso en que llegue un solo trozo.

    • Aún si pensáramos que la función socket.sendall() en el caso UDP realmente reintentara en un bucle como hacía en TCP, esto sólo serviría para "trocear" el buffer que queríamos enviar en varios datagramas. Ya que UDP tampoco tiene garantías en el orden de entrega, no sería posible reconstruir en destino el orden original. Por suerte no es esto lo que ocurre, sino que .sendall() en el caso UDP es totalmente equivalente a .send().

6
  • Debo agradecerte tu respuesta para darme cuenta que podría tratarse de comunicaciones TCP y que su problema viene no haber usado len() para calcular el tamaño de recibidos, pero he de resaltar dos fallos en tu planteamiento: a) no puedes deducir que sendall() esté ligado a comunicaciones TCP, se puede usar igualmente en UDP. b) Tu código se quedará bloqueado en recv() tras leer el único/último trozo de 4096 bytes, que no es lo que desea el OP. Commented el 3 jun. 2019 a las 7:26
  • @OscarGarcia Aunque técnicamente sendall() existe para UDP, no tiene sentido en mi opinión (he actualizado la respuesta para explicarlo). Siempre que he visto . ssendall()` lo he visto en TCP y ni sabía que existía en UDP. Por otro lado, el código de la respuesta original no se queda bloqueado en recv() si el otro extremo cierra la conexión (condición que ponía en la respuesta), pues en ese caso el recv() se desbloquerá y retornará una cadena vacía para indicar el cierre de la conexión, lo que terminará el while recibidos:.
    – abulafia
    Commented el 3 jun. 2019 a las 9:02
  • @OscarGarcia y si el otro extremo no cierra la conexión después del .sendall(), entonces realmente no hay forma de saber cuántos bytes eran los que había que esperar, a menos que el servidor los hubiera enviado en un mensaje previo, para lo cual habría que definir ese protocolo.
    – abulafia
    Commented el 3 jun. 2019 a las 9:04
  • Cuando se envían datos (ya sean 1000 o 65000) durante un sendall se genera un único datagrama IP que podrá ser o no fragmentado debido a la MTU máxima en la ruta, pero sólo una vez recibido el datagrama COMPLETO (y no parcial) se envía al búfer de recepción para ser obtenido con recv(). Tal y como he ampliado en mi respuesta, no existe posibilidad de diferenciar en TCP los diferentes datagramas recibidos si no es creando un protocolo que encapsule los mensajes, pero creo que esa implementación podría quedar relegada a otra pregunta/tema diferente. Commented el 3 jun. 2019 a las 9:09
  • Por cierto, viento tus ediciones, te doy mi +1 por un detalle que me ha gustado: usar sendall() es equivalente a send() en UDP porque tratar de enviar un paquete más grande que el soportado genera una excepción de tipo socket.error con el código: [Errno 90] Message too long sin que divida el mensaje en diferentes envíos. Commented el 3 jun. 2019 a las 9:21
1

Intenta.

while True:
    try:
        # Recibir datos del cliente.
        input_data = conn.recv(1024)
    except error:
        print("Error de lectura.")
        break
    else:
        if input_data:
            # Compatibilidad con Python 3.
            if isinstance(input_data, bytes):
                end = input_data[0] == 1
            else:
                end = input_data == chr(1)
            if not end:
                # Almacenar datos.
                f.write(input_data)
            else:
                break

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.