2

Etoy haciendo un script que utiliza a la librería Twint pero me gustaría recuperar su output para salvarlo en una base de datos MongoDB. Por el momento solo puedo obtener las tweets en el compilador:

import twint

# Configure
c = twint.Config()
c.Search = "burberry"
c.lang = "fr"

# Run
twint.run.Search(c)

Me devuelve:

1334882732543889411 2020-12-04 16:30:19 +0100 <mugikouji_> めちゃBurberryやん
1334882587999924227 2020-12-04 16:29:44 +0100 <styleslthx> @burberry_lxt im gd wbu? and thanks xxx
1334882448153473025 2020-12-04 16:29:11 +0100 <OrmanTanricasi> @tarcinliciklet Burberry weekend, privacy gold sensation
1334882294109151239 2020-12-04 16:28:34 +0100 <iYaimaiZa> @MimiPPPope1 @mintpope1 @18ppdd_27_12_25 @lshamul @SPopezaap เธอได้ Burberry แล้นนนนะ
...

Hasta hoy intenté:

import twint
import subprocess
from io import StringIO
import sys

class Capturing(list):
    def __enter__(self):
        self._stdout = sys.stdout
        sys.stdout = self._stringio = StringIO()
        return self
    def __exit__(self, *args):
        self.extend(self._stringio.getvalue().splitlines())
        del self._stringio    # free up some memory
        sys.stdout = self._stdout

# Configure
c = twint.Config()
c.Search = "burberry"
c.lang = "fr"

with Capturing(twint.run.Search(c)) as output:
    # save the output in MongoDB
    print("test")

Pero nunca me devuelve "test", entonces no sé si puedo utlizar el output.

1 respuesta 1

1

Creo que la cuestión por la que preguntas (capturar la salida estándar) es independiente de que uses o no twint. Estaría relacionada más bien con cómo usar la clase Capturing que incluyes en la pregunta.

Cómo funciona

Esa clase implementa lo que se llama un contexto, permitiendo especificar cierto código que se ejecuta cuando se entra en el contexto, y otro que se ejecuta cuando se sale.

En tu caso, al entrar en el contexto se guarda el valor de sys.stdout para restaurarlo más tarde, y se cambia sys.stdout por un buffer StringIO, que es una clase de la librería estándar que "simula" ser un dispositivo de salida (como si fuera un fichero), pero que va almacenando en RAM los contenidos que se escriben en él. Esto es lo que permite capturar la salida estándar en el objeto StringIO.

Al salir del contexto se restaura el valor original de sys.stdout, y vemos también la siguiente línea misteriosa:

        self.extend(self._stringio.getvalue().splitlines())

¿Qué se está haciendo aquí? Se está accediendo al objeto interno _stringio, que es el buffer donde se ha ido guardando toda la salida estándar, se le aplica .splitlines() para romperlo en líneas (lo que generará una lista), y se pasa esa lista a self.extend().

self representa aquí al propio objeto contexto, y podemos hacer .extend() sobre él porque lo has declarado como una clase derivada de list, y por tanto hereda de ésta sus métodos. Es decir, este contexto en particular se comporta como una lista (a la que se han añadido "superpoderes" de contexto al implementarle las funciones __enter__() y __exit__().

Cómo se usa

Un contexto se instancia como parte de un bloque with, así:

with Capturing() as output:
   # instrucciones

Al invocar Capturing() se estará invocando al constructor de esa clase, es decir a su __init__(). Ya que no has implementado ese método, se usará el que hereda de list. En principio no hay por qué pasarle ningún parámetro al instanciar esa clase, pero si le pasas alguno se usará para inicializar la lista que es ese objeto.

A continuación, debido al with, se ejecutará el método __enter__() de ese objeto, y el valor retornado se asignará en este caso a la variable output. Debido a lo que hicimos en __enter__() la salida estándar estará redirigida al objeto output._stringio.

Cuando el bloque with termina, será invocado output.__exit__(), lo que restaurará la salida estándar y además guardará en la lista que en realidad es output la salida capturada. De modo que si al final miras el valor de output verás una lista con toda la salida capturada.

Demo de uso (independiente de twint)

def saluda(nombre=None):
  if nombre is None:
    nombre = "mundo"
  print("Hola", nombre)

with Capturing() as output:
  saluda()
  print("Test")
  saluda("John")

Y a la salida la variable output contiene:

['Hola mundo', 'Test', 'Hola John']

Cuidado!

En tu ejemplo le has pasado twint.run.Search(c) como parámetro al constructor de Capturing(). Como hemos visto eso inicializaría la lista output con los elementos devueltos por esa llamada, pero no capturaría la salida de esa llamada ya que cuando se llama al constructor aún no se ejecutó __enter__().

Demo de uso mal:

with Capturing(saluda()) as output:
  print("Test")
  saluda("John")

Produce el error NoneType is not iterable. Esto se debe a que en este ejemplo saluda() no retorna nada (retorna None), por lo que se está pasando el valor None al constructor de la lista. No funciona porque el constructor espera un iterable.

Si modificamos saluda() para que retorne una lista vacía, poniendo al final return [] y volvemos a ejecutar el contraejemplo anterior, ya no hay error pero el resultado tampoco es lo que querías:

print(output)
---
['Test', 'Hola John']

El "Hola mundo" no ha sido capturado por las razones antes explicadas. El [] retornado por la función saluda() se ha usado para inicializar la lista con un valor vacío, al que luego se han ido añadiendo el resto de mensajes capturados.

Por tanto tu código estaba mal y debería ser así:

with Capturing() as output:
   twint.run.Search(c)
   # save the output in MongoDB
   print("test")

print(output)

Nota final

Fíjate que tal como está programado output va a ser una lista (con las líneas capturadas). No sé si es eso lo que necesitas, o si pretendías que simplemente te retornara una cadena con toda la salida.

Si necesitas lo segundo, elimina la línea del self._stringio de modo que esa variable seguirá estando accesible fuera del contexto. Y puedes recuperar el texto capturado con output._stringio.getvalue()

2
  • Muchas gracias para esta repuesta muy rara ^^ el 4 dic. 2020 a las 19:32
  • ;-)⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀⠀
    – abulafia
    el 4 dic. 2020 a las 19:36

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.