2

Estoy trabajando con un reporte que obtengo desde una URL. Estoy buscando hacer filtros los cuales me retornen solo los datos de la columna Fillrate menores a 0.05 junto con los datos de name,request,impressions y una vez obtenido solo esos valores guardarlos en un CSV. No se como hacer ese tipo de operaciones. Python 2.7

import urllib, urllib2, cookieliz

#Usuario y contraseña
username = 'email'
password = 'contraseña'


#Cookies
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#Equivale a un POST
login_data = urllib.urlencode({'username' : username, 'password' : password})
opener.open('https://ppp.com/login', login_data)

#Reportes
resp = opener.open('https://ppp.com/reports/csv/11777')
content = resp.read()
print content 

aca termina el codigo. Lo que obtengo es lo siguiente:

"Inventory Name","Requests","Impressions","Fill Rate"
"aaass MWasdS","569737093","244066","0.04"
"bssss","331270265","381168","0.12"
"cumbia","152492369","190008","0.12"
"cuadrupedia","133983625","53184","0.04"

2 respuestas 2

1

pandas.read_csv puede leer de una dirección http\https un csv de forma directa. El problema es que requieres autentificarte y el uso de cookies, en este caso solo puedes hacer algo como lo que haces y cargar el DataFrame una vez obtenidos los datos con urllib, request o cualquier otra librería especializada.

Puedes usar StringIO que permite leer y escribir en buffers de string, pudiendo tratar el string content como si fuera un archivo y usar pandas.read_csv como harías normalmente:

import urllib
import urllib2 
from StringIO import StringIO
import cookieliz

#Usuario y contraseña
username = 'email'
password = 'contraseña'


#Cookies
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#Equivale a un POST
login_data = urllib.urlencode({'username' : username, 'password' : password})
opener.open('https://ppp.com/login', login_data)

#Reportes
resp = opener.open('https://ppp.com/reports/csv/11777')
content = resp.read()
df = pd.read_csv(StringIO(content))

También puedes guardar en tu disco duro el csv en un archivo y cargarlo normalmente con pandas.

with open("datos.csv", "wb") as f:
    f.write(content)

df = pd.read_csv("datos.csv")

Una vez que tienes el DataFrame cargado de cualquiera de las dos formas, el resto es simple:

df = df[df['Fill Rate'] < 0.05]
df.to_csv("salida.csv", sep=',')
5
  • Muchisimas gracias! Me solucionaste el problema! Saludos Commented el 2 oct. 2017 a las 20:07
  • sabes como puedo evitar que me muestre el numero de filas que automaticamente me muestra en salida.csv con df.to_csv?? Commented el 2 oct. 2017 a las 20:12
  • @MartinBouhier ¿Te refieres a omitir la primera columna?, ¿los indices por defecto de las filas del dataframe?
    – FJSevilla
    Commented el 2 oct. 2017 a las 20:16
  • 1
    @MartinBouhier si no recuerdo mal y lo que quieres es eliminar la columna de indices era pasando el parametro index=False , seria asi df.to_csv("salida.csv", sep=',', index=False)
    – FJSevilla
    Commented el 2 oct. 2017 a las 20:20
  • Eso necesitaba el index! Muchas gracias Commented el 2 oct. 2017 a las 20:36
0

Martín, independientemente de la respuesta de @FJSevilla que es la apropiada en tu caso ya que usas pandas, solo a modo informativo, una solución mediante "python" puro pasa por el uso de la comprensión de listas:

import urllib, urllib2, cookieliz

#Usuario y contraseña
username = 'email'
password = 'contraseña'

#Cookies
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
#Equivale a un POST
login_data = urllib.urlencode({'username' : username, 'password' : password})
opener.open('https://ppp.com/login', login_data)

#Reportes
resp = opener.open('https://ppp.com/reports/csv/11777')
content = resp.read()

# Creamos una lista separando por \n y luego por , y quitamos las comillas de cada campo
datos = [[w.replace('"', '') for w in e] for e in [l.split(",") for l in content.split("\n")] if len(e) == 4]

# Filtramos los datos quitando los encabezados 
datos_filtrados =  [c for c in [fila for fila in datos[1:]] if float(c[3]) <= 0.05]

print(datos_filtrados)
1
  • Muchas gracias por la Info Patricio! Un abrazo Commented el 2 oct. 2017 a las 20:37

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.