2

Tengo un archivo .csv como el siguiente:

start_date,end_date,pollster,sponsor,sample_size,population,party,subject,tracking,text,approve,disapprove,url
2020-02-02,2020-02-04,YouGov,Economist,1500,a,all,Trump,FALSE,Do you approve or disapprove of Donald Trump’s handling of the coronavirus outbreak?,42,29,https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
2020-02-02,2020-02-04,YouGov,Economist,376,a,R,Trump,FALSE,Do you approve or disapprove of Donald Trump’s handling of the coronavirus outbreak?,75,6,https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
2020-02-02,2020-02-04,YouGov,Economist,523,a,D,Trump,FALSE,Do you approve or disapprove of Donald Trump’s handling of the coronavirus outbreak?,21,51,https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
2020-02-02,2020-02-04,YouGov,Economist,599,a,I,Trump,FALSE,Do you approve or disapprove of Donald Trump’s handling of the coronavirus outbreak?,39,25,https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
2020-02-07,2020-02-09,Morning Consult,"",2200,a,all,Trump,FALSE,Do you approve or disapprove of the job each of the following is doing in handling the spread of coronavirus in the United States? President Donald Trump,57,22,https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
2020-02-07,2020-02-09,Morning Consult,"",684,a,R,Trump,FALSE,Do you approve or disapprove of the job each of the following is doing in handling the spread of coronavirus in the United States? President Donald Trump,88,4,https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
2020-02-07,2020-02-09,Morning Consult,"",817,a,D,Trump,FALSE,Do you approve or disapprove of the job each of the following is doing in handling the spread of coronavirus in the United States? President Donald Trump,37,37,https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
2020-02-07,2020-02-09,Morning Consult,"",700,a,I,Trump,FALSE,Do you approve or disapprove of the job each of the following is doing in handling the spread of coronavirus in the United States? President Donald Trump,50,22,https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
2020-02-07,2020-02-09,Morning Consult,Politico,1996,rv,all,Trump,FALSE,"And, do you approve or disapprove of how each of the following have handled the response to the coronavirus? President Trump",39,35,https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
2020-02-07,2020-02-09,Morning Consult,Politico,700,rv,R,Trump,FALSE,"And, do you approve or disapprove of how each of the following have handled the response to the coronavirus? President Trump",71,8,https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
2020-02-07,2020-02-09,Morning Consult,Politico,788,rv,D,Trump,FALSE,"And, do you approve or disapprove of how each of the following have handled the response to the coronavirus? President Trump",15,60,https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
2020-02-07,2020-02-09,Morning Consult,Politico,508,rv,I,Trump,FALSE,"And, do you approve or disapprove of how each of the following have handled the response to the coronavirus? President Trump",34,33,https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf

Quiero contar el numero de veces que se repite la palabra "Huffington Post" y el numero de veces que hay URLs que sigan el patrón siguiente: Empiecen por http o https y acaben en .pdf

He realizado lo siguiente:

import csv
import re

path = "mipath"
with open(path, "r") as file1:
    file1 = file1.read()
    # Contamos el numero de occurrencias de Huffington Post
    counter1 = file1.count('Huffington Post')
    # Contamos el numero de occurrencias de urls terminadas en .pdf
    occ = re.findall(r"(https?:\/\/.*\.pdf+$)", file1)
    print('The pattern Huffington_Post appears', counter1, "times")
    print(len(occ))

Sin embargo, obtengo lo siguiente:

The pattern Huffington_Post appears 112 times
1

No entiendo porque es 1 si le estoy diciendo que me encuentre todos los casos. Quizás deberia iterar por filas? No acabo de ver como. Gracias.

6
  • lo quieres hacer leyendo el .csv o tambien puede ser con pandas?
    – Christian
    Commented el 28 may. 2021 a las 19:05
  • Con pandas también me vale pero entonces creo que deberia cambiar el conteo de Huffington Post
    – Panri93
    Commented el 28 may. 2021 a las 19:06
  • 1
    pues si, dare una solucion de ambas formas :)
    – Christian
    Commented el 28 may. 2021 a las 19:25
  • @jachguate la estaba leyendo :(
    – Christian
    Commented el 28 may. 2021 a las 22:45
  • @Christian. era una buena respuesta para otro problema. No aplicaba para este.
    – jachguate
    Commented el 28 may. 2021 a las 22:49

3 respuestas 3

1

El símbolo $ coincide con el final del string, a menos que se use el modificador re.MULTILINE, en cuyo caso ahí sí coincide con el final de una línea.

occ = re.findall( r"https?:\/\/.*\.pdf$", file1, re.MULTILINE)
1
  • Cuestión de preferencia personal, pero yo hubiese usado \.pdf$ nomás... Me imagino que no es tan necesario buscar que tenga "http://" antes.
    – Pollo
    Commented el 28 may. 2021 a las 23:44
1

Bueno vamos con la primera forma, para eso nos apoyamos de Pandas así transformamos los datos a un DataFrame, y luego usamos su funcion .apply() para aplicarle un filtro y para hacer ese filtro vamos a usar una expresion lambda y una expresion regular

#importamos
import pandas as pd
import re

#leemos el archivo
df = pd.read_csv(path)

#generamos una expresion regular
regex = re.compile(r'.pdf$')

#convertimos los datos a un DataFrame
df = pd.DataFrame(df)

#aplicamos un filtro y contamos los elementos
urls = df['url'].apply(lambda x: regex.findall(x)).value_counts()
print(urls[0])#12

La expresión regular dice que coincida con cada string que finalice con .pdf. En cuanto al filtro, lo que hace la función lambda es aplicar la expresión regular en cada elemento del campo url y con value_count() contamos los elementos, esto nos retorna la cantidad de elementos en este caso ['.pdf'] si coincide o [] si no coincide. usamos value_count() ya que si no hay coincidencias el df contendrá múltiples índices y para contar en múltiples índices lo hacemos con value_count()

No encontré una forma efectiva de hacerlo en la forma como tu lo haces :(, por lo que no hay segunda forma, si tienes alguna duda me avisas.

1

Vale hay que hacer unas aclaraciones sobre tu código y de esta forma darte una solución "Vanilla Python" que no afecte tu entusiasmada búsqueda de "Huffington Post":

file1 = file1.read()

file1.read() guarda un unico string en file1, donde los saltos de linea se guardan como los \n de toda la vida.

occ = re.findall(r"(https?:\/\/.*\.pdf+$)", file1)

El ancla $ buscara ocurrencia al FINAL de file1 (sin contar los saltos de linea), es decir, re.findall buscara en file1 la primera ocurrencia de "http" y luego ira directamente al final de TODO el file1 donde de "casualidad" termina en ".pdf", y se come todo texto que abarca entre el primer "http" y el ultimo ".pdf" dando un valor de 1 (cantidad de elementos en la lista generada), entonces sin mucha modificación podrías simplemente quitar el $ y funcionará:

occ = re.findall(r"(https?:\/\/.*\.pdf+)", file1)

-----------------------Resultado de prueba----------------------

https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
https://d25d2506sfb94s.cloudfront.net/cumulus_uploads/document/73jqd6u5mv/econTabReport.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200214_crosstabs_CORONAVIRUS_Adults_v4_JB.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
https://morningconsult.com/wp-content/uploads/2020/02/200213_crosstabs_POLITICO_RVs_v1_AUTO.pdf
> Cantidad de urls encontrados:  12

O bien puedes mantener el ancla $ pero agregarle la bandera re.MULTILINE donde la documentación dice que al ser usada provocara lo siguiente en cuanto al $:

"El caracter de patrón '$' buscara al final de un string y al final de cada linea (inmediatamente precedida de cada salto de linea)".

Quedando el codigo de la siguiente forma:

occ = re.findall(r"(https?:\/\/.*\.pdf+$)", file1, flags = re.MULTILINE)

Sugerencia: aunque esto no afectara la respuesta, deberías quitar el símbolo "+" después de "pdf" porque si llega a suceder un error de texto en la url (lo dudo mucho) podria aceptar "pdffff" xD

Espero que te sirva mi respuesta~

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.