0

Buenos días tengo que limpiar un CSV con tweets, el código que he implementado, no me da los resultados correctos, las tildes y las ñ las convierte en interrogación, además no consigo rematarlo para generar un nuevo CSV donde sólo aparezcan los textos y al final de cada texto un 0 o un 1 según sea real la noticia o fake.Son dos bases de datos una con noticias falsas y otra con noticias verdaderas, finalmente tendría que mezclarlas en un solo documento CSV

import pandas as pd
import re
import string
#Abrimos el CSV que queremos procesar y añadimos una excepción
try:
    df = pd.read_csv("prensa_mtoday_tweets.csv")
except IOError:
    print 'archivo no encontrado'



s_name = list(df.columns).index(u'screenName')
text = list(df.columns).index(u'text')
df2 = df.iloc[:, [text]]



separador=list(string.punctuation)
#separador.remove("@")
separador.remove("_")
separador="[ "+"".join(separador)+"]"
print separador
#print df2


0     No sabe qu� regalarle a su marido por el anive...
1     Guaid� insiste en que es el presidente electo ...
2     MUJER WOMAN | Cinco s�per �outfits� para ver s...
3     Un mensajero con un paquete para Macaulay Culk...
4     Juan Carlos I planeaba �������� ��� ��: https:...
5     Absolutamente nada que a�adir a estas palabras...
6     Decide redecorar su casa porque ning�n okupa s...
7     Espa�a prev� tener m�s de 500 vacunas contra e...
8     La vacuna del coronavirus y otras cosas de la ...

Esto es lo que me da en la misma terminal de python, necesito sacar dos csv con las características que os he dicho y mezclarlos. Si me ayudáis os lo agradecería ya que voy muy mal de tiempo.Saludos. Ah se me olvidaba, el csv se vería tal que así, yo como lo veo sería eliminar todo lo que está a la derecha de //http, no sé como lo ven ustedes

introducir la descripción de la imagen aquí

2
  • Respecto a las eñes y acentos tiene pinta de ser un problema de encoding. Prueba a añadir a read_csv() la opción encoding="latin1" o encoding="utf-8" a ver si mejora algo
    – abulafia
    el 24 nov. 2020 a las 10:19
  • Sigue igual, no ha variado, después he vuelto a probar con latin1 y me da error, no sé si lo he puesto en lugar inapropiado
    – jonas
    el 24 nov. 2020 a las 10:28

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.