Buenos días tengo que limpiar un CSV con tweets, el código que he implementado, no me da los resultados correctos, las tildes y las ñ las convierte en interrogación, además no consigo rematarlo para generar un nuevo CSV donde sólo aparezcan los textos y al final de cada texto un 0 o un 1 según sea real la noticia o fake.Son dos bases de datos una con noticias falsas y otra con noticias verdaderas, finalmente tendría que mezclarlas en un solo documento CSV
import pandas as pd
import re
import string
#Abrimos el CSV que queremos procesar y añadimos una excepción
try:
df = pd.read_csv("prensa_mtoday_tweets.csv")
except IOError:
print 'archivo no encontrado'
s_name = list(df.columns).index(u'screenName')
text = list(df.columns).index(u'text')
df2 = df.iloc[:, [text]]
separador=list(string.punctuation)
#separador.remove("@")
separador.remove("_")
separador="[ "+"".join(separador)+"]"
print separador
#print df2
0 No sabe qu� regalarle a su marido por el anive...
1 Guaid� insiste en que es el presidente electo ...
2 MUJER WOMAN | Cinco s�per �outfits� para ver s...
3 Un mensajero con un paquete para Macaulay Culk...
4 Juan Carlos I planeaba �������� ��� ��: https:...
5 Absolutamente nada que a�adir a estas palabras...
6 Decide redecorar su casa porque ning�n okupa s...
7 Espa�a prev� tener m�s de 500 vacunas contra e...
8 La vacuna del coronavirus y otras cosas de la ...
Esto es lo que me da en la misma terminal de python, necesito sacar dos csv con las características que os he dicho y mezclarlos. Si me ayudáis os lo agradecería ya que voy muy mal de tiempo.Saludos. Ah se me olvidaba, el csv se vería tal que así, yo como lo veo sería eliminar todo lo que está a la derecha de //http, no sé como lo ven ustedes
read_csv()
la opciónencoding="latin1"
oencoding="utf-8"
a ver si mejora algo