El tener el fichero partido por líneas no favorece el procesado. Sería más sencillo si lo tuvieras entero en una sola cadena, cosa fácil de conseguir si lo lees con f.read()
en lugar de iterar por f
.
En este caso puedes comenzar leyendo el fichero completo para después dividirlo por los caracteres que necesites (punto e interrogante). Pero para esto no puedes usar el método .split()
normal de las cadenas, pues este no entiende que la cadena que le pasas especifica dos caracteres alternativos, sino que entiende que directamente esa cadena concreta ". | ?"
debe aparecer dentro del texto. Ya que no aparece no se realiza ninguna división.
Para hacer lo que quieres debes usar el módulo re
(expresiones regulares) y utilizar re.split()
, pero aquí aparecen nuevos problemas.
Primer intento
Para que mi código sea reproducible, en vez de leer los datos de un fichero los proporciono directamente dentro del código. En tu caso reemplazarías texto = """..."""
por texto = f.read()
.
texto = """
Esto es una prueba. A veces
una linea tiene varias frases, pero
otras veces una frase ocupa
varias líneas. ¿Se entiende? Espero que sí.
"""
import re
texto = texto.replace("\n", " ") # Reemplazo retornos de carro por espacios
# Según el caso puede ser preferible
# reemplazarlo por "" la cadena vacía
datos = re.split(r"\.|\?", texto) # Dividir por frases
for frase in datos:
print(frase.strip()) # E imprimir cada una
Esto produce el siguiente resultado, que está casi bien:
Esto es una prueba
A veces una linea tiene varias frases, pero otras veces una frase ocupa varias líneas
¿Se entiende
Espero que sí
¿Ves el fallo? Los caracteres por los que hemos dividido han desaparecido. Debería haber un punto al final de cada frase. Es especialmente evidente cuando falta el signo de interrogación.
Segundo intento
Si en la expresión regular que le pasas a re.split()
incluyes un grupo de captura (paréntesis), entonces las expresiones que han hecho matching (en nuestro caso, el signo de puntuación al final de la frase) formarán también parte de los resultados.
Por desgracia no forman parte de la frase, sino que aparecen como elementos separados en la lista resultante:
datos = re.split(r"(\.|\?)", texto)
for frase in datos:
print(frase.strip())
Ahora sale esto:
Esto es una prueba
.
A veces una linea tiene varias frases, pero otras veces una frase ocupa varias líneas
.
¿Se entiende
?
Espero que sí
.
Solución final
Lo que necesitamos entonces es procesar la lista resultante uniendo cada elemento con el siguiente. Una forma relativamente simple de hacerlo es juntar todos los elementos de la lista que ocupan posiciones pares (datos[::2]
) con los que ocupan posiciones impares (datos[1::2]
), usando zip()
para ir sacando parejas formadas por un elemento de cada una de esas sublistas.
Esta idea por tanto queda así:
datos = re.split(r"(\.|\?)", texto) # Esto es igual que antes
# Lo que cambia es la forma de procesar la lista
for frase, terminador in zip(datos[::2], datos[1::2]):
print((frase+terminador).strip())
Resultado:
Esto es una prueba.
A veces una linea tiene varias frases, pero otras veces una frase ocupa varias líneas.
¿Se entiende?
Espero que sí.
ADENDA: En caso de fichero muy grande
Si el fichero de entrada es muy grande, con millones de líneas, leerlo de una vez en memoria puede no ser posible (puede que se agote la memoria). En este caso habrá que recurrir a procesarlo línea por línea, con una idea similar a la que intentabas en tu código. No obstante, hay que corregir algunos problemas:
- Usar
re.split()
en lugar de str.split()
como ya hemos explicado
- Usar grupos de captura en la expresión para capturar también si el terminador es punto o interrogante, como ya explicamos.
- Aquí una corrección importante. La lista de resultados solo debe actualizarse cuando se haya detectado un terminador, es decir, cuando
re.split()
realmente haya partido algo. Si no, no se debe almacenar nada pues la frase de momento está incompleta.
- Otra corrección importante, tras almacenar una frase en
datos
, la variable a
debe reiniciarse para que no siga conteniendo lo que tenía de iteraciones anteriores (pues contendría la frase que acaba de ser procesada). El nuevo valor con que debe inicializarse es el de "el resto de la línea" (lo que quedó a la derecha del split).
Con estas ideas el código quedaría así:
import re
f = open("prueba.txt")
a = ""
datos = []
for linea in f:
linea = linea.replace("\n", " ") # Cambiar retorno de carro por espacio
a += linea
b = re.split(r'(\.|\?)', a, maxsplit=1)
if len(b)>2: # Hubo partición?
# En caso de que sí, almacenamos la parte izquierda en la lista
# y la derecha reemplaza a lo que hubiera en `a`
datos.append(b[0]+b[1])
a = b[2]
# En caso de que no haya habido partición, no hay que hacer nada.
# No se añade frase nueva y `a` contiene lo que tenía de antes
# Al terminar el bucle, guardar lo que quedara tras el último split
datos.append(a)
f.close()
# Mostremos el resultado
for d in datos:
print(d.strip())
Lo he comprobado sobre un fichero de prueba y funciona correctamente.
split('.', maxsplit=1)
sobre la cadena. Si retorna una lista de dos elementos, graba el primero y el segundo pasara a ser la cadena donde acumulas.