1

Tengo un imagen aqui de donde extraigo los párrafos que tienen líneas de lápiz a la izquierda.

introducir la descripción de la imagen aquí

Esto se hace gracias al siguiente fragmento de código :

import sys
import cv2
import numpy as np
import cmath
from matplotlib import pyplot as plt

import pytesseract

from PIL import Image

pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files (x86)\Tesseract-OCR\tesseract.exe"

import os

##################################################################
# 1. Lo que ya tenías
imagen = cv2.imread("test.png")
alto, ancho, canales = imagen.shape
contador = 0

# Establece el espacio (desde el el borde izquierdo de la hoja) para considerar como margen 
margen = 40

# Evita que identifique bordes de tablas o figuras, como si fueran "marcas"
alto_max = 50

# Puesto que la imagen esta y podria estar inclinada, los extremos de la linea (vertical) podrian estar distantes
ancho_max = 10

# Transforma a escala de grises y luego encuentra los bordes
gray = cv2.cvtColor(imagen, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray, 50, 150, apertureSize = 3)

lineas = cv2.HoughLinesP(edges, 1, np.pi/180, 10, minLineLength=15, maxLineGap=10)

#########################################################################
# 1b. El filtrado de líneas válidas
def linea_valida(linea, margen, ancho_max, alto_max):
    x1, y1, x2, y2 = linea
    return x1 < margen and abs(x2 - x1) < ancho_max and abs(y2 - y1) < alto_max

validas = [linea[0] for linea in lineas if linea_valida(linea[0], margen, ancho_max, alto_max)]


##########################################################################
# 2. Detección del ángulo girado
def detecta_giro(lineas):
  angulos = []
  for linea in lineas:
    x1, y1, x2, y2 = linea
    vector = complex(x1, y1) - complex(x2, y2)
    angulo = cmath.phase(vector)
    if angulo<0: 
      angulos.append(angulo)
  return np.mean(angulos)

angulo = detecta_giro(validas)

# Convertir a grados
angulo = np.rad2deg(angulo + np.pi/2)

##########################################################################
# 3. Girar la imagen para enderezarla
(h, w) = imagen.shape[:2]
centro = (w // 2, h // 2)
M = cv2.getRotationMatrix2D(centro, angulo, 1.0)

girada = cv2.warpAffine(imagen, M, (w, h),
            flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)

##########################################################################
# 4. Repetir la transformada de Hough, ahora sobre la imagen rectificada
gray = cv2.cvtColor(girada, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray, 50, 150, apertureSize = 3)
lineas = cv2.HoughLinesP(edges, 1, np.pi/180, 10, minLineLength=15, maxLineGap=10)

# Debido al giro hay menos margen
margen = 35
validas = [linea[0] for linea in lineas if linea_valida(linea[0], margen, ancho_max, alto_max)]

##########################################################################
# 5. Extraer los trozos en la girada
for x1, y1, x2, y2 in validas:
    contador += 1
    cv2.line(girada, (x1,y1), (x2,y2), (0, 0, 255), 1, cv2.LINE_AA)
    # Para ver los recuadros en donde encontro marcas
    cv2.rectangle(girada, (0, y1), (ancho, y2), (255, 0, 0), 1) 
    recorte = girada[y1:y2, 1:ancho-1]
    if len(recorte) > 0:
        #on doit extraire le texte de recorte
        #cv2.imshow("recorte", recorte)
        cv2.imwrite("recorte_"+str(contador)+".png", recorte)
        text = pytesseract.image_to_string(Image.open("recorte_"+str(contador)+".png"))
        os.remove("recorte_"+str(contador)+".png")
        #cv2.destroyWindow("recorte")
        with open('resume.txt', 'a+') as f:
            print('***:', text, file=f)

Pero el texto grabado es:

***: orme bulle immobiliére spéculative des derni
Mer Parte ot tian pantie de ta praneliee comand
***: ns concernent aujourd'hui
ine comparaison départe
ites

Les processus de renforcement des ségrégat
***: wns Concernent aujourd’



processus de renforcement des ségrégat

Quiero saber por qué el texto se registra de abajo hacia arriba y no de arriba hacia abajo y invertir eso.

También me gustaría saber por qué se repite la última línea y no se tiene en cuenta el primer párrafo.

Aqui los tres extractos recorte

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

La imagen final es la siguiente:

introducir la descripción de la imagen aquí

1 respuesta 1

0

El error es asumir que las lineas retornadas por cv2.HoughLinesP o cv2.HoughLines se ordenan en función de su posición en la imagen. Esto no es así, su orden depende aparentemente del acumulador, realmente la implementación no ordena explícitamente nada, ordenar tiene siempre un costo computacional elevado y por lo general las lineas en una imagen no tiene un orden lógico (en este caso si).

Lógicamente ampoco puedes asumir que x1 es menor que x2 o que y1 es menor que y2 siempre. Es decir, el punto inicial y final de la linea tampoco están ordenados. Esto causa que hagas indizados que provocan arrays vacíos. Por ejemplo, para la linea: array([ 26, 615, 26, 587] al hacer el corte haces:

recorte = girada[615:587, 1:ancho-1]

esto resulta en un array vacío, debes ordenar las coordenadas primero:

recorte = girada[587:615, 1:ancho-1]

Por otro lado, cabe la posibilidad de que se solapen lineas, esto puedes evitarlo eliminando los solapamientos en las lineas de tu lista de validas previamente. También puedes aprovechar para definir un interlineado, de forma que dos lineas de texto contiguas se unan en un mismo fragmento.

##########################################################################
# 5. Ordenar lineas y eliminar solapamientos

max_interlin = 6
import operator

for line in validas:
    if line[1] > line[3]:
        line[1], line[3] = line[3], line[1]
        line[0], line[2] = line[2], line[0]
validas.sort(key=operator.itemgetter(1))

lineas = iter(validas)
not_overlap = []
last = next(lineas)
for linea in lineas:
    if linea[1] < last[3] or linea[1] - last[3] < max_interlin:
        last[3] = max((last[3], linea[3]))
    else:
        not_overlap.append(last)
        last = linea
not_overlap.append(last)

##########################################################################
# 6. Extraer los trozos en la girada
for contador, (x1, y1, x2, y2) in enumerate(not_overlap):
    cv2.line(girada, (x1, y1), (x2, y2), (0, 0, 255), 1, cv2.LINE_AA)
    # Para ver los recuadros en donde encontro marcas
    cv2.rectangle(girada, (0, y1), (ancho, y2), (255, 0, 0), 1)
    cv2.imwrite(f"girada.png", girada)
    recorte = girada[y1:y2, 1: ancho-1]
    path = f"recorte_{contador + 1}.png"
    cv2.imwrite(path, recorte)
    text = pytesseract.image_to_string(Image.open(path))
    # os.remove(path)
    with open('resume.txt', 'a+') as f:
        print('***:', text, file=f)

En este caso, los fragmentos son (por este orden):

introducir la descripción de la imagen aquí introducir la descripción de la imagen aquí introducir la descripción de la imagen aquí

Como puede verse, además del orden, se ha eliminado el solapamiento de los dos primeros párrafos marcados.

1
  • Muchisimas gracias FJ ! Puede ser un detalle pero sin embargo el archivo resume.txt que conserva el reconocido texto, algunas oraciones de la misma captura de pantalla aparecen en el orden incorrecto. Por ejemplo Les processus de renforcement des ségrégat es antes ns concernent aujourd'hui. Ademas, como mejorar el reconocimiento de texto? De hecho, algunas oraciones no se almacenan en su totalidad, como ns concernent aujourd'hui. Concluyo que el reconocimiento del texto no fue óptimo? Commented el 16 ago. 2019 a las 8:48

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.