12

Quiero recortar las líneas de una imagen que contiene el trazo de un lápiz como los siguientes para guardar sólo el texto que me gusta:

introducir la descripción de la imagen aquí

Pensé en cluster dos colores de un área seleccionada de un trazo de lápiz con el algoritmo Kmeans y comparar píxel por píxel con los colores del que aparece menos, lo que es más probable que sea un trazo de lápiz en lugar de una página en blanco. Si un píxel de una línea es igual al color del trazo, comienzo un cuadro de la línea. Cuando no hay más, recorte el cuadro y analizo el texto.

Sin embargo, parece que esto nunca termina. ¿Pueden ayudar a optimizar este proyecto? Si piensen en una arquitectura totalmente diferente dicenme, estoy muy abierto!

El código entero está en sobre GitHub. La parte problemática es ésta, creo :

# we test if it is a pdf
image_path = args["image"]
# if it is a pdf we convert it to an image
if image_path.endswith('.pdf'):
    pdfspliterimager(image_path)

# Almacenamos todas las imágenes con "out" en su nombre.
file_names = glob.glob("out*")
file_names= sorted(file_names)

### Intenta obtener los colores del ejemplo de trazo.
# obtenemos los colores dominantes
img = cv2.imread('strike.png')
height, width, dim = img.shape
# We take only the center of the image
img = img[int(height/4):int(3*height/4), int(width/4):int(3*width/4), :]
height, width, dim = img.shape

img_vec = np.reshape(img, [height * width, dim] )

kmeans = KMeans(n_clusters=2)
kmeans.fit( img_vec )

#  contar píxeles de clúster, ordenar clústeres por tamaño de clúster
unique_l, counts_l = np.unique(kmeans.labels_, return_counts=True)
sort_ix = np.argsort(counts_l)
sort_ix = sort_ix[::-1]

fig = plt.figure()
ax = fig.add_subplot(111)
x_from = 0.05

cluster_center = kmeans.cluster_centers_[sort_ix][1]

# plt.show()
### End of attempt

for file_name in file_names:
    print("we wrote : ",file_name)
    # cargar la imagen y convertirla en escala de grises
    image = cv2.imread(file_name)
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

    # Compruebe si debemos aplicar un umbral para preprocesar el imagen
    if args["preprocess"] == "thresh":
        gray = cv2.threshold(gray, 0, 255,
            cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]

    # haga una comprobación para ver si se debe realizar una difuminación mediana para eliminar noise
    elif args["preprocess"] == "blur":
        gray = cv2.medianBlur(gray, 3)

    # escriba la imagen en escala de grises en el disco como un archivo temporal para que podamos aplicar OCR a ella
    filename = "{}.png".format(os.getpid())
    cv2.imwrite(filename, gray)

    # Aquí deberíamos dividir las imágenes en partes. Los que tienen accidentes cerebrovasculares
    # Pedimos un ejemplo de trazo para que tengamos su color.
    # Mientras encontramos píxeles con el mismo color almacenamos su línea.
    im = Image.open(filename)
    (width, height)= im.size
    for x in range(width): 
        for y in range(height):
            rgb_im = im.convert('RGB')
            red, green, blue = rgb_im.getpixel((1, 1))
            # Probamos si el píxel tiene el mismo color que el segundo clúster # Deberíamos probar si es "similar"
            # Significa que encontramos una línea donde hay un golpe de papel.
            if np.array_equal([red,green,blue],cluster_center): 
                # Si es el caso, almacenamos el ancho como punto de partida mientras encontramos píxeles.
                # Y rompemos el bucle para ir a otra línea.
                if start == -1:
                    start = x
                    selecting_area = True
                    break
                # Si ya comenzó, rompemos el bucle para ir a otra línea.
                if selecting_area == True:
                    break
            # si ningún píxel en una línea tenía el mismo color que el segundo grupo pero la selección ya comenzó
            # Recortamos la imagen y vamos a otra línea.
            # Significa que no hay más trazo de papel.
            if selecting_area == True:
                text_box = (0, start, width, x)
                # Crop Image
                area = im.crop(text_box)
                area.show() 
                selecting_area = False
                break
0

2 respuestas 2

1

Es una versión simplificada de lo que creo que necesitas.
Se podría mejorar considerando:

1.- Enderezar la imagen en caso de estar inclinada.
2.- Agregar márgenes superior e inferior para que el encuadre del recorte no sea tan justo.

import cv2
import numpy as np

imagen = cv2.imread("nombre_de_la_imagen.png")
alto, ancho, canales = imagen.shape
contador = 0

# Establece el espacio (desde el el borde izquierdo de la hoja) para considerar como margen 
margen_del_texto = 40

# Evita que identifique bordes de tablas o figuras, como si fueran "marcas"
altura_maxima_de_la_marca = 50

# Puesto que la imagen está y podría estar inclinada, los extremos de la línea (vertical) podrian estar distantes
anchura_maxima_de_la_marca = 10

# Transforma a escala de grises y luego encuentra los bordes
gray = cv2.cvtColor(imagen, cv2.COLOR_BGR2GRAY)
edges = cv2.Canny(gray, 50, 150, apertureSize = 3)

lineas = cv2.HoughLinesP(edges, 1, np.pi/180, 10, minLineLength=15, maxLineGap=10)

for linea in lineas:
    x1, y1, x2, y2 = linea[0]
    # Controla que se busquen las líneas sólo dentro del margen, y las medidas especificadas
    if x1 < margen_del_texto and (abs(x2 - x1) < anchura_maxima_de_la_marca) and abs(y2 - y1) < altura_maxima_de_la_marca:
        contador += 1
        cv2.line(imagen, (x1,y1), (x2,y2), (0, 0, 255), 1, cv2.LINE_AA)
        # Para ver los recuadros en donde encontró marcas
        #cv2.rectangle(imagen, (0, y1), (ancho, y2), (255, 0, 0), 1) 
        recorte = imagen[y1:y2, 1:ancho-1]
        if len(recorte) > 0:
            cv2.imshow("recorte", recorte)
            cv2.imwrite("recorte_"+str(contador)+".png", recorte)
            cv2.destroyWindow("recorte")


cv2.imshow('Marcas detectadas', imagen)



cv2.waitKey(0)
0

Lo primero seria enderezar la imagen para poder trabajar de forma mas sencilla los limites del recuadro de texto a recortar, posterior a esto identificar los bordes superior e inferior de acuerdo con las marcas de lápiz, para esto se puede intentar haciendo una binarización con ajuste de umbral haciendo uso de trackbar que permitan detectar bien el color del lápiz para después delimitar el contorno de dichos trazos.

Posterior a esto determinar los puntos máximo y mínimo sobre los que se desea crear la mascara de recorte que corresponden a los puntos max y min del contorno de las marcas de lápiz sobre el eje Y.

Adjunto un enlace de un filtro para selección de color por canal hsv, con uso de trackbar para obtener un rango de trabajo adecuado y otro de contornos.

Espero sirva de ayuda.

https://docs.opencv.org/3.4/da/d97/tutorial_threshold_inRange.html

http://acodigo.blogspot.com/2017/08/deteccion-de-contornos-con-opencv-python.html

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.