0

Tengo estas capturas de un videojuego (el Minecraft) la cosa es que cuando colocas el cursos sobre un bloque se dibuja ese contorno en negro, dejo las imágenes de ejemplo debajo. Lo que necesito es detectar en que imágenes están esos cuadrados específicamente negros (aunque no necesariamente son cuadrados) y en cuales no, solo las que son correctas envían un mensaje.

import cv2
import numpy as np

rectangle_here = False
cap = cv2.VideoCapture(0)

if (cap.isOpened() == False): 
  print("Error opening video stream or file")

while(cap.isOpened()):
  ret, frame = cap.read()
  if ret == True:

    img = frame

    #Aqui va el analisis del frame
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    # Split the H channel in HSV, and get the red range
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    h,s,v = cv2.split(hsv)
    h[h<150]=0
    h[h>180]=0

    normed = cv2.normalize(h, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8UC1)
    kernel = cv2.getStructuringElement(shape=cv2.MORPH_ELLIPSE, ksize=(3,3))
    opened = cv2.morphologyEx(normed, cv2.MORPH_OPEN, kernel)

    contours = cv2.findContours(opened, cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)
    #print(len(contours))[-2]
    
    #-------------------------------------------------

    if(rectangle_here == True):
      print("Hay suelo")
      rectangle_here = False
    else:
      print("Hay vacio delante")

    cv2.imshow('Frame',frame)

    if cv2.waitKey(25) & 0xFF == ord('q'):
      break

  else: 
    break

cap.release()

cv2.destroyAllWindows()

Necesito detectar que frames tienen el rectangulo negro, para poner la condicion en True y los que no que quede en False

introducir la descripción de la imagen aquí introducir la descripción de la imagen aquí introducir la descripción de la imagen aquí introducir la descripción de la imagen aquí

7
  • No soy experto en el tema, pero probablemente requieras entrenar alguna IA para lograrlo (y aun así quien sabe si podría haber falsos positivos?)
    – Dante S.
    Commented el 26 nov. 2021 a las 21:03
  • @DanteS. Ahora estaba intentando encarar el problema intentando filtrar colores negros, ya que por suerte ene l caso de Minecraft no hay tantos colores muy oscuros. Vere como va esta solución que se me ocurrio de filtrar colores
    – zRainBow
    Commented el 26 nov. 2021 a las 21:33
  • No creo que el problema se resuelva por mero filtrado de colores (ese borde negro no es realmente negro, sólo más oscuro), ni con un detector de contornos, pues minecraft está lleno de contornos rectos. Creo que el problema es lo bastante complicado como para que sea necesaria una IA, pues el borde oscuro es un patrón de "alto nivel", por así decir, no es fácil detectaro a nivel de pixel, solo a nivel "global". En otras palabras, incluso para una persona sería difícil explicar con qué "algoritmo" lo ha encontrado, sobre todo en casos como los dos últimos
    – abulafia
    Commented el 26 nov. 2021 a las 23:28
  • @abulafia Acabo de intentar detectar el patron con mascaras HSV y tampoco funciono, supongo que solo queda lo del uso de una AI aunque no tengo ni idea como. Aunque me quedan 2 opciones aun, una es hallar formas de cubos y la otra es con un haarcascade. Respecto a lo de la AI si tienes idea me ayudarias un monton.
    – zRainBow
    Commented el 26 nov. 2021 a las 23:52
  • Se me ocurre otra idea... (en el tema AI no podria ayudarte, nunca he entrenado una). La idea es restar dos frames sucesivos. Es bastante probable que cuando aparece ese cuadrado la única diferencia entre los frames sea precisamente el cuadrado. Podrías usar un detector de rectas como Hough sobre esa diferencia, y ver que se detectan cuatro.
    – abulafia
    Commented el 26 nov. 2021 a las 23:58

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.