El problema es que por algún motivo Netbeans necesita que crees la carpeta resources y en esta carpeta crear los paquetes que contendrán tus imágenes o recursos, por lo que el primer paso para solucionar este problema sería crear la carpeta.
Entonces, para hacerlo, tienes que dirigirte al apartado Files en la barra de navegación, después tienes que desplegar las carpetas hasta llegar al main, ahí tienes que crear la carpeta resources y pegar tus imágenes ahí.
Puedes simplemente añadirlas sobreponiendo las imágenes en el folder.
Una vez hecho esto tienes que volver al apartado proyects, en el cual se habrá añadido una carpeta llamada Other Sources: en esta tendrás que crear un Java package con el nombre que le quieres dar a ese apartado de recursos, en mi ejemplo le puse images.
Una vez creado el paquete images le añadí imágenes.
Puedes simplemente añadirlas sobreponiendo las imágenes en el paquete y soltándolas.
Finalmente ahora sí puedes añadir las imágenes que quieras a tus jLabels, solo asegúrate que se estén añadiendo del paquete que acabas de crear en Other resources.