Al usar un JTextAreaJTextArea
no existe constante para cambiar a "underline" tu texto:
En el caso de un JLabelJLabel
si lo puedes realizar definiendo el atributo TextAttribute.UNDERLINE
Ejemplo:
JLabel label = new JLabel("Improve app performance with Kotlin coroutines");
Font font = new Font("Segoe Script", Font.BOLD, 20);
Map attributes = font.getAttributes();
attributes.put(TextAttribute.UNDERLINE, TextAttribute.UNDERLINE_ON);
label.setFont(font.deriveFont(attributes));
label.setForeground(Color.BLUE);
label.setBorder(new EmptyBorder(10,10,10,0));
Para tener como resultado: