para lograr el effecto que se desea se debe utilizar un `JPanel` el cual contendra los elementos y los organizara(utilizando un Layout) de la forma que deseas. el `Jpanel` se crea de la siguiente forma 

    public class ButtonPanel extends javax.swing.JPanel {
                                       
    private javax.swing.JButton jButton1;
    private javax.swing.JButton jButton2;
    private javax.swing.JButton jButton3;
    private javax.swing.JButton jButton4;
    private javax.swing.JButton jButton5;
    private javax.swing.JButton jButton6;
    private javax.swing.JButton jButton7;
    private javax.swing.JButton jButton8;

    public ButtonPanel() {
        jButton1 = new javax.swing.JButton("BTT1");
        jButton2 = new javax.swing.JButton("BTT2");
        jButton5 = new javax.swing.JButton("BTT3");
        jButton7 = new javax.swing.JButton("BTT4");
        jButton4 = new javax.swing.JButton("BTT5");
        jButton3 = new javax.swing.JButton("BTT6");
        jButton6 = new javax.swing.JButton("BTT7");
        jButton8 = new javax.swing.JButton("BTT8");
        //este Layout ordena los compentes en el Panel 
        //de forma que se vean como una grilla de 2 filas y 4 collumnas con un espacio
        //vertical y horizontal entre los componentes de 10 
        setLayout(new java.awt.GridLayout(2, 4, 10, 10));
        add(jButton1);
        add(jButton2);
        add(jButton3);
        add(jButton4);
        add(jButton5);
        add(jButton6);
        add(jButton7);
        add(jButton8);
    //...
    //agregar eventos a los botones? o otros componentes a el panel
    //...
    }
    //...
    }

NOTA: esta es solo una forma, otra forma es utilizar un Metodo que cree una instancia de JPanel y agregar el Layout y los bottones: 

    public JPanel getButtonPanel() {
        JButton jButton = new JButton("BTT1");
        //...
        //crear los demas botones
        JPanel tab = new JPanel();
        tab.setLayout(new java.awt.GridLayout(2, 4, 10, 10));
        tab.add(jButton);
        //...
        //agrega el resto de Bottones
        //....
        // agregar eventos etc. 
        return tab;
        
    }
    
esto genera un panel que se vera algo asi: 

[![panel][1]][1]

para agregarlo al `JTabbedPane` se hace de la siguiente forma:

    //...
    MyTabbedPane= new javax.swing.JTabbedPane();
    ButtonPanel mytab= new ButtonPanel();
    MyTabbedPane.addTab("Pestania 1", mytab);
    //...
el resultado: 

[![resultado][2]][2]

lecturas recomendadas: 

[tutoriales sobre Panels][3] 

[tutorial sobre Layouts][4]

OH y otra cosa. para que tenga un borde utilize: 

`setBorder(javax.swing.BorderFactory.createEmptyBorder(10, 10, 10, 10));`
[![con borde][5]][5]


  [1]: https://i.sstatic.net/I3bT2.png
  [2]: https://i.sstatic.net/VCL8F.png
  [3]: https://docs.oracle.com/javase/tutorial/uiswing/components/panel.html
  [4]: https://docs.oracle.com/javase/tutorial/uiswing/layout/visual.html
  [5]: https://i.sstatic.net/di6Do.png