Tienes varias opciones a elegir la que más te guste:
opción 1: QWidget::setFixedSize
Estableces el tamaño a fijar y el widget (diálogo en este caso) queda fijado a dicho tamaño:
dialog->setFixedSize(dialog->sizeHint()); // posible opcion 1
dialog->setFixedSize(dialog->width(),dialog->height()); // posible opcion 2
opción 2: QLayout::setSizeConstraint
En este caso atacas al layout principal del diálogo. Esta opción te permite bloquear el tamaño que tenga el diálogo en ese momento sin mayores complicaciones. Esta opción también es modificable vía el editor de formularios (QtCreator / QtDesigner)
dialog->layout()->setSizeConstraint( QLayout::SetFixedSize );
opción 3: Fijar tamaño máximo y mínimo del diálogo
La clase base QWidget
dispone de los métodos setMaximumSize y setMinimumSize que permiten fijar el tamaño máximo y mínimo del widget en cuestión.
Si ambos tamaños son iguales el resultado obtenido no permitirá modificar el tamaño del widget:
dialog->setMinimumSize(size());
dialog->setMaximumSize(size());