Puedes optar por heredar de QTextEdit y sobreescribir el método `event` o bien puedes instalar un filtro de eventos.

Para hacer uso de un filtro de eventos necesitas un objeto que herede de `QObject`... puede ser la propia ventana que contiene el `QTextArea` o una clase independiente, eso al gusto. Lo verdaderamente importante es que la clase en cuestión implemente el método `eventFilter`. Este método recibe dos argumentos:

- Objeto que lanza el evento
- Evento lanzado

Y la función debe retornar `true` o `false` en función de si desea *desactivar* o no el evento (se puede desactivar para anular el evento o simplemente porque ya se ha tratado el evento y no se desea el comportamiento estándar).

Suponiendo que sea la propia ventana la que implementa la función, el sistema podría quedar así:

**NOTA**: Este ejemplo asume que el objeto `QTextArea` se llama `textArea`.
 
**MainWindow.h**

    class MainWindow : public QMainWindow
    {
        Q_OBJECT
    
      public:
        explicit MainWindow(QWidget *parent = 0);
        ~MainWindow();
    
        bool eventFilter(QObject* object, QEvent* event) override;
    
      private:
        Ui::MainWindow *ui;
    };


**mainWindow.cpp**

    MainWindow::MainWindow(QWidget *parent)
      : QMainWindow(parent),
        ui(new Ui::MainWindow)
    {
      ui->setupUi(this);

      // Instalamos el filtro de eventos
      ui->textEdit->installEventFilter(this);
    }

    bool MainWindow::eventFilter(QObject* object, QEvent* event)
    {
      if( ui->textEdit == object )
      {
        if ( event->type() == QEvent::KeyPress )
        {
          auto keyPress = static_cast<QKeyEvent*>(event);
          switch( keyPress->key() )
          {
            // numeros
            case Qt::Key_0:
            case Qt::Key_1:
            case Qt::Key_2:
            case Qt::Key_3:
            case Qt::Key_4:
            case Qt::Key_5:
            case Qt::Key_6:
            case Qt::Key_7:
            case Qt::Key_8:
            case Qt::Key_9:

            // tecla de borrar (backspace)
            case Qt::Key_Back:

            // tecla suprimir
            case Qt::Key_Delete: 

            // cursor
            case Qt::Key_Left:  
            case Qt::Key_Right:
            case Qt::Key_Up:
            case Qt::Key_Down:
              break; // A estas teclas se les da el tratamiento por defecto
    
            default:
              return true; // se desactivan todas las demás
          }
        }
      }
    
      return false;
    }

Y ya está, no hay que nacer nada más. Si pruebas el ejemplo verás que el control únicamente va a admitir dígitos numéricos.