Gracias a todos por sus aportes logré resolverlo de esta manera:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-html -->

    $array = ["ABC-105", "BGT 103", "ZXS-110", "XYZ-101", "IYT104", "119", "SOF-106-B"];

    function ordenar_por_numeros($array) {
        usort($array, function ($a, $b) {
            preg_match('/\d+/', $a, $numero_a);
            preg_match('/\d+/', $b, $numero_b);
            $numero_a = intval($numero_a[0]);
            $numero_b = intval($numero_b[0]);
            return $numero_a - $numero_b;
        });

        return $array;
    }


    $array_ordenado = ordenar_por_numeros($array);

    print_r($array_ordenado);

    resultado :
    Array
    (
        [0] => XYZ-101
        [1] => BGT 103
        [2] => IYT104
        [3] => ABC-105
        [4] => SOF-106-B
        [5] => ZXS-110
        [6] => 119
    )

<!-- end snippet -->