Cuando haces a[2:5] estás aplicano una técnica conocida como slicing (rebanado). Llevabas buen camino, lo único que te faltaba era especificar el rango de columnas a usar y no solo las filas.

Por lo tanto, en tu caso deberías usar:

    import numpy as np
    
    a = np.arange(1, 26).reshape((5, 5))
    b = a[2:, 1:]

que es equivalente (explícito):

    b = a[2:6:1, 1:5:1]

Algunos conceptos sobre rebanado en NumPy
-----------------------------------------

La sintaxis básica podemos definirla como:

    array[ind_fila_ini:ind_fila_fin + 1:paso, ind_columna_ini:ind_columna_fin + 1:paso, ...]

Si alguno de los extremos del intervalo no se especifica, se toma desde el inicio o el final:


- `[indice_fila_ini: ]` -> desde indice_fila_ini hasta la última fila incluida.
- `[: indice_fila_fin]` -> desde la primera fila hasta indice_fila_fin
- `[:]`                 -> todas las filas

lo mismo para el caso de las columnas. Si el array tiene más de dos dimenciones la sintaxis es la misma. Se puede usar ellipsis para simplificar la sintaxis en los casos en los que varias dimenciones son tomadas al completo:

    arr[:, :, 2:6]

es equivalente a:

    arr[.., 2:6]

Existe además la posibilidaad de agregar un tercer parámetro, el paso (step):

    [indice__inicial: indice_final: paso]

esto permite seleccionar valores espaciados entre si según el valor del paso:

    >>> a = np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
    >>> a[0:10:2]
    array([0, 2, 4, 6, 8])



Tienes una explicación más extensa y detallada en la documentación oficial (en ingles):

- [Basic slicing and indexing][1]

Una advertencia, debes asumir por principio que el slicing en NumPy retorna una vista del array original y no una copia. Para entender el concepto de vista yo suelo usar el ejemplo de una plantilla perforada (vista) que sobreponemos sobre la pagina de un libro (array) y que solo nos deja ver ciertas palabras. Si tachamos alguna de esas palabras con la plantilla puesta tachamos los datos originales, el libro. 


  [1]: https://docs.scipy.org/doc/numpy/reference/arrays.indexing.html#basic-slicing-and-indexing