No veo otra forma de resolver tu pregunta que no sea usando numpy, esta librería esta especialmente dedicada (y optimizada) al manejo de objetos n-dimensionales, ideal para trabajar con matrices de todo tipo:
import numpy as np
inputs = [ (-2, 1/9),
(-1, 1/3),
(0, 1),
(1, 3),
(2, 9) ]
inputs = np.array(inputs)
print(inputs[:,0])
La salida:
[-2. -1. 0. 1. 2.]
Lo que estas haciendo es un slice de filas que contempla todas y tomando únicamente la columna correspondiente al índice 0. Si quisieras retornar una matriz como la original pero con una sola columnas:
Para más info ver este enlace.
print(inputs[:,0:1])
[[-2.]
[-1.]
[ 0.]
[ 1.]
[ 2.]]