Tengo un directorio que contiene varios tipos de archivos

    file.json
    file.txt
    file.py
    file.html
    file.R

Deseo listar todos aquellos que no sean txt. 
Con el comando "ls *.txt" puedo listar los txt, pero ¿como hago para listar todo lo que no sea txt?