Sólo para añadir a lo que @Trauma respondió, si quieres consultar la fuente que menciona lo de la representación de los números octales, busca por la entrada de "Arithmetic evaluation" en el manual bash(1) donde se dice:
Constants with a leading 0 are interpreted as octal numbers. A leading 0x or 0X denotes hexadecimal. Otherwise, numbers take the form [base#]n, where the optional base is a decimal number between 2 and 64 representing the arithmetic base, and n is a number in that base. If base# is omitted, then base 10 is used. When specifying n, the digits greater than 9 are represented by the lowercase letters, the uppercase letters, @, and _, in that order. If base is less than or equal to 36, lowercase and uppercase letters may be used interchangeably to represent numbers between 10 and 35.
Por ejemplo, el número "10" en base 2, todos sabemos que es 2 en decimal:
$ echo $((2#10))
2
Ahora, en bases mayores a 10 -como dice la documentación- ya se utilizan letras y otros caracteres. Por ejemplo con base 20 (o cualquiera mayor a 10), la letra "a" representa 10 en decimal, porque sería: 0,1,2,3,4,5,6,7,8,9,a
$ echo $((20#a))
10
Y podemos intercambiar mayúsculas y minúsculas hasta la base 36; después de eso, cada mayúscula y minúscula son un número diferente:
$ echo $((36#A))
10
$ echo $((37#A))
36
Y tanto iniciar con 0 o con 0x, son shortcuts para base 8 o 16 respectivamente:
$ echo $((010))
8
$ echo $((8#10))
8
$ echo $((0x10))
16
$ echo $((16#10))
16
Podemos llegar hasta el 63 con un solo caracter pero en base 64:
$ echo $((64#_))
63
Además, como dice la documentación, si te excedes de 64, te manda el error "os vais a tomar por culo":
$ echo $((65#1))
bash: 65#1: invalid arithmetic base (error token is "65#1")
Por otro lado, cuando te excedes de los caracteres permitidos para la base que elegiste, te lanza el error que describiste:
$ echo $((2#2))
bash: 2#2: value too great for base (error token is "2#2")
$ echo $((10#a))
bash: 10#a: value too great for base (error token is "10#a")
$ echo $((63#_))
bash: 63#_: value too great for base (error token is "63#_")