La forma más sencilla, en lugar de restar cuando el usuario deseleccione un ingrediente, es simplemente comenzar con un contador de ingredientes a 0 y sumarle 1 por cada ingrediente elegido (lo que se detecta cuando el correspondiente `.get()` retorna 1). Una vez se ha contado el número de ingredientes elegidos, se mira si es mayor de 3 y se muestra la alerta en ese caso. De otro modo se actualiza el precio en la pantalla.

Para este enfoque no necesitas que `a` sea global, y tampoco hace falta la variable `b`. Tampoco debes mirar si `a>= or a<=3` antes de intentar actualizar el contador. El contador se actualiza siempre, también si a>3, para contemplar cuando el usuario deseleccione algo.

Finalmente no veo la necesidad de lanzar una excepción para seguidamente capturarla. Puedes hacer lo mismo con un condicional normal, que queda más legible (y no necesitas entonces crear la clase `CustomError()`. 

El código de la función `totalCompra()` quedaría entonces así:

```
def totalCompra():
    n_elegidos = 0
    fprice = 11.99
    msg="Total: "
    if id1.get()==1:
        fprice+=0.80
        n_elegidos+=1
    if id2.get()==1:
        fprice+=1.20
        n_elegidos+=1
    if id3.get()==1:
        fprice+=0.40
        n_elegidos+=1
    if id4.get()==1:
        fprice+=0.50
        n_elegidos+=1
    if id5.get()==1:
        fprice+=1.00
        n_elegidos+=1
    if id6.get()==1:
        fprice+=0.75
        n_elegidos+=1
    if id7.get()==1:
        fprice+=1.40
        n_elegidos+=1
    if id8.get()==1:
        fprice+=0.35
        n_elegidos+=1

    if n_elegidos > 3:
        messagebox.showwarning(title="¡ADVERTENCIA!", message="Solo puede seleccionar tres ingredientes de la lista.")
        return

    fprice=round(fprice, 2)
    msg += str(fprice)
    total.config(text=msg)
```

Por cierto que este código tan repetitivo nos está dando una pista de que podría mejorarse con ayuda de un bucle. Puedes guardar en una lista los nombres de productos y sus preciosy usar esa lista para, mediante un bucle, crear todos los botones en una sola línea, y mediante otro bucle actualizar el precio y contador de elegidos en otra línea.

# Solución con listas y bucles

La idea es tener un par de listas. Una contiene los nombres y precios de los ingredientes:

```
# La lista de ingredientes contiene tuplas (Nombre, precio)
ingredientes = [
    ("Pepperoni",        0.80),
    ("Carne",            1.20),
    ("Piña",             0.40),
    ("Hongos",           0.50),
    ("Extra queso",      1.00),
    ("Jamón",            0.75),
    ("Bacon",            1.40),
    ("Aceitunas Negras", 0.35),
]
```

Otra contiene cada una de las "variables" que en tu código original eran `id1`, `id2`, `id3`, etc... En vez de crearlas una a una en variables separadas, crearé una lista en la que meteremos todas las variableas cuando las creemos mediante un bucle. De momento la lista comienza vacía:

```
# Crearemos después una variable para cada ingrediente
variables = []
```


Gracias a esta preparación, la función que calcula el precio se simplifica mucho. Basta iterar por la lista de variables y aplicar `.get()` sobre cada una de ellas para obtener un valor que puede ser 1 o 0. Si multiplicamos ese valor por el precio del ingrediente correspondiente y lo sumamos al total nos ahorramos todos los `if`:

```
def totalCompra():
    n_elegidos = 0
    fprice = 11.99
    msg="Total: "
    for indice, variable in enumerate(variables):
        si_o_no = variable.get()
        n_elegidos += si_o_no
        fprice += ingredientes[indice][1] * si_o_no

    if n_elegidos > 3:
        messagebox.showwarning(title="¡ADVERTENCIA!", message="Solo puede seleccionar tres ingredientes de la lista.")
        return

    fprice=round(fprice, 2)
    msg += str(fprice)
    total.config(text=msg)
```

Aqui he hecho uso de la función `enumerate(variables)` que retorna en cada iteración del bucle una pareja `indice, variable`. La variable la uso para poder obtener su valor con `variable.get()` y el índice para acceder a la lista de ingredientes, y de ahí sacar el precio que le corresponde.

El resto del programa prosigue tal como lo tenías tú, creando la ventana y etiquetas:
```
#Configuracion de ventana
ventana = Tk()
ventana.geometry("640x480")
ventana.title("La wea de la pizza gratis")

#Etiqueta de indicacion
tf = Label(ventana, text="Seleccione los ingredientes: ")
tf.config(
    padx=200,
    pady=15,
    fg="black",
    bg="lightblue",
    font=("Times new roman", 16)
)
tf.grid(row=0, column= 5, columnspan= 5)
```

La parte de la creación de las variables se hace con un bucle:

```
# Creación de las variables en un bucle, una por ingrediente
for ingrediente in ingredientes:
    variables.append(IntVar())
```

Y los checkboxes también se puede hacer con un bucle, iterando otra vez por la lista de variables para crear un checkbox para cada variable, y sacando el nombre del ingrediente de la lista de ingredientes. La coordenada `y` de cada checkbox se va actualizando para que salgan uno debajo del otro:

```
# Creación de todos los checkbutton en un solo bucle, cada uno asociado a su variable
x = 400
y = 70
for indice, variable in enumerate(variables):
    nombre = ingredientes[indice][0]
    Checkbutton(ventana, text=nombre, variable=variable, onvalue=1, offvalue=0,
        font=("Verdana", 12), command=totalCompra).place(x=x, y=y)
    y+=40
```

El resto del programa es como lo tenías tú:

```
#Etiqueta que muestra el total

total=Label(ventana, text="Total: 11.99")
total.config(fg="white", bg="blue", font=("Verdana", 12))
total.place(x=380, y= 420)

ventana.mainloop()
```

Como ves no solo el código es más compacto, sino que tienes más sencillo modificar la lista de ingredientes o sus precios, o hacer que los checbox salgan más juntos cambiando la cantidad que sumas a `y`, etc.

En general, siempre que te veas a ti mismo copiando y pegando un trozo de código para modificarlo ligeramente, y haciendo eso una y otra vez, es un indicador de que podrías hacerlo mejor con bucles y listas.