String#replaceAll() toma una expresión regular (regex). Te recomiendo buscar información online sobre la sintaxis de éstas si vas a usarlas (hay algunos links en https://es.stackoverflow.com/tags/regex/info).
De lo contrario, te diría que te olvides de esto y vayas con métodos clásicos, como usar un bucle para ir reemplazando cada uno de los caracteres que quieras... vamos, que no tiene nada de malo!
Podrías eliminar todo lo que NO sea una letra o espacio, para eso lee la respuesta de Roger the Developer.
O podrías eliminar exactamente los símbolos que mencionaste en la pregunta:
tuString.replaceAll( "[\"!$#%&/(=?'\\\\¡¿¨´+*{\\[^`}\\]`_.,;:°|¬]+", "")
- Los corchetes que engloban a esta expresión significan "que coincida con alguno de estos caracteres". El
+
del final hace que también coincida con otros caracteres que estén a continuación.
- Los que están escapados con una
\
son caracteres especiales que tendrían un significado diferente en el regex si no se escaparan.