Acabo de encontrar que Android tiene algo que se llama KeyStore (https://developer.android.com/training/articles/keystore). Así que voy a usar esto, que parece apropiado para mi caso