Prueba a utilizar:

    theme(axis.text.x = element_text(size = %valor%))

donde el `%valor%` es el número que defina el tamaño de la letra. Quizás no sea `axis.text.x` y tengas que probar otras opciones. No obstante, el resto debería valer.