Prueba a utilizar:

theme(axis.text.x = element_text(size = %valor%))

donde el %valor% es el número que defina el tamaño de la letra. Quizás no sea axis.text.x y tengas que probar otras opciones. No obstante, el resto debería valer.