Prueba a utilizar:
theme(axis.text.x = element_text(size = %valor%))
theme(axis.text.x = element_text(size = %valor%))
donde el %valor%%valor%
es el número que defina el tamaño de la letra. Quizás no sea axis.text.xaxis.text.x
y tengas que probar otras opciones. No obstante, el resto debería valer.