Agrégale este código:
header('Content-Transfer-Encoding: Binary');
En la página de la W3C (en inglés) se indica que (traducción propia):
El campo Content-Transfer-Encoding se usa para indicar el tipo de transformación que se ha usado para representar el cuerpo (body) en una manera aceptable para ser transportado.
En este caso indicarías que es un tipo binario.