Se puede lograr teniendo imágenes que simulen el efecto del botón cuando esta seleccionado y cuando no lo esta, estas imágenes las configuras en un [`selector`][1] que usaría tu `ImageButton`: 

    <selector xmlns:android="http://schemas.android.com/apk/res/android">
        <item android:state_selected="true"   
            android:drawable="@drawable/img_boton_seleccionado" />
        <item android:state_selected="false"   
            android:drawable="@drawable/img_boton_no_seleccionado" />
    </selector>


  [1]: https://developer.android.com/guide/topics/resources/color-list-resource.html