Una forma es mediante un Adapter personalizado y dentro del método getView()
modificar los colores del texto y del fondo dentro de tu Spinner, ejemplo:
@Override
public View getView(int pos, View view, ViewGroup parent) {
LayoutInflater inflater= LayoutInflater.from(context);
view = inflater.inflate(android.R.layout.simple_spinner_dropdown_item, null);
TextView textView = (TextView)view.findViewById(android.R.id.text1);
textView.setPadding(20,20,20,20);
//Color Fondo Blanco.
textView.setBackgroundColor(Color.parseColor("#FFFFFF"));
//Color Texto Negro.
textView.setTextColor(Color.parseColor("#000000"));
textView.setText(valores.get(pos));
return view;
}