Una forma es mediante un Adapter personalizado y dentro del método `getView()` modificar los colores del texto y del fondo dentro de tu Spinner, ejemplo:

      @Override
        public View getView(int pos, View view, ViewGroup parent) {        
            LayoutInflater inflater= LayoutInflater.from(context);
            view = inflater.inflate(android.R.layout.simple_spinner_dropdown_item, null);
            TextView textView = (TextView)view.findViewById(android.R.id.text1);
            textView.setPadding(20,20,20,20);
            //Color Fondo Blanco.
            textView.setBackgroundColor(Color.parseColor("#FFFFFF"));
            //Color Texto Negro.
            textView.setTextColor(Color.parseColor("#000000")); 
            textView.setText(valores.get(pos));
    
            return view;
        }