Para cambiar datos antes de mostrarse en la tabla, debes usar el parámetro render y una función donde puedes retornar el valor cambiado:
function listar() {
var tablaPagos = $("#payments_table").DataTable({
ordering:false,
"destroy":true,
"ajax":{
"method":"POST",
"url":"listar_pagos.php"
},
"columns":[
{"data":"idPago"},
{"data":"nombreCliente"},
{"data":"numeroSubcredito"},
{"data":"campanaProducto"},
{"data":"tipoPago"},
{"data":"fechaPago"},
{"data":"montoPago",
"render": function ( data, type, row ) {
console.log(data)
return data;"$"+data+" MXN";
}
},
{"data":"fechaRegistro"},
{"defaultContent":"<button type='button' class='btn btn-primary none-shadow'
onClick='eliminarPago(this)'><i class='fa fa-trash-o'></i></button>"}
]
});
}
Para estilizar, puedes hacerlo por columna
"columns":[
{"data":"idPago", "className":"my-class"},
O debuggear en opciones de desarrollador y fijarte en las clases que añade Datatable a los elementos HTML, y poner css con esas clases.