EDIT para hacerlo con modales (tomándome de la respuesta de @Edu3D que se me adelantó), puedes tener dos modales y gatillarlos manualmente. Según tu ejemplo, sería:
$(function() {
$("#btnExito").click(function(){
$('#modal_exito').modal('show');
});
});
$(function() {
$("#btnFalla").click(function(){
$('#modal_falla').modal('show');
});
});
<link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/css/bootstrap.min.css">
<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<script src="https://maxcdn.bootstrapcdn.com/bootstrap/3.3.7/js/bootstrap.min.js"></script>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>Formulario de Registro</title>
<input type="button" value="Abrir modal éxito" name="registrar" id="btnExito" class="registrar" tabindex="8" />
<input type="button" value="Abrir modal falla" name="registrar" id="btnFalla" class="registrar" tabindex="8" />
<div class="modal fade" id="modal_exito" role="dialog">
<div class="modal-dialog">
<div class="modal-content">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal">×</button>
<h3 class="modal-title">Usuario creado correctamente</h3>
</div>
<div class="modal-footer">
<button type="button" class="btn btn-default" data-dismiss="modal">Close</button>
</div>
</div>
</div>
</div>
<div class="modal fade" id="modal_falla" role="dialog">
<div class="modal-dialog">
<div class="modal-content">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal">×</button>
<h3 class="modal-title">Usuario ya existe</h3>
</div>
<div class="modal-footer">
<button type="button" class="btn btn-default" data-dismiss="modal">Close</button>
</div>
</div>
</div>
</div>
Llevando eso a la respuesta original:
if(in_array(strtolower($idemail), array_change_key_case($idemails,CASE_LOWER))){
echo "<script>$(function() { $('#modal_falla').modal('show'); });</script>";
} else {
//Llamamos al método "insertarCliente" y le pasamos los parámetros del formulario.
BD::insertarCliente($idemail, $nombre, $apellidos, $dni, $telefono, $password);
echo "<script>$(function() { $('#modal_exito').modal('show'); });</script>";
}