Puedes mirar que background-color
tiene el div
y según eso hacer un condicional y dejar el color tal cual estaba, te dejo un ejemplo:
(Cabe decir que la propiedad .css("backgroundColor") te retornará un string de tipo rgb(n, n, n))
$(".Div2").click(function () {
var currentBackgroundColor = $(this).css("backgroundColor");
if(currentBackgroundColor == "rgb(255, 255, 0)"){
$(this).css("background-color","");
}else {
$(this).css("background-color","yellow");
}
});
.Div2{
width: 200px;
height: 200px;
border: 1px solid black;
text-align: center;
font-family: Arial;
}
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<div class="Div2">
DIV 2
</div>