Puedes mirar que `background-color` tiene el `div` y según eso hacer un condicional y dejar el color tal cual estaba, te dejo un ejemplo:

(Cabe decir que la propiedad .css("backgroundColor") te retornará un string de tipo rgb(n, n, n))

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    $(".Div2").click(function () {
        var currentBackgroundColor = $(this).css("backgroundColor");
        if(currentBackgroundColor == "rgb(255, 255, 0)"){
          $(this).css("background-color","");
        }else {
          $(this).css("background-color","yellow");
        }
        
    });

<!-- language: lang-css -->

    .Div2{
      width: 200px;
      height: 200px;
      border: 1px solid black;
      text-align: center;
      font-family: Arial;
    }

<!-- language: lang-html -->

    <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
    <div class="Div2">
    DIV 2
    </div>

<!-- end snippet -->