El siguiente ejemplo cumple con recursividad, algo necesario cuando se trabaja con anidaciones

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    $(function () {
     $(".autoCheckbox").on("click",function () {
       autochecked($(this),"li input[type=checkbox]",-1);
       while(autochecked($(this),"li input[type=checkbox]",-1));
     });
    })

    function autochecked ($this,expr,checked) {
     var n=0;
     $this.find(expr).each(function () {
      $input = $(this).closest("li").find(expr);
      if ($input.length) {
       if (this==event.target) {
        checked = $(this).prop("checked");
        $input.each(function () {
         $(this).prop("checked", checked);
        });
       }
       x=$(this).prop("checked");
       $(this).prop("checked",$input.is(":checked"));
       y=$(this).prop("checked");
       if (x!=y) {
        n++;
       }
       if ($input.length!=$(this).closest("li").find(expr+":checked").length) {
        $(this).css("opacity","0.5");
       } else {
        $(this).css("opacity","1.0");
       }
      }
     });
     return n;
    }

<!-- language: lang-html -->

    <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
    <ul class="autoCheckbox">
      <li>
       <input type="checkbox">Inicio
      </li>
      <li>
       <input type="checkbox">Mail
       <ul>
        <li>
         <input type="checkbox">Sub-Mail
        </li>
        <li>
         <input type="checkbox">test1
         <ul>
          <li>
           <input type="checkbox">Sub-Mail 2
          </li>
          <li>
           <input type="checkbox">test1 2
            <ul>
             <li>
              <input type="checkbox">Sub-Mail 3
             </li>
             <li>
              <input type="checkbox">test1 3
             </li>
            </ul>
          </li>
         </ul>
        </li>
       </ul>
      </li>
     </ul>

<!-- end snippet -->