Puedes hacerlo con jQuery o con Javascript puro.

#jQuery

En jQuery, puedes invocar sencillamente la opción seleccionada mediante `$('option:selected', this)` y luego aplicar `remove()`.

Por ejemplo:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    $('#alergia').click(function() {
      $('option:selected', this).remove();
    });

<!-- language: lang-html -->

    <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
    <select id="alergia" name="alergias2[]" multiple="multiple">
      <optgroup label="Alergias">
        <option value="3">Celíaca</option>
        <option value="2">Celíaca sin Lactosa</option>
        <option value="4">Diabética</option>
      </optgroup>
    </select>
<!-- end snippet -->

***
#Javascript

En Javascript puro puedes hacer uso de `selectedIndex` para determinar el índice del elemento seleccionado y luego invocar `remove()` con dicho valor.

Por ejemplo:

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    var elSelect = document.getElementById('alergia');

    elSelect.addEventListener('click', function() {
      elSelect.remove(elSelect.selectedIndex)
    });

<!-- language: lang-html -->

    <select id="alergia" name="alergias2[]" multiple="multiple">
      <optgroup label="Alergias">
        <option value="3">Celíaca</option>
        <option value="2">Celíaca sin Lactosa</option>
        <option value="4">Diabética</option>
      </optgroup>
    </select>

<!-- end snippet -->