Con este script bastará

    Get-ChildItem E:\Backup\ |
        ? { $_.Name -ne (Get-Date).Year } |
        ForEach { Remove-Item -Recurse -Force $_ }

### Explicación:

    Get-ChildItem E:\Backup\ |

Esta línea obtiene los directorios hijos de `E:\Backup\`.

    ? { $_.Name -ne (Get-Date).Year } |

Esta línea hace un filtro (where) y devuelve solo directorios que no tengan como nombre al año de la fecha actual.

    ForEach { Remove-Item -Recurse -Force $_ }

Esta línea recorre cada uno de los directorios del paso anterior y los elimina recursivamente (incluyendo todos sus subdirectorios).