Con este script bastará

    Get-ChildItem <ruta> |
        ? { $_.CreationTime.Year -ne (Get-Date).Year } |
        ForEach { Remove-Item -Recurse -Force $_.FullName }

> Nota: Reemplaza <ruta> por la ruta correcta de tu directorio, por ejemplo: `E:\Backup\`

### Explicación:

    Get-ChildItem <ruta> |

Esta línea obtiene los directorios hijos de `<ruta>`.

    ? { $_.CreationTime.Year -ne (Get-Date).Year } |

Esta línea hace un filtro (where) y devuelve solo directorios que no tengan como fecha de modificación al año actual.

    ForEach { Remove-Item -Recurse -Force $_.FullName }

Esta línea recorre cada uno de los directorios del paso anterior y los elimina recursivamente (incluyendo todos sus subdirectorios).