Efectivamente `os.mkdir` lanza una excepción si el directorio ya existe:

>If the directory already exists, FileExistsError is raised.

Tienes varias podibilidades, entre ellas:

- Usando `os.mkdir` pero capturando la excepción (válida también para Python 2.x):

        try: 
            os.makedirs(directory)

        except OSError:
            if not os.path.isdir(directory):
                raise

- Usando [`os.mkdirs`][1] con el parámetro `exist_ok=True`:

        os.makedirs(directory, exist_ok=True)

- Usar la biblioteca [`pathlib`][2] (Python >= 3.5):

        import pathlib
        pathlib.Path(directory).mkdir(parents=True, exist_ok=True) 

    Aunque el método existía ya en Python 3.4 el parámetro `exist_ok` no se introdujo hasta la versión 3.5.


  [1]: https://docs.python.org/3/library/os.html#os.makedirs
  [2]: https://docs.python.org/3/library/pathlib.html