Lo primero es proporcionar un ejemplo de datos con los que se pueda intentar hacer lo que pides. Los datos que has proporcionado son una imagen, de la que no se puede extraer fácilmente la información, y además en lo poco que se ve de la tabla no hay valores repetidos en la columna CITA por lo que no es fácil comprobar si la solución propuesta hace o no lo que necesitas, y además todos parecen tener el mismo ID.
Consideremos los siguientes datos, que se basan en los que proporcionas pero les he añadido un par de filas más que repitan una CITA previa y tengan un ID diferente:
>>> print(df)
ID AUTOR CITA AÑO
0 AM Y RN Arpes Marcela-Ricaud Nora Diaz Ronner M A 1989
1 AM Y RN Arpes Marcela-Ricaud Nora Rodari G 1973
2 AM Y RN Arpes Marcela-Ricaud Nora Blanco L (comp) 1992
3 AM Y RN Arpes Marcela-Ricaud Nora Savater F 1994
4 AM Y RN Arpes Marcela-Ricaud Nora Bloom H 1995
5 PA Arpes Marcela-Ricaud Nora Bloom H 1998
6 PO Arpes Marcela-Ricaud Nora Rodari G 1972
Otra observación: nunca iteres sobre un dataframe a menos que no tengas otra forma de hacerlo. Iterar es lento. Usar los métodos vectoriales que te proporciona Pandas es mucho más rápido.
Si usamos df.groupby()
podemos agrupar todas las filas según el criterio que deseemos. Cada grupo resultante es como otro dataframe sobre el que se pueden aplicar diferentes operaciones (por ejemplo, contar cuántos elementos tiene, y muchas cosas más, te sugiero leer la documentación de este método).
En este caso quieres una lista con todos los IDs para cada cita. Así que podemos aplicar a cada grupo una función lambda que convierta a lista los contenidos de la columna ID.
El código por tanto se reduce a una línea:
>>> result = df.groupby("CITA").apply(lambda x: list(x.ID))
>>> print(result)
CITA
Blanco L (comp) [AM Y RN]
Bloom H [AM Y RN, PA]
Diaz Ronner M A [AM Y RN]
Rodari G [AM Y RN, PO]
Savater F [AM Y RN]
Este resultado es un dataframe (o más bien una Serie) cuyo índice son las citas, y cuyos valores son listas de IDs. Observa por ejemplo cómo la cita "Bloom H" tiene en la lista dos valores: "AM Y RN", "PA".
Ampliación
Mirando tu código parece que intentabas armar un dataframe con dos columnas, de modo que en una columna tendrías el primer ID y en la otra el segundo ID (lo que sugiere que esperas como máximo dos repeticiones de las citas, y por tanto dos IDs)
Esto también se puede hacer de forma vectorial y más genérica (es decir, que funcione sin importar el número de citas repetidas), por ejemplo así:
result = df.groupby("CITA").apply(lambda x: x.reset_index().ID).unstack()
El resultado ahora es un dataframe con tantas filas como CITAs diferentes y tantas columnas como repeticiones máximas de una misma CITA (en este ejemplo 2). Las columnas se llamarán 0 y 1:
>>> print(result)
0 1
CITA
Blanco L (comp) AM Y RN NaN
Bloom H AM Y RN PA
Diaz Ronner M A AM Y RN NaN
Rodari G AM Y RN PO
Savater F AM Y RN NaN
Hay dos problemas aquí. El primero es que, si bien la columna 0 está presente en todas las citas, la columna 1 sólo tendrá valores en las citas repetidas (y tendrá NaN en las que no). Quizás te interese reemplazar ese NaN con otra cosa, por ejemplo una cadena vacía o un guión.
El segundo es que quizás quieras que los nombres de las columnas sean "au1", "au2", como en tu código.
Ambos problemas se pueden arreglar así:
result = result.fillna("")
result.columns = [f"au{c+1}" for c in result.columns]
Ahora el ersultado es:
>>> print(result)
au1 au2
CITA
Blanco L (comp) AM Y RN
Bloom H AM Y RN PA
Diaz Ronner M A AM Y RN
Rodari G AM Y RN PO
Savater F AM Y RN