La función ENCRYPTBYPASSPHRASE debe recibir al menos dos parámetros, pero puede llegar a recibir hasta 4 parámetros, los dos primeros parámetros son obligatorios y los dos últimos opcionales. Esta función devuelve un varbynary de 8000 bytes. Los datos se cifran mediante una llave de 128 bits y usando el algoritmo de cifrado Triple DES(TDES). Esta función está disponible desde SQL Server 2008.
Para el caso de dos parámetros la sintaxis es la siguiente:
EncryptByPassPhrase (clave, textoClaro)
El primer parámetro (clave) es la frase de contraseña a partir de la cual se genera una clave simétrica.
El segundo parámetro (textoClaro) sería el texto a cifrar, puede tener un tamaño de hasta 8000 bytes.
Por lo que la consulta que pones quedará así:
Insert into empleado (password) values (ENCRYPTBYPASSPHRASE('clave', 'texto a cifrar'));
De esta forma insertamos en el campo "password" de la tabla "empleado" el texto 'texto a cifrar' encriptado, utilizando como llave la que se genera con el algoritmo TDES sobre el primer parámetro "clave"
Para mas información: https://github.com/MicrosoftDocs/sql-docs.es-es/blob/live/docs/t-sql/functions/encryptbypassphrase-transact-sql.md