Se llama motor, a las herramientas que permiten comunicarse con la base de datos, ejecutan los procesos sobre las tablas y mantienen la integridad de los datos. El motor es quien interpreta y ejecuta las consultas, mantiene los indices, entre muchas otras cosas.
Por servidor, en general se entiende al entorno físico (al hardware) donde reside un motor de base de datos. Sin embargo, como en general en los grandes lugares las maquinas que albergan bases de datos, solo tienen al motor de la base de datos, entonces por eso se usa indistintamente.
Sin embargo, podrías tranquilamente tener un motor de base de datos instalado en tu pc, y que a su vez sirvieras a otras PC, con lo que tu PC seria tambien el servidor de base de datos.