Prueba a modificar la función divMove de este modo:
function divMove(e) {
let elemento = e.currentTarget;
elemento.style.position = 'absolute';
elemento.style.top = e.clientY + 'px';
elemento.style.left = e.clientX + 'px';
}
El asunto es que si añades a un elemento un "event handler", la función se ejecutará tanto si pinchas en ese elemento como en cualquiera de sus hijos. e.target apunta al contenedor que tiene el "event handler" y e.currentTarget al elemento que realmente está recibiendo el evento.
$('#a').click(function (e) {
console.log(e.target);
console.log(e.currentTarget);
});
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>
<div id="a">
<div id="b">Texto A</div>
Texto B
</div>