He cambiado ligeramente tu función para que no de ningún problema.
Anteriormente, no le estabas asignando la función a ninguna variable que fuera número.
Number.prototype.sq = function() {
return Math.sqrt(this);
};
var numero = 5;
var b = numero.sq();
console.log(b);