Debe de ser con la siguiente etiqueta
<link rel="shortcut icon" href="https://cdn.sstatic.net/Sites/es/img/favicon.ico?v=a8def514be8a">
La cual se inserta después de la etiqueta title o dentro de tu head de tu HTML. La extensión de la imagen debe de ser en .ico, hay muchos generadores de favicon online.
Por ejemplo: https://www.favicon-generator.org/
Actualización
Casi todos los navegadores ya cuentan con un soporte extenso de diferentes formatos de imágenes, y no solo .ico. Más info en esta otra respuesta.