0

Me gustaría implementar en las cabeceras de ciertas URLs de la web la directiva X-Robots Tag para evitar indexar ciertas paginas

No podemos hacerlo a través de las meta etiquetas porque no podemos editar esto por determinados problemas

Me ayudan con el código que debería implementar en el fichero htaccess?

Sería en todo el área de la web contenida bajo el directorio /en/

Por ejemplo: dominio.com/en/pagina

1 respuesta 1

0

Para eso no es necesario enlazar ninguna url en tu cabecera, solo tenes que crear un archivo llamado robots con la extensión de texto txt, entonces quedaría así robots.txt ya creado ese archivo adentro vas ingresando las paginas que queres que no se indexen en los motores de búsqueda.

Con el User-agent: * le indicas a los robots que indexen toda la pagina.

con el Disallow: le indicas las paginas que no queres que se indexen los motores de busqueda.

entonces lo que vos queres hacer quedaría así:

User-agent: *

Disallow: /en

pd: no hace falta señalar con ninguna url al archivo ya que los robots de los motores de búsqueda al entrar en la pagina lo primero que hacen es buscar ese archivo.

Espero ayudarte con esto, cualquier cosa me comentas, Suerte!

1
  • Gracias por tu respuesta Daniel pero el fichero robots.txt no evita la indexación de las páginas. Precisamente lo tenemos bloqueado por robots.txt todo el directorio y aun asi está indexado en Google. Por ello que debemos evitar su indexación a través del .htaccess ya que no podemos editar las metas Commented el 16 jun. 2021 a las 19:17

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.