1

Tengo una duda es la primera vez que configuro este archivo. Mi código es el siguiente:

User-agent: *
Disallow: /contactus
Disallow: /about
Disallow: /terms
Disallow: /privacy
Disallow: /cookies
Disallow: /accion/videos/favorite_video
Disallow: /accion/notificaciones/abrir
Disallow: /muro/perfil/*
Disallow: *?

Sitemap: https://miweb.com/sitemap.xml

Mi duda es si el sitemap incluye todas las url disallow, google las indexara? En el search console estan indexadas pero creo que fue por culpa de que todavía no había creado el archivo.

Un saludo y gracias

1 respuesta 1

1

El archivo robots.txt es para una cosa y el sitemap es para otra diferente. El robots.txt se usa para que los bots que entren a tu web a indexar, indexen solo lo que tu les indiques en el archivo. Por otro lado el sitemap es el caso contrario. Tu le dices a google lo que quieres indexar.

Ejemplo: No quieres indexar una pagina de acceso. Lo que deberas hacer en el archivo robots.txt, es indicar que esa parte de la pagina no quieres indexarla (Disallow). Mientras que en el sitemap no insertaras esta url.

Espero haberte ayudado.

2
  • hola, gracias por responder. Si comprendo la diferencia. Mi problema es que utilizo un software que genera el sitemap y no puedo excluir paginas. Mi pregunta es si en sitemap aparece una url que en robots esta como Disallow google la indexa? Commented el 16 may. 2020 a las 14:44
  • Hola Anderson, entiendo. Como te comento en el mensaje, aunque pongas el disallow en el robots lo indexara igual mediante sitemap ya que son maneras de indexar diferentes. En una lo hacen los bots que acceden a tu pagina automaticamente y leen de este archivo, en sitemaps directamente te indexara las paginas que tu le indiques dentro. Espero haberte aclarado mas con esta respuesta. Un saludo
    – Barberalex
    Commented el 19 may. 2020 a las 6:47

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.