Resultados de Búsqueda
Tipo de búsqueda | Sintaxis de búsqueda |
---|---|
Etiquetas | [etiqueta] |
Exacto | "escribir palabras aquí" |
Autor |
user:1234 user:me (tuyas) |
Puntuación |
score:3 (3+) score:0 (ninguna) |
Respuestas |
answers:3 (3+) answers:0 (ninguna) isaccepted:yes hasaccepted:no inquestion:1234 |
Vistas | views:250 |
Código | code:"if (foo != bar)" |
Secciones |
title:manzanas body:"peras manzanas" |
URL | url:"*.example.com" |
Guardados | in:saves |
Estado |
closed:yes duplicate:no migrated:no wiki:no |
Tipos |
is:question is:answer |
Excluir |
-[etiqueta] -manzanas |
Visita nuestra página de ayuda para obtener más información sobre la búsqueda avanzada |
1 resultado
El estándar de exclusión de robots, también conocido como el protocolo de la exclusión de robots o protocolo de robots.txt es un método para evitar que ciertos bots que analizan los sitios Web u otros robots que investigan todo o una parte del acceso de un sitio Web, público o privado, agreguen información innecesaria a los resultados de búsqueda.
1
voto
¿Disallow y Sitemap en archivo robots.txt es compatible?
El archivo robots.txt es para una cosa y el sitemap es para otra diferente.
El robots.txt se usa para que los bots que entren a tu web a indexar, indexen solo lo que tu les indiques en el archivo. … Lo que deberas hacer en el archivo robots.txt, es indicar que esa parte de la pagina no quieres indexarla (Disallow). Mientras que en el sitemap no insertaras esta url.
Espero haberte ayudado. …