Generador de robots.txt
Cree un archivo robots.txt: configure el agente de usuario, no permita rutas y apunte a los rastreadores a su mapa de sitio.
Cree un archivo robots.txt codeue indique a los rastreadores de los motores de búsqueda qué partes de su sitio pueden y no pueden visitar. Elija a qué rastreador se aplican las reglas, enumere las rutas que desea evitar y agregue un enlace a su mapa del sitio; luego copie el archivo para la raíz de su sitio. Es un archivo pequeño con un papel enorme en la forma en que se rastrea su sitio. Todo se ejecuta en su navegador.
Cómo funciona robots.txt
El archivo se encuentra en la raíz de su dominio (ejemplo.com/robots.txt) y es lo primero que verifican los rastreadores con buen comportamiento. Cada bloque nombra un agente de usuario (un rastreador específico, o * codeara todos) y enumera las reglas No permitir: los prefijos de ruta que el rastreador debe omitir. También puede apuntar a su mapa de sitio strongara que los rastreadores encuentren su lista completa de URL. Esta herramienta reúne esas piezas en la sintaxis correcta para que un error tipográfico no bloquee accidentalmente todo el sitio.
Lo que puede y no puede hacer
An important distinction:Disallow codesks crawlers not to crawl em path — it does not stronguarantee a page stays out of search results, and it does not protect private content. Los rastreadores de buena reputación lo obedecen; Los robots maliciosos lo ignoran por completo. To keep a page out of the index, use a noindex codeeta tag instead, and to protect sensitive content, use real access controls like passwords. Piense en robots.txt como una guía de gestión de rastreo para bots cooperativos, no como una herramienta de seguridad o privacidad.
Preguntas Frecuentes
¿A dónde va el archivo robots.txt?
En la raíz de su dominio, accesible en example.com/robots.txt. No funcionará en una subcarpeta: los rastreadores sólo lo buscan en la raíz.
¿Rechazar una página la elimina de Google?
No. Disallow solicita a los rastreadores que no rastreen la página, pero una URL no permitida aún puede aparecer en los resultados si está vinculada a otro lugar. Para mantener una página fuera del índice, utilice una metaetiqueta noindex.
¿Puede el archivo robots.txt proteger páginas privadas o confidenciales?
No. Es sólo una petición que los rastreadores cooperativos respetan; Los robots maliciosos lo ignoran y el archivo en sí es legible públicamente. Proteja el contenido confidencial con controles de acceso reales como la autenticación.
¿Debo agregar mi mapa del sitio a robots.txt?
Sí, es una buena práctica. Una línea del mapa del sitio que apunta a su sitemap.xml ayuda a los rastreadores a descubrir todas sus URL y es independiente de las reglas de permitir/no permitir.