“Disallow” es una instrucción utilizada en el archivo robots.txt de un sitio web para indicar a los motores de búsqueda qué páginas o directorios no deben ser rastreados o indexados.
La instrucción Disallow, pertenece al Protocolo Estándar de Exclusión de Robots, el cual fue creado por primera vez en 1984, y el 1 de Julio de 2019, Google inicio los trámites para convertirlo en un estándar en internet.
Desde el punto de vista de SEO, el archivo robots.txt es una herramienta crucial para controlar cómo los motores de búsqueda exploran y acceden al contenido de un sitio web.
Cuando se utiliza la directiva “Disallow” en el archivo robots.txt, se está instruyendo a los motores de búsqueda para que no accedan a ciertas partes del sitio web.
Al especificar qué áreas del sitio deben ser excluidas de los resultados de búsqueda, los webmasters pueden proteger información confidencial, evitar contenido duplicado y dirigir el rastreo hacia las secciones más relevantes del sitio.
Ejemplo
Si un sitio tiene una sección de administración que no debe ser indexada por los motores de búsqueda, el webmaster puede agregar una línea como “Disallow: /admin/” en el archivo robots.txt. Esto evitará que los motores de búsqueda rastreen cualquier página que esté dentro del directorio “/admin/”.
Es importante tener en cuenta que los motores de búsqueda respetan estas directivas de manera voluntaria y no son garantía absoluta de que una página no será indexada. Sin embargo, el uso adecuado de “Disallow” puede ayudar a guiar el rastreo de los motores de búsqueda de manera más eficiente y a proteger ciertas áreas del sitio que no deberían ser públicas.