Si alguna vez has hablado con quien lleva tu web sobre por qué una página no sale en Google, es probable que haya aparecido una de estas dos palabras: «robots.txt» o «sitemap». Suenan a informática pura, pero son dos archivos sencillos cuya función se entiende en un minuto. Y conviene entenderla, porque un fallo en cualquiera de los dos puede dejar páginas importantes de tu negocio fuera de los buscadores sin que nadie se dé cuenta.
Vamos a verlo con ejemplos cotidianos, sin código ni jerga, y con una comprobación que puedes hacer tú mismo en cinco minutos desde el navegador.
Dos archivos, dos funciones
Piensa en tu web como un edificio con muchas salas. Google envía robots (programas automáticos) que recorren el edificio para saber qué hay dentro y poder enseñarlo después a quien lo busque.
- El robots.txt es el cartel de la puerta. Es un archivo de texto que le dice a esos robots por qué zonas pueden pasar y por cuáles no. Por ejemplo: «puedes mirar el catálogo, pero no la zona de administración».
- El sitemap es el plano del edificio. Es una lista de las páginas que quieres que los robots conozcan. No obliga a Google a mostrarlas, pero le facilita encontrarlas todas, sobre todo si son nuevas o están poco enlazadas.
Uno marca límites y el otro señala el camino. Ninguno de los dos es obligatorio para que una web funcione, pero ayudan a que los buscadores entiendan tu sitio, y un error en ellos puede costarte visibilidad.
Cómo comprobar que existen
No necesitas ninguna herramienta especial. Sigue estos pasos:
- Abre el navegador y escribe la dirección de tu web seguida de «/robots.txt», por ejemplo: tudominio.com/robots.txt. Si existe, verás una página de texto plano con unas pocas líneas. Si ves un error de página no encontrada, el archivo no existe.
- Haz lo mismo con «/sitemap.xml». Si existe, verás una lista larga de direcciones, a veces con fechas. En algunas webs el plano tiene otro nombre (por ejemplo, un índice con varios planos); el propio robots.txt suele indicar dónde está en una línea que empieza por «Sitemap».
- Comprueba que las direcciones del plano son las actuales: que empiezan por el dominio correcto y que corresponden a páginas que siguen existiendo.
- Si tienes cuenta en Google Search Console (una herramienta gratuita de Google para ver cómo te ve el buscador), mira el apartado de sitemaps: ahí aparece si Google ha leído tu plano y si ha encontrado problemas.
Muchos gestores de contenido generan estos archivos automáticamente. Aun así, conviene comprobarlos, porque un ajuste hecho meses atrás puede seguir activo sin que nadie lo recuerde.
Qué deberías ver en cada uno
En el robots.txt, lo normal es ver pocas líneas: a quién se dirige (todos los robots), qué zonas se excluyen (como el panel de administración o ciertas carpetas técnicas) y, a menudo, la dirección del sitemap. Lo que no debería aparecer, salvo que sepas muy bien por qué, es una línea que diga «Disallow: /». Esa instrucción equivale a colgar un cartel de «prohibido el paso» en toda la puerta principal.
En el sitemap, lo razonable es encontrar tus páginas importantes: inicio, servicios, productos, artículos, contacto. No esperes que aparezcan las páginas técnicas ni los borradores. Y si tu web tiene muchas páginas, es normal que el plano sea largo.
Los errores típicos que dejan páginas fuera de Google
Estos son los tropiezos más frecuentes:
- El cartel de obras que nadie quitó. Mientras se construye una web nueva, es habitual bloquear a los robots para que no vean algo a medio hacer. Si al publicarla nadie retira ese bloqueo, Google no puede recorrerla. Es el error que más daño hace por ser el más silencioso.
- Bloquear más de lo necesario. Una regla pensada para ocultar una carpeta técnica que, sin querer, alcanza también a páginas de servicios o de artículos.
- Un sitemap desactualizado. Incluye páginas borradas, que ya no existen, o direcciones antiguas de antes de un cambio de dominio. Así mandas a Google a puertas cerradas.
- Un sitemap que falta. La web crece, se publican artículos y no hay plano que los presente. Google acabará encontrándolos por los enlaces, pero más despacio.
- Confundir «bloquear» con «ocultar». El robots.txt pide a los buscadores que no pasen, pero no protege información privada: cualquiera puede leer ese archivo. Si algo es confidencial, no debe estar en una web pública.
- Confundir este archivo con otra instrucción distinta. Una página puede llevar una indicación propia que le dice a Google que no la muestre. Si una página concreta no sale, conviene revisar también eso, además del robots.txt.
Cuando una página no aparece, estos archivos son una de las primeras cosas a descartar, junto a otras causas posibles. Si te estás preguntando por qué ocurre, mi web no aparece en Google: qué hago repasa el resto de posibilidades, y Google no siempre indexa una web nueva en cuestión de horas explica por qué a veces basta con esperar.
Si tu web la gestiona otra persona
No hace falta que sepas editar estos archivos, pero sí que sepas preguntar. Algunas preguntas útiles para quien lleva tu web:
- «¿Existe robots.txt y qué contiene? ¿Hay algo bloqueado que debería estar abierto?»
- «¿Existe un sitemap y se actualiza cuando publicamos algo nuevo?»
- «¿Hemos dado de alta el plano en Google Search Console?»
- «Tras el último cambio importante de la web, ¿se revisaron estos archivos?»
Que te contesten con claridad es buena señal. Y si quieres profundizar en cómo acelerar que los buscadores conozcan tu contenido, en cómo hacer que Google indexe tu web más rápido tienes más ideas.
Conclusión
El robots.txt es el cartel que indica por dónde pueden pasar los robots de los buscadores y el sitemap es el plano que les enseña tus páginas. No son obligatorios, pero un bloqueo olvidado o un plano desactualizado pueden dejar contenido valioso sin aparecer. Comprobarlos lleva minutos: escribes dos direcciones en el navegador y revisas que todo tiene sentido.
AutoAd genera y publica artículos en tu web, los puntúa antes de publicar y vigila las posiciones; conviene que, antes de empezar a publicar contenido nuevo, tú o quien gestione tu web reviséis estos dos archivos. Si quieres que tus artículos lleguen a Google con buen pie, solicita acceso a AutoAd y empieza con la casa ordenada.