Google dice que la mejor manera de ocultar un sitio web de los resultados de búsqueda es con una contraseña, pero hay otras opciones que puedes considerar.
Este tema se destaca en la última entrega de la serie de videos Ask Googlebot en YouTube.
John Mueller de Google responde a una pregunta sobre cómo evitar que el contenido se indexe en las búsquedas y si eso es algo que los sitios web pueden hacer.
“En resumen, sí se puede”, dice Mueller.
Hay tres formas de ocultar un sitio web de los resultados de búsqueda:
- Utilice una contraseña
- Bloqueo de rastreo
- Indexación de bloques
Los sitios web pueden optar por no indexarse por completo o pueden indexarse y ocultar el contenido a Googlebot mediante una contraseña.
Bloquear contenido de Googlebot no va en contra de las pautas para webmasters, siempre y cuando esté bloqueado para los usuarios al mismo tiempo.
Por ejemplo, si el sitio está protegido con contraseña cuando lo rastrea Googlebot, también debe estar protegido con contraseña para los usuarios.
Alternativamente, el sitio debe tener directivas establecidas para evitar que Googlebot rastree o indexe el sitio.
Puedes tener problemas si tu sitio web muestra contenido diferente a Googlebot que a los usuarios.
Eso se llama “encubrimiento” y va en contra de las directrices de Google.
Hecha esa distinción, aquí se presentan las formas correctas de ocultar contenido a los motores de búsqueda.
3 formas de ocultar contenido a los motores de búsqueda
1. Protección por contraseña
Bloquear un sitio web con una contraseña suele ser el mejor enfoque si desea mantener su sitio privado.
Una contraseña garantizará que ni los motores de búsqueda ni usuarios web aleatorios puedan ver su contenido.
Esta es una práctica común en sitios web en desarrollo. Publicar el sitio web en vivo es una manera sencilla de compartir el trabajo en progreso con los clientes, a la vez que evita que Google acceda a un sitio web que aún no está listo para su publicación.
2. Bloquear el rastreo
Otra forma de impedir que Googlebot acceda a tu sitio es bloquear el rastreo. Esto se hace con el archivo robots.txt.
Con este método las personas pueden acceder a su sitio con un enlace directo, pero éste no será detectado por los motores de búsqueda “bien comportados”.
Ésta no es la mejor opción, dice Mueller, porque los motores de búsqueda aún podrían indexar la dirección del sitio web sin acceder al contenido.
Es raro que eso suceda, pero es una posibilidad que debes tener en cuenta.
3. Indexación de bloques
La tercera y última opción es bloquear la indexación de su sitio web.
Para ello, añade una metaetiqueta robots noindex a tus páginas.
Una etiqueta noindex le dice a los motores de búsqueda que no indexen esa página hasta que después Lo arrastran.
Los usuarios no ven la metaetiqueta y aún pueden acceder a la página normalmente.
Reflexiones finales de Mueller
Mueller concluye el video diciendo que la principal recomendación de Google es utilizar la ruta de la contraseña:
En general, para el contenido privado, recomendamos usar protección con contraseña. Es fácil comprobar su funcionamiento y evita que cualquiera acceda a tu contenido.
Bloquear el rastreo o la indexación son buenas opciones cuando el contenido no es privado o si hay partes de un sitio web que no se desea que aparezcan en las búsquedas.
___
by Matt Southern
fuente: SEJ
