Que es y como se utiliza correctamente el robots.txt

robots.txt
Buenos si eres nuevo en estos asuntos te estarás preguntando. ¿Que es esto de los robots?. Bueno te lo explicare brevemente..
El o los Robots, “los que funcionan en la web” es una herramienta automatizada por los buscadores que pasa constantemente por los sitios, paginas, blogs etc.. recopilando información o comprobando si a habido algunos cambios recientemente para validar la información.
Los robots (robots) pueden acceder a cualquier página o contenido sin tener que dar el permiso siempre y cuando este sitio este indexado en los buscadores. Pero tranquilo esto se puede controlar si creamos un archivo robots.txt que estará en la raíz de el sitio, escribir algunas reglas sencillas que le ayudarán a controlar lo que hacen los robots en su sitio, ya que con esto controlaremos contenido y también lo que entra en el sitio. Seria algo así como el Vigilante de un bar con una lista de invitados permitiendo la salida y entrada de las personas,, bueno así pero con la información de tu web.

Crear el archivo robots.txt

Si tengo una pagina que no quiero que sea indexada por los motores de búsqueda en el directorio raíz y se llama asunto-confidencial.html, solo tenemos que colocar esto:

Esto hará que ningún robot puede acceder a dicho archivo.
Si lo que queremos es bloquear un carpeta para que el robot no pueda acceder a sus archivos y contenido debemos de utilizar la siguiente instrucción:

bloquear un sitio completo

Esto también lo podemos hacer por este medio, no hace falta que desactives o bajes tu sitio. solo con este código vamos a conseguir que la web completa incluyendo el contenido no sea indexada por buscadores:

Comentarios en el robots.txt

Si eres persona organizada y quiere poner comentarios en sus robots sólo tiene que utilizar el carácter de “#” para esto, entonces seria algo asi:

y si queremos hacer lo contrario

habrá alguien que quiera bloquear su sitio, pero que de pronto le resulte interesante permitir que el los robots accedan a ciertas paginas y contenido de interés social, bueno esto lo podemos hacer también, permitir ciertos archivos.

Ahora esto hará que sólo los dos ficheros y carpetas son accesibles, el resto serán bloqueados.
—–
hay mucho mas que configurar si seguimos hablando de este tema, pero para mas informacion te remito a http://www.robotstxt.org/, Aqui encontras mas informacion de este señor.

About the author

Johan Ricardo Niebles. Administrador y creador de este blog, Front-end (HTML + CSS + JS).con mas de 4 años de experiencia en el magico mundo web. Johan Ricardo

3 Respuestas

  1. Pelucce dice:

    Hola me gustaría saber donde tengo que poner este código, no se hace una carpeta robots.text y donde?

    • Johanso dice:

      Hola Pelucce, tienes que crear un archivo de texto y copiar el codigo en el, y cargarlo en el directorio raiz de tu sitio.
      saludos!

    • balloon dice:

      Pelucce, es bueno también “avisarle” a Google a través de Webmaster tools que has subido este archivo. Saludos.