Robots Exclusion Protocol, acuerdo en los principales buscadores

In: Google|Microsoft/MSN|SEO - posicionamiento web|Yahoo

4 jun 2008

Google, Yahoo y Microsoft> trabajan conjuntamente para aunar criterios en relación a este protocolo de exclusión de robots, algo que desde luego nos puede hacer la vida más fácil a todos.

Hoy por hoy las directivas adoptadas comunmente por los tres buscadores son las siguientes:
1. Directivas del robots.txt:
El archivo robots.txt es un archivo que se situa en la raiz del servidor y mediante el cual puedes informar al robot de búsqueda de ciertas limitaciones o restricciones.

DIRECTIVA REPERCUSIÓN

Disallow Informa al rastreador del buscador que no debe indexar el contenido indicado.

Allow Indica que documentos específicos o rutas deben ser indexado. Por defecto el rastreador accederá a todo el sitio web a menos que le digamos lo contrario. Este uso de “Allow” es útil en combinación con el de “Disallow”

$ Wildcard Support Directiva que nos va a permitir especificar documentos con restricciones o permiso de indexado mediante patrones como tipos de archivo, parámetros, sesiones, etc…

* Wildcard Support Directiva que nos va a permitir especificar documentos con restricciones o permiso de indexado mediante patrones como tipos de archivo, parámetros, sesiones, etc…

Sitemaps Location Le indica al rastreador la situación del archivo sitemaps

2. HTML META Directives

DIRECTIVA REPERCUSIÓN

NOINDEX META Tag Indica al rastreador que no indexe esa página, por lo tanto no aparecerá en el índice del buscador

NOFOLLOW META Tag Indica al rastreador que no debe seguir los enlaces presentes en esa página. No aportas PR a los docuemntos enlazados desde esa página (ni interna ni externamente).

NOSNIPPET META Tag Le indica al buscador que no debe mostrar “Snippets” en los resultados de búsqueda. El Snippet que muestra es precisamente el pequeño texto que aparece debajo del título den las pantallas de resultados.

NOARCHIVE META Tag Indica al buscador que no debe mostrar un enlace al resultado en caché de ese documento

NOODP META Tag Indica al buscador que no use el título y snippet de DMOZ (Open Directory Project) para ese documento

En definitiva, una alegría todo lo que sea alinearse a unos estándares.
Más info en: Official Google Webmaster Central

Compartir en:

Tags: Google, microsoft, robots.txt, SEO, standares, Yahoo

Pedro: Murciano tenía que ser ... :) [...]

Sergio Leffe: Por supuesto que no, es falta de protocolo y ética, debe existir el profesionalismo para éste tipo [...]

Carlos Rodero: Me parece estupendo lo que dices y por fin leo algo con sentido común sobre esto. Soy algo nuevo y, [...]

Ya tenemos nuestro grupo en Facebook | e-Ciudadanias: [...] ¿Una facebook page o un grupo? Blogging, internet y buscadores . Publicado 28 de mayo de 2009 [...]

Alejandro: Como se llama esa cancion? [...]

Opino… Luego existo

Robots Exclusion Protocol, acuerdo en los principales buscadores

Comment Form

Sobre este blog

Categories

Archives

Twitter Updates

Posts recientes

Amigos

Familia

innuo family

Searchmedia family

Shackleton Family

DIRECTIVA	REPERCUSIÓN
Disallow	Informa al rastreador del buscador que no debe indexar el contenido indicado.
Allow	Indica que documentos específicos o rutas deben ser indexado. Por defecto el rastreador accederá a todo el sitio web a menos que le digamos lo contrario. Este uso de “Allow” es útil en combinación con el de “Disallow”
$ Wildcard Support	Directiva que nos va a permitir especificar documentos con restricciones o permiso de indexado mediante patrones como tipos de archivo, parámetros, sesiones, etc…
* Wildcard Support	Directiva que nos va a permitir especificar documentos con restricciones o permiso de indexado mediante patrones como tipos de archivo, parámetros, sesiones, etc…
Sitemaps Location	Le indica al rastreador la situación del archivo sitemaps

DIRECTIVA	REPERCUSIÓN
NOINDEX META Tag	Indica al rastreador que no indexe esa página, por lo tanto no aparecerá en el índice del buscador
NOFOLLOW META Tag	Indica al rastreador que no debe seguir los enlaces presentes en esa página. No aportas PR a los docuemntos enlazados desde esa página (ni interna ni externamente).
NOSNIPPET META Tag	Le indica al buscador que no debe mostrar “Snippets” en los resultados de búsqueda. El Snippet que muestra es precisamente el pequeño texto que aparece debajo del título den las pantallas de resultados.
NOARCHIVE META Tag	Indica al buscador que no debe mostrar un enlace al resultado en caché de ese documento
NOODP META Tag	Indica al buscador que no use el título y snippet de DMOZ (Open Directory Project) para ese documento