Google menciona en su Blog official la incorporación de dos nuevas funcionalidades al Robot Exclusion Protocol.

Unavailable_after

Una es la ya mencionada etiqueta “unavailable_after” que nos permite indicar a Googleboot en que fecha ha de eliminar del índice el documento etiquetado. A través de la incoporación en los metatags de una etiqueta como:

<META NAME="GOOGLEBOT" CONTENT="unavailable_after: 25-Aug-2007 15:00:00 EST">

Indicamos a Googleboot que dicho documento dejará de estar vigente el 25 de Agosto de 2007 a las 15:00 horas y que a partir de esa fecha ha de eliminarse del índice de Google. La fecha y hora han de indicarse en el estandar RFC 850

El protocolo a trvés de HTTP

Los metatags del Protocolo de Exclusión de Robots únicamente puden utilizarse en documentos web, no pudiéndose aplicar hasta ahora a otro tipo de archivos como PDF’s, archivos de audio o de vídeo, etc…

Ahora Google nos indica como podemos empezar a controlar estos tipos de archivos, en formato no web, mediante el envío de una nueva directiva del protocolo (X-Robots-Tag) a través de HTTP.

X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 23 Jul 2007 15:00:00 PST
No archiva en la caché y no está disponible a partir del 23 de Julio del 2007 (a través de HTTP)