Bots: servicios de internet y desconocidos

Parte 4 de 4 de la serie Conociendo a los Bots

Serie
Conociendo a los Bots

Conociendo a los Bots: Buscadores genéricos
Bots: Buscadores y lectores de blogs
Bots: Programas y publicitarios / corporativos
Bots: servicios de internet y desconocidos

Servicios de internet

En esta categoría he incluido a los robots que proveen servicios que no entran en otras categorías, por ejemplo el robot del Internet Archive o el Validador del W3C

ia_archiver: Se identifica como: ia_archiver-web.archive.org
Éste es el robot del Internet Archive. Este sitio mantiene copias de los sitios para "futura referencia", y a veces resulta bastante entretenido ver cómo se veía un sitio cualquiera hace algunos años.
Netcraft Web Server Survey: Se identifica como: Mozilla/4.0 (compatible; Netcraft Web Server Survey)
Este robot pertenece a Netcraft, y de vez en cuando rastrea Internet para conocer el servidor que aloja al sitio. Con esta información, recabada de millones de sitios, Netcraft elabora las estadísticas más completas sobre el uso de los diferentes servidores del mercado (Apache, IIS, etc).
SurveyBot - Whois Source: Se identifica como: SurveyBot/2.3 (Whois Source)
Simplemente hace peticiones a los sitios con el objetivo de recopilar estadísticas sobre los mismos, no recorre ni almacena páginas.
Pertenece a DomainTools, una empresa de registro de dominios que nutre su motor de búsqueda con la información recopilada por el robot.
W3C_Validator: Se identifica como: W3C_Validator/1.575
Así se identifica el validador del w3c cuando tiene que revisar una página web.

Desconocidos

Algunos agentes de usuario me son desconocidos. No pude encontrar información sobre ellos, a pesar de lo obvios que parecen los nombres de algunos de ellos. No quiere decir que sean "malos", pero el hecho de que algunos intenten disfrazarse como otros robots da para desconfiar.

MSIE6.0: Este robot pretende ser Internet Explorer. Sin embargo, la cadena que usa para identificarse es solo una pequeña parte de la cadena que el verdadero Internet Explorer 6 envía.
YahooCacheSystem: Parece ser un robot de Yahoo!, pero por mucho que busqué no logré encontrar información sobre él. Así que al menos por ahora, es un bot desconocido.
Firebat: Se identifica como: Firebat 2.7.12
Realmente no encontré nada sobre este robot, más que estadísticas de otros sitios a los que ha visitado.