Categoría 'Varios'

Parte 4 de 4 de la serie Conociendo a los Bots

Servicios de internet
En esta categoría he incluido a los robots que proveen servicios que no entran en otras categorías, por ejemplo el robot del Internet Archive o el Validador del W3C

ia_archiver
Se identifica como: ia_archiver-web.archive.org
Éste es el robot del Internet Archive. Este sitio mantiene copias de [...]

Parte 3 de 4 de la serie Conociendo a los Bots

Es incontable la cantidad de programas que por un motivo u otro se conectan a alguna página de internet. La mayoría de ellos son inofensivos, aunque algunos son sospechosos y bien podrían ser robots de los "malos"…
El problema es que no todos los programas que [...]

Parte 2 de 4 de la serie Conociendo a los Bots

Buscadores de blogs
Nada en particular, simplemente sitios y servicios especializados en búsqueda y directorios de blogs.
El más conocido de esta categoría es Technorati.

BlogPulseLive
Se identifica como: BlogPulseLive (support@blogpulse.com)
BlogPulse es un buscador de blogs con funciones estadísticas muy interesantes
Feedfetcher-Google
Se identifica como: Feedfetcher-Google; (+http://www.google.com/feedfetcher.html)
Feedfetcher es el nombre del [...]

Un archivo robots.txt es un archivo de texto simple, que sirve para indicar a los robots (en especial a los robots de los buscadores) qué partes del sitio no debería indexar. Se considera que se puede indexar cualquier carpeta o archivo que no esté explícitamente prohibido por este archivo.
Los buscadores más importantes lo respetan (de [...]

Parte 1 de 4 de la serie Conociendo a los Bots

Los "bots", "robots", "spiders" (arañas) o "crawlers" son los programas que van por la internet de página en página, analizando su contenido para diferentes propósitos.
Los hay "buenos", como los de los buscadores que luego nos redirigirán visitas, y "malos", como los que buscan direcciones de [...]