Igual se ha explicado mal. Tu en tu web puedes poneren el Robots.txt que no te index las paginas google, yahoo, que no lo haga ningun buscador, que solo indexen algunas paginas...
Ademas hay spiders quese saltan este archivo, asi que en alguno puede haber guardado paginas que otro no tenga.
--
--
De todas las cosas que se pueden hacer con un ordenador, las más inútiles son las más divertidas.
por
pobrecito hablador
el Martes, 14 Diciembre de 2004, 14:33h
(#404956)
En internet existen infinidad de bases de datos cuyo tamaño global se estima en unas 500 veces el de la internet "visible". El problema es que los buscadores normales no suelen tener acceso a estas bases de datos, porque éstas no se componen de páginas web con URLs más o menos estáticas. Por eso a esto se le llama "internet invisible". Para acceder a ellas, normalmente hay un buscador para cada una o bien algún metabuscador especializado como internetinvisible.com [internetinvisible.com]
Re:Esto...
(Puntos:2, Divertido)Re:Esto...
(Puntos:2)( http://barrapunto.com/ | Última bitácora: Sábado, 04 Noviembre de 2006, 22:05h )
Ademas hay spiders quese saltan este archivo, asi que en alguno puede haber guardado paginas que otro no tenga.
--
De todas las cosas que se pueden hacer con un ordenador, las más inútiles son las más divertidas.
Re:Esto...
(Puntos:0)En internet existen infinidad de bases de datos cuyo tamaño global se estima en unas 500 veces el de la internet "visible". El problema es que los buscadores normales no suelen tener acceso a estas bases de datos, porque éstas no se componen de páginas web con URLs más o menos estáticas. Por eso a esto se le llama "internet invisible". Para acceder a ellas, normalmente hay un buscador para cada una o bien algún metabuscador especializado como internetinvisible.com [internetinvisible.com]
Creo que es a eso a lo que se refiere :-)