21/01/2015

Récupérer l’information

Vous allez fouiller le Web pour récupérer :

• le texte du préambule de la constitution européenne (texte commençant par S’inspirant des héritages culturels […]). Copiez-collez les premiers paragraphes dans un document au format texte que vous nommerez TDB5-NOM-preambule.txt : vous utiliserez ultérieurement ce texte pour l’intégrer à votre document principal ;
• une carte de l’Europe ;
• des images illustrant la population Européenne.

Il n’est pas interdit d’échanger entre vous des informations : soit des fichiers, soit des adresses de documents.

N’oubliez pas de citer vos sources dans le document final.

Ces documents seront rangés dans votre dossier NOM_PRENOM_TDB5.

Le web invisible

Le nombre de pages indexées par les moteurs est évalué à plus de 1000 milliards. Les moteurs n’indexent pas tout. Le web invisible, c’est l’ensemble des pages qui ne sont pas référencées par un moteur de recherche. Il n’y a pas beaucoup d’études, mais le web visible représenterait 1/4 des pages accessibles.

Pour trouver une page web (et ensuite l’indexer) un moteur de recherche va de page en page soit en suivant les liens, soit en les remontant ; on pourrait croire que cela suffit pour trouver toute page web mais il y a des raisons pour que non.

Raisons de méthode

• Une page peut n’être liée à aucune autre.
• La suite de liens à parcourir pour trouver la page est trop longue (web profond).
• Certains formats de pages sont inconnus des moteurs (exemple : pdf créé en 1993 indexé depuis 2008 par Google).
• L’information est dans une base de donnée interrogeable uniquement par un moteur spécialisé.
• Certaines pages sont inaccessibles : nom et mot de passe nécessaires.

Raisons dynamiques

• Certaines pages sont créées à la demande (pages dynamiques : catalogue de ventes).
• L’information qu’elles contiennent varie trop vite (sites d’informations quotidiennes).

Raisons sémantiques

• L’indexation peut être refusée par le concepteur de la page (balises, mises dans l’entête html, refusant l’indexation).
• L’information est payante.
• Les critères du Moteur de Recherche font que la page est sans intérêt.

Référence : Bibliothèque nationale de France