Signaler un abus

Alberjack 21 mars 2008 09:00

Hello nostromo

on parle de dépot légal.

le fichier robots.txt donnent aux robots les instructions sur ce qu’ils doivent visiter

le sitemap informe les robots sur les liens du site et leur dernière édition

mais donne pas le contenu qui doit être aspirer lors de la visite de la page par le spider et être mis cache.

C’est la métadonnée archive/noarchive qui dit aux robots s’il a le droit de rendre le contenu accessible via le cache des moteurs ou des organisations telles que http://www.archive.org/index.php

Lire le commentaire dans son contexte

Répondre Signaler un abus

7 derniers jours

Articles les plus lus

Ah ! ! ! Ces jeunes qui brûlent des poubelles
La notion de l’État profond : concept simpliste ou complexité réelle ?
Affaire Bardella
Quand le Pape dérange les laïcards : du Contrat social au gouvernement des juges-prophètes « laïcs »
Les gouvernements européens en guerre contre leurs populations
Russie-UE : la guerre est-elle évitable ?
Eliminer tous les candidats du 19e siècle incapable d’anticiper l’évolution, avant d’avoir les salariés à sec, sauf Mélenchon
Supplément familial de traitement (SFT) : pourquoi la fonction publique doit reconnaître la réalité de la coparentalité après séparation
France : ça sent Mai 68 ?
14 avril 2001 : le putsch télévisuel qui a enterré la démocratie russe