Archive.org Wayback Machine aussperren

Wer seine Seite nicht im Internet Archiv gelistet haben will, kann sie ganz einfach über die robots.txt entfernen:

robots.txt
#archive.org
User-agent: ia_archiver
Disallow: /

Bei jeder Anfrage nach einer Archivierung wird immer erst die aktuelle robots.txt abgerufen (sehe ich zumindest so in meinen Logs). Somit ist die Änderung auch sofort wirksam.
Jedoch kann so ein Archiv auch bei rechtlichen Problemen helfen.
geschrieben am 2005-04-10 14:11 von David in: Coding



Trackback-URL: [deaktiviert]
(Nutzung von Trackbacks)

Kommentare / Trackbacks


Archive.org Wayback Machine aussperren
Wer etwas seines Transfervolumens sparen will, kann mit Hilfe der robots.txt die WayBack Machine aussperren. Eine Anleitung hat David veröffentlicht....
WebhostingTech @ 2005-04-13 20:27


Kommentar Schreiben Für diesen Beitrag sind Kommentare geschlossen.