Wie verhindere ich, dass Suchmaschinen-Robots meine neue Website durchsuchen?

2 Antworten

Vom Fragesteller als hilfreich ausgezeichnet

Herkuhles hat es vom Grundsatz her schon beantwortet, um absolut sicher zu gehen, benötigtst Du jedoch beide Varianten gleichzeitig: robots.txt im Wurzelverzeichnis (zB public_html) und pro Seite den Metatag robots.

Wenn Du nur einzelne Seiten auf der Seite ausschließen willst, kann es wichtig sein, dass das Crawling von verlinkten Seiten noch zugelassen wird, dann sieht das so aus:

<meta name="robots" content="noindex, follow" />

Warum doppelt moppeln? Weil es sein kann, dass andere Webseiten direkt auf eine Unterseite Deiner Homepage verlinken. Wird bei denen Indizierung und "follow" zugelassen, landet sonst Deine Unterseite im Index.

Zur robots.text: Um alles überall auszuschließen, reicht dieser Text:

User-agent: *
Disallow: /

Sind nur einzelne Seiten oder Verzeichnisse auszuschließen, sollte die robots.txt so aussehen:

Sitemap: http://deinedomain.de/sitemap.xml #Dann sollte aber auch eine Sitemap hinterlegt sein
User-agent: * #spricht alle seriösen Robots an, Malware-Robots kümmern sich evtl nicht drum
Disallow: /schutz/ #Schützt das Verzeichnis "Schutz"
Disallow: /_vti_log/ #Schützt namentlich genannte Systemordner des Webservers
Disallow: /privat/*.pdf #Schützt alle PDFs imm Ordner "Privat" - und nur die
Disallow: /album*.html #Schützt zB album1.html, album-privat.html etc

Eine Ergänzung empfehle ich noch: Es gibt einen "Dienst" websitewiki, der imho absolut nichts bringt und auch sehr unregelmäßig aktualisiert wird. Wenn Du nicht willst, dass Deine Seite den Betreibern hilft, Werbegeld zu verdienen, dann trage das noch ein:

# Additional restrictions for WebsitWiki anywhere on Site
User-agent: WebsiteWiki
Disallow: / 

Das Beispiel zeigt auch gleich, wie Robots angesprochen werden, deren Namen bekannt sind.

füge ich gleich ein. Danke!

0

moin, das machst du zum beispiel mit der robots.txt, in der du dem crawler sagen kannst, was er zu tun hat. wenn du ein CMS oder so etwas in der Art hast, kannst du auch folgend Zeile in den HTML-Header kopieren.

<meta name="robots" content="noindex" />

normalerweise musste du diesen code nun in jede einzelne html-seite paken, die NICHT indexiert werden soll. einfacher wäre es also vielleicht, wenn du nach dem Thema robots.txt googlest. das ist die einfachste variante, zumindest meiner meinung nach.

bei der aktulisierung ist noch wichtig, dass du bestehende links nicht entfernst. das mag google gar nicht. anstatt diese zu entfernen, müsstest du eher eine gescheite weiterleitung machen, die auch google akzeptiert, bsp. 301.

sieht gar nicht so schwer aus :)

0

GTA 5 runterladen funktioniert nicht 202?

Wo fange ich an? Nach längerer Zeit will ich mir GTA 5 wieder aus dem Social Club runterladen. Wenn ich nun in den Social Club gehe und in den Reiter Spiele Downloads, dann taucht wie gewohnt die Seite mit den Spielen auf, darunter auch GTA 5. Nun klicke ich auf "für Windows runterladen" und es öffnet sich eine neue Seite. Ja, von wegen, bei mir kommt: "Diese Website ist nicht erreichbar". "patches.rockstargames.com hat die Verbindung abgelehnt"

Das heißt, ich kann mir auf dem PC nicht mal das benötigte SetupTool herunterladen. Habe es jetzt so gelöst, dass ich mir das Tool über meinen Laptop geladen habe, was wunderbar funktioniert hat. Das SetupTool habe ich nun mithilfe eines Sticks auf den PC gezogen und wollte das Spiel endlich downloaden und installieren. Und wieder, von wegen.. nachdem ich die Lizenzvereinbarungen und den Pfad eingestellt hab, sollte der Download beginnen. Doch es erscheint der "Fehler 202 - der Rockstar Update Service ist gegenwärtig nicht verfügbar."

Habe bereits probiert, den DNS Cache zu leeren (per CMD als Admin), habe versucht den Stecker vom Router zu ziehen, damit ich ne neue IP zugewiesen bekomme, habe die Einstellungen der Firewall komplett zurückgesetzt, dass Updates nicht geblockt werden.. nichts hat geholfen. Einzig und allein das Tool Psiphon3 hat mir stellenweise geholfen. Mithilfe des Tools konnte ich mir eine neue IP mit ganz anderem Standort besorgen (Frankfurt) und das Spiel endlich herunterladen. Das allerdings extrem langsam mit nur 10kb / Sek. Das hätte Wochen gedauert, die knapp 74 GB herunterzuladen. Ist also auch keine Lösung.

Jetzt lade ich das Spiel über den Laptop (andere IP, falls das hilft) auf eine externe Festplatte herunter. Auf dem Laptop funktioniert das wunderbar, jedoch werde ich GTA 5 darauf nicht spielen können. Ich habe nun vor, das Spiel auf der Festplatte zu installieren und dann auf meinen PC zu ziehen. Jedoch befürchte ich, dass ich GTA 5 danach immer noch nicht spielen kann, da mir vermutlich die Verbindung gekappt wird. Updates werde ich wohl nicht ausführen können geschweige denn Online spielen, da mein Rechner das ja quasi unterbindet.

...zur Frage

WIe kann man eine "Rechtsklicksperre" in die eigene Website einbauen?

Ich habe eine Website, auf der ich verhindern will, dass man den Rechtsklick bei der Maus ausführen kann, d.h. das dann kein Menü erscheint.

Ist dies möglich?

Also die rechte Maustaste sozusagen zu deaktivieren?

Würde mich über Anregungen und Links/Tipps freuen. :)

...zur Frage

Wie lange soll ein cookie gültig sein?

Was wäre denn die ideale Zeit, die ein cookie gültig sein sollte? Damit man sagen kann, daß die Website sicher ist? Hat da jemand Ahnung? Ist für die Schule, da müssen wir so ein php skript schreiben.

...zur Frage

Nervige Werbung auf Android

Liebe Community,

ich besitze ein Samsung Galaxy S3 mit Android 4.3. Bei mir geht manchmal, wenn ich das Handy aus dem Standby "wecke", plötzlich das Internet auf, schließt sich dann und dann kommt der Play Store und schlägt mir eine App vor. Das ist aber nervig! Ist das jetzt die neue Art von Werbung, oder was?

Aber das ganz nervige ist, dass auf meinem Hintergrund danach Verknüpfungen zu Apps im Play Store sind. Die lösche ich aber irgendwann kommen die einfach wieder. Es nervt zum Tode!

Einen Virenscan habe ich auch schon durchführen lassen. dieser schreibt mir, dass "Netzwerk" Adware ist. Aber ich kann Netzwerk nicht deinstallieren, weil es ein Teil von Android ist!

Hat jemand einen Vorschlag, wie man dies verhindern kann?

...zur Frage

Kann man gekürzte URLs (bit.ly, tinyurl usw.) irgendwo "auflösen" lassen?

Ohne dass man draufklickt, also gibt es eine Website, die anzeigt welche URLs hinter der Abkürzung stecken?

...zur Frage

Was möchtest Du wissen?