Wie verhindere ich, dass Suchmaschinen-Robots meine neue Website durchsuchen?

2 Antworten

Vom Fragesteller als hilfreich ausgezeichnet

Herkuhles hat es vom Grundsatz her schon beantwortet, um absolut sicher zu gehen, benötigtst Du jedoch beide Varianten gleichzeitig: robots.txt im Wurzelverzeichnis (zB public_html) und pro Seite den Metatag robots.

Wenn Du nur einzelne Seiten auf der Seite ausschließen willst, kann es wichtig sein, dass das Crawling von verlinkten Seiten noch zugelassen wird, dann sieht das so aus:

<meta name="robots" content="noindex, follow" />

Warum doppelt moppeln? Weil es sein kann, dass andere Webseiten direkt auf eine Unterseite Deiner Homepage verlinken. Wird bei denen Indizierung und "follow" zugelassen, landet sonst Deine Unterseite im Index.

Zur robots.text: Um alles überall auszuschließen, reicht dieser Text:

User-agent: *
Disallow: /

Sind nur einzelne Seiten oder Verzeichnisse auszuschließen, sollte die robots.txt so aussehen:

Sitemap: http://deinedomain.de/sitemap.xml #Dann sollte aber auch eine Sitemap hinterlegt sein
User-agent: * #spricht alle seriösen Robots an, Malware-Robots kümmern sich evtl nicht drum
Disallow: /schutz/ #Schützt das Verzeichnis "Schutz"
Disallow: /_vti_log/ #Schützt namentlich genannte Systemordner des Webservers
Disallow: /privat/*.pdf #Schützt alle PDFs imm Ordner "Privat" - und nur die
Disallow: /album*.html #Schützt zB album1.html, album-privat.html etc

Eine Ergänzung empfehle ich noch: Es gibt einen "Dienst" websitewiki, der imho absolut nichts bringt und auch sehr unregelmäßig aktualisiert wird. Wenn Du nicht willst, dass Deine Seite den Betreibern hilft, Werbegeld zu verdienen, dann trage das noch ein:

# Additional restrictions for WebsitWiki anywhere on Site
User-agent: WebsiteWiki
Disallow: / 

Das Beispiel zeigt auch gleich, wie Robots angesprochen werden, deren Namen bekannt sind.

5

füge ich gleich ein. Danke!

0

moin, das machst du zum beispiel mit der robots.txt, in der du dem crawler sagen kannst, was er zu tun hat. wenn du ein CMS oder so etwas in der Art hast, kannst du auch folgend Zeile in den HTML-Header kopieren.

<meta name="robots" content="noindex" />

normalerweise musste du diesen code nun in jede einzelne html-seite paken, die NICHT indexiert werden soll. einfacher wäre es also vielleicht, wenn du nach dem Thema robots.txt googlest. das ist die einfachste variante, zumindest meiner meinung nach.

bei der aktulisierung ist noch wichtig, dass du bestehende links nicht entfernst. das mag google gar nicht. anstatt diese zu entfernen, müsstest du eher eine gescheite weiterleitung machen, die auch google akzeptiert, bsp. 301.

5

sieht gar nicht so schwer aus :)

0

Sound manchmal sehr verkratzt und in Zeitlupe!

Hilfe, ich habe das GIGABYTE GA-970A-UD3, verbaut mit 16GB DDR1600 Corsair Vengeance und einem Bulldozer FX-4170 4x 4,2GHz Boost bis ~5GHz. Onboard Sound! So, jetzt tele ich mit freunden, dann fängt nach einer Zeit immer an, der Sound zu kratzen, und alles kommt ganz langsam an. Liegt es am OnBoard Sound, also soll ich mal ne neue SoundKarte versuchen? Wenn ja, empfehlen bitte, aber unter 75€ wenn es geht! ACH JA! Ich habe Windows 8 Pro 64Bit drauf und ein Teufel Concept E100 mit Decoderstation 5 und nem stärkeren SW, und Skype läuft leider im 32Bit (x86) Modus! Und TeamSpeak wollen die anderen nicht, da deren PC's ZU LANGSAM o_O sind! Danke für die Info!

P.S.: Der Realtek Treiber für meinen Chip lässt sich nicht installieren, auch nicht von der CD, Website usw. Ich musste meine Sound-Einstellungen über Windows machen, also 5.1 wählen, L, R, HR, HL, C auf 40-60% drehen und Subwoofer auf 100%, dass ich den Sub am Verstärker steuern kann.

Danke im Voraus

Robin

P.P.S: An der GRAKA kann es zwar nicht liegen, aber ich habe noch die ENGT440 mit 1GB GDDR3 (ich weiß ist schon älter :D), bald aber die GTX560Ti mit 1GB GDDR5, ist zwar auch nicht die neueste, ich will aber unter 300€ bleiben!

...zur Frage

Firefox Browser lässt mich nicht auf folgende Seite...

Immer wenn ich die Seite von web.de aufrufen möchte, erscheint dieser Spruch:

Fehler: Umleitungsfehler Die aufgerufene Website leitet die Anfrage so um, dass sie nie beendet werden kann. Dieses Problem kann manchmal auftreten, wenn Cookies deaktiviert oder abgelehnt werden..

Welche Cookies sind das und wo und wie kann ich sie aktivieren?


...zur Frage

Wie kann ich den umleitungsfehler von Gutefrage.net beheben?

Immer wenn ich versuche Gutefrage.net zu öfnen funktioniert es nicht es kommt immer umleitungsfehlerDie aufgerufene Website leitet die Anfrage so um, dass sie nie beendet werden kann.

Dieses Problem kann manchmal auftreten, wenn Cookies deaktiviert oder abgelehnt werden.

Ich verwende Firefox kann mir jemand helfen

...zur Frage

Wie viel kann man an seinem PC austauschen, ohne die Windows Aktivierung zu verlieren?

Hey! Ich habe Windows auf meinem PC mit einem Key aktiviert und als ich mich dazu mal etwas auf der Microsoft Website umgesehen habe, stand da, wenn ich mich recht erinnere, dass "wenn man seinen PC zu einem Großteil umbaut, z.B. die ganze Hauptplatine austauscht, man", man Windows neu aktivieren muss, also vermutlich mit einem neuen Key. Nun wäre meine Frage, wie viel man am PC genau ändern kann.

LG, Ryton

...zur Frage

Windows 8.1 / Schwarzer Bildschirm nach Windows Logo, was tun?

Hallo computerfrage Community,

wie im Titel schon beschrieben geht es um ein Windows Problem. Ich hatte heute morgen meinen PC im Betreib, ich hatte ein Spiel gespielt. Mitten im Spiel wurde das Bild einfach Schwarz. Der Monitor hatte noch ein Signal, das schwarze Bild war hinterleuchtet. Jedoch mehr als dieses schwarze Bild war nicht zu sehen. Zunächst dachte ich, dass es ein Error war und habe den PC neu gestartet. Jedoch nach dem Start des PC´s kam der genannte schwarze Bildschirm nach dem Windows Logo (nach der fertigen Kreis-Lade-Animation) erneut. Ich habe gewartet und gewartet, jedoch passierte nichts. Das Mainboard etc arbeitete meines Erachtens. Lediglich das Bild war schwarz.

Darauf hin habe ich mich erstmal durch Foren gekämpft und einige Problemlösungen versucht:

PC im abgesicherten Modus starten. Hab ich gemacht und hat auch geklappt. Die Grafikkarte wurde im Geräte-Manager erkannt. Jedoch ohne Treiber. Die Auflösung betrug maximal 1024x768.

Im oben genannten Modus Trojaner löschen. Ich habe alle .exe Dateien gelöscht, welche im November im Explorer gelistet waren. Daran lag es also auch nicht. Kaspersky und Windows Defender habe ich ebenfalls drüber laufen lassen, ohne Fund.

Treiber aktualisieren. Ich habe alle Treiber vom Mainboard und der Grafikkarte aktualisiert. Das Problem bleibt immer noch bestehen

Treiber löschen. Ich habe die Treiber von der Grafikkarte gelöscht und habe die Grafikkarte erneut eingesetzt, gesäubert etc. Die Grafikkarte wird erkannt im Geräte-Manager. Jedoch ohne funktionieren Treiber. Auflösung 1024x768.

Grafikkarte ausbauen und starten. Mit dieser Methode konnte ich den PC einiger Maßen zum laufen bringen. Ohne abgesicherten Modus etc. Grafikkarte direkt vom Mainboard. Jedoch war der PC langsamer als zuvor. Das tritt bei allen obengenannten Problemlösungen auf. Der PC startet, das Windows Logo erscheint, der Kreis läuft ab. Dann der schwarze Bildschirm. Ca. 15 Sekunden danach kommt dann der Anmeldebildschirm von Windows.

PC reparieren mittels Windows Recovery. Der PC bot mir keine Möglichkeit zur Reparatur. Es kam eine Fehlermeldung.

Windows neu aufsetzen. Das macht in meinen Fall keinen Sinn. Ich habe 2 Festplatten, die eine etwas älter und die andere neu. Beide laufen mit Windows 8. Ich schließe stets nur eine Festplatte an. Das Problem tritt auf beiden Platten auf.

Treiber deinstallieren und neue Treiber installieren/Grafikkarte. Habe ich gemacht. Das System neu gestartet ohne Grafiktreiber. Während der Grafiktreiberinstallation ist dann das Bild schwarz geworden, und blieb auch so.

Leider befürchte ich, dass es an der Grafikkarte liegt. Was ich jedoch seltsam finde, da das System mir keine Fehlermeldung bezüglich der Grafikkarte gegeben hat. Sie roch auch nicht verbrannt und weist auch keine Mengel auf.. Sie wurde nicht übertaktet oder ähnliches.

Grafikkarte: Sapphire HD 6850 Mainboard: GA-H77M-D3H

Ich bin gespannt auf eure Antworten. Gruß

...zur Frage

Bit.ly links deaktivieren?

Hi! Kann man Bitlinks deaktivieren, sodass man, wenn man auf den link klickt nicht mehr zu der url, die für diesen link angegeben ist, weitergeleitet wird.

Grund:

Ich erstelle einen Bitlink.
Nach einem Jahr möchte ich aber nicht mehr, dass jemand darauf klickt, weil sich der Inhalt dieser Website geändert hat.

...zur Frage

Was möchtest Du wissen?