So verhindern Sie, dass Website-Inhalte in Suchmaschinen aufgenommen werden
|
Normalerweise besteht das Ziel beim Erstellen einer Website darin, sie von Suchmaschinen indizieren zu lassen und ihre Werbung zu erweitern. Aber was sollten Sie tun, wenn es auf Ihrer Website um persönliche Privatsphäre oder vertrauliche, nicht öffentliche Webseiten geht und Sie Suchmaschinen daran hindern müssen, sie zu indizieren und zu crawlen? Taobao ist beispielsweise ein Beispiel für eine Website, die von Suchmaschinen nicht indexiert werden darf. In diesem Artikel erfahren Sie, wie Sie Suchmaschinen daran hindern oder ihnen verbieten können, Website-Inhalte zu indexieren und zu crawlen. Suchmaschinen-Spider durchsuchen ständig das Internet. Wenn unsere Website keine Maßnahmen ergreift, um die Indizierung durch Suchmaschinen zu verhindern, wird sie problemlos von Suchmaschinen indiziert. So verhindern Sie, dass Suchmaschinen Website-Inhalte indizieren.
Erstens die robots.txt-Methode Suchmaschinen befolgen standardmäßig das robots.txt-Protokoll (einige betrügerische Suchmaschinen nicht ausgenommen). Erstellen Sie eine robots.txt-Textdatei und legen Sie sie im Stammverzeichnis der Website ab. Bearbeiten Sie den Code wie folgt:
Mit dem obigen Code können Sie Suchmaschinen anweisen, diese Website nicht zu crawlen und zu indexieren. Seien Sie bei der Verwendung des obigen Codes vorsichtig: Dadurch wird allen Suchmaschinen der Zugriff auf Teile der Website verweigert. Wenn Sie der Suchmaschine Baidu nur das Indizieren und Crawlen von Webseiten verbieten 1. Bearbeiten Sie die Datei robots.txt und gestalten Sie das Markup wie folgt:
Die obige Robots-Datei verhindert jegliches Crawling von Baidu. Lassen Sie uns hier über den User-Agent von Baidu sprechen. Was ist der User-Agent von Baiduspider? Baidu verwendet für verschiedene Produkte unterschiedliche Benutzeragenten:
Sie können unterschiedliche Crawling-Regeln basierend auf den unterschiedlichen User-Agents der einzelnen Produkte festlegen. Die folgende Robots-Implementierung untersagt das gesamte Crawling von Baidu, erlaubt aber der Bildersuche das Crawlen des Verzeichnisses /image/:
Bitte beachten Sie: Die von Baiduspider-cpro und Baiduspider-ads gecrawlten Webseiten werden nicht indexiert. Sie führen lediglich die mit dem Kunden vereinbarten Vorgänge aus und entsprechen daher nicht dem Robots-Protokoll. Dieses Problem kann nur durch Kontaktaufnahme mit Baidu gelöst werden. Wie kann man der Google-Suchmaschine lediglich das Indizieren und Crawlen von Webseiten verbieten? Die Methode ist wie folgt: Bearbeiten Sie die Datei robots.txt und markieren Sie sie als:
Zweitens die Methode des Webseitencodes Fügen Sie den Code <meta name="robots" content="noarchive"> zwischen <head> und </head> des Homepage-Codes der Website ein. Dieses Tag verhindert, dass Suchmaschinen die Website crawlen und Webseiten-Schnappschüsse anzeigen.
Fügen Sie zwischen den Codes <head> und </head> auf der Homepage der Website <meta name="Baiduspider" content="noarchive"> hinzu, um zu verhindern, dass die Suchmaschine Baidu die Website crawlen und Schnappschüsse der Webseite anzeigen kann. Fügen Sie zwischen den Codes <head> und </head> auf der Homepage der Website <meta name="googlebot" content="noarchive"> hinzu, um zu verhindern, dass die Google-Suchmaschine die Website crawlt und Schnappschüsse der Webseite anzeigt.
Darüber hinaus, wenn unsere Bedürfnisse sehr ungewöhnlich sind, wie in den folgenden Situationen: 1. Die Website hat robots.txt hinzugefügt. Kann sie weiterhin in der Baidu-Suche gefunden werden? Weil das Aktualisieren der Indexdatenbank der Suchmaschine Zeit in Anspruch nimmt. Obwohl Baiduspider den Zugriff auf die Webseiten Ihrer Website beendet hat, kann es mehrere Monate dauern, bis die in der Datenbank der Baidu-Suchmaschine festgelegten Webseiten-Indexinformationen gelöscht werden. Bitte überprüfen Sie auch, ob die Konfiguration Ihres Roboters korrekt ist. Wenn Ihr Ablehnungsgrund sehr dringend ist, können Sie Ihren Antrag auch über die Beschwerdeplattform einreichen. 2. Ich möchte, dass die Inhalte meiner Website von Baidu indiziert, aber nicht als Snapshots gespeichert werden. Was soll ich tun? Baiduspider entspricht dem Internet-Meta-Robots-Protokoll. Sie können die Metaeinstellungen einer Webseite verwenden, damit Baidu nur diese Seite indiziert, aber keinen Snapshot dieser Seite in den Suchergebnissen anzeigt. Genau wie das Aktualisieren von Robotern dauert es einige Zeit, die Indexdatenbank der Suchmaschine zu aktualisieren. Selbst wenn Sie Baidu also durch Metadaten auf der Webseite untersagt haben, Schnappschüsse der Seite in Suchergebnissen anzuzeigen, kann es zwei bis vier Wochen dauern, bis das Update online wirksam wird, wenn die Indexinformationen der Webseite bereits in der Datenbank der Suchmaschine Baidu festgelegt wurden. 3. Wenn Sie von Baidu indiziert werden möchten, aber keine Website-Snapshots speichern möchten, kann der folgende Code das Problem lösen: 4. Wenn Sie allen Suchmaschinen verbieten möchten, Schnappschüsse Ihrer Webseiten zu speichern, lautet der Code wie folgt: Hier sind einige häufig verwendete Codekombinationen:
Zusammenfassen Das Obige ist der vollständige Inhalt dieses Artikels. Ich hoffe, dass der Inhalt dieses Artikels einen gewissen Lernwert für Ihr Studium oder Ihre Arbeit hat. Vielen Dank für Ihre Unterstützung von 123WORDPRESS.COM. Wenn Sie mehr darüber erfahren möchten, schauen Sie sich bitte die folgenden Links an Das könnte Sie auch interessieren:
|
<<: So verwenden Sie die Baidu Map API im Vue-Projekt
>>: So fügen Sie Batchdaten unter Node.js in eine MySQL-Datenbank ein
Artikel empfehlen
Einige Hinweise zum Ändern des innodb_data_file_path-Parameters von MySQL
Vorwort innodb_data_file_path wird verwendet, um ...
SQL-Fuzzy-Abfragebericht: ORA-00909: Lösung: Ungültige Anzahl von Parametern
Bei Verwendung einer Oracle-Datenbank für Fuzzy-A...
Grafisches Tutorial zur Installation und Konfiguration von MySQL 8.0.20 winx64
In diesem Artikel erfahren Sie mehr über die Inst...
So importieren und exportieren Sie Docker-Images
Dieser Artikel stellt den Import und Export von D...
Website User Experience Design (UE)
Ich habe gerade einen von JunChen verfassten Beitr...
Implementierung der Remote-Linux-Entwicklung mit vscode
Verabschieden Sie sich von der Vergangenheit Bevo...
So stellen Sie eine Datenbank und eine Tabelle aus einer vollständigen MySQL-Datenbanksicherung wieder her
Wie kann ich im offiziellen MySQL-Dump-Tool nur e...
Verwenden Sie Smart CSS, um Stile basierend auf der Scrollposition des Benutzers anzuwenden
Indem wir den aktuellen Bildlaufversatz zu den At...
Beispielcode zur Verwendung der Elementkalenderkomponente in Vue
Schauen Sie sich zunächst das Wirkungsdiagramm an...
Verwenden Sie Schaltflächenauslöserereignisse, um einen blinkenden Hintergrundfarbeffekt zu erzielen
Um den blinkenden Hintergrundfarbeffekt zu erziele...
Vue Grundlagen Listener Detaillierte Erklärung
Inhaltsverzeichnis Was ist ein Listener in Vue? V...
3 Codes zur automatischen Aktualisierung von Webseiten
Tatsächlich ist es sehr einfach, diesen Effekt zu ...
Verwenden Sie CSS3-Hintergrundsteuerungseigenschaften + Farbübergang, um einen Farbverlaufseffekt zu erzielen
CSS3-Hintergrundbild bezogen Kompatibilität: IE9+...
Detaillierte Erklärung zum effizienten MySQL-Paging
Vorwort Normalerweise wird für MySQL-Abfragen mit...
Verwendung und Analyse des Mysql Explain-Befehls
Mit dem Befehl „mysql explain“ wird gezeigt, wie ...