So blockieren und verbieten Sie Webcrawler im Nginx-Server

Standort / {
  wenn ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {
    Rückgabe 503;
  }
  # Andere normale Konfiguration ...
}

Server { 
    hören Sie 80; 
    Servername www.xxx.com; 
    #Zeichensatz koi8-r; 
    #access_log Protokolle/Host.access.log Haupt; 
    #Standort / { 
    #Wurzel-HTML; 
    # index.html index.htm; 
    #} 
  if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou-Spider|Sogou-Web-Spider|MSNBot|ia_archiver|Tomato Bot") { 
        Rückgabe 403; 
    } 
  Standort ~ ^/(.*)$ { 
        Proxy-Passwort http://localhost:8080; 
    Proxy_Redirect aus; 
    Proxy_Set_Header Host $host; 
    Proxy_Set_Header X-Real-IP $Remote_Addr; 
    proxy_set_header X-Weitergeleitet-Für $proxy_add_x_forwarded_for; 
    maximale Körpergröße des Kunden: 10 m; 
    Client-Body-Puffergröße 128k; 
    Proxy_Verbindungstimeout 90; 
    Proxy_Sendezeitüberschreitung 90; 
    Proxy_Lese_Timeout 90; 
    Proxy-Puffergröße 4k; 
    Proxy-Puffer 4 32k; 
    Proxy_Busy_Buffer_Größe 64k; 
    Proxy_Temp_File_Schreibgröße 64k; 
  } 
    #Fehlerseite 404 /404.html; 
    # Server-Fehlerseiten auf die statische Seite /50x.html umleiten 
    # 
    Fehlerseite 500 502 503 504 /50x.html; 
    Standort = /50x.html { 
      Stamm-HTML; 
    } 
    # Proxy für die PHP-Skripte an Apache, das auf 127.0.0.1:80 lauscht 
    # 
    #Standort ~ \.php$ { 
    # Proxy-Passwort http://127.0.0.1; 
    #} 
    # Übergeben Sie die PHP-Skripte an den FastCGI-Server, der auf 127.0.0.1:9000 lauscht. 
    # 
    #Standort ~ \.php$ { 
    #Wurzel-HTML; 
    # fastcgi_pass 127.0.0.1:9000; 
    # fastcgi_index index.php; 
    # fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name; 
    #fastcgi_params einschließen; 
    #} 
    # Zugriff auf .htaccess-Dateien verweigern, wenn das Apache-Dokumentenstammverzeichnis 
    # stimmt mit nginx überein 
    # 
    #Standort ~ /\.ht { 
    # alles ablehnen; 
    #} 
  }

curl -I -A "qihoobot" www.xxx.com