wget lädt die gesamte Website (das gesamte Unterverzeichnis) oder ein bestimmtes Verzeichnis herunter

Verwenden Sie den Befehl wget, um das gesamte Unterverzeichnis unter dem übergeordneten Verzeichnis herunterzuladen

Verwenden Sie den Befehl wget, um das gesamte Unterverzeichnis des übergeordneten Verzeichnisses herunterzuladen. Der Befehl lautet wie folgt:

wget -r --level=0 -E --ignore-length -x -k -p -erobots=off -np -N http://www.remote.com/remote/presentation/dir

Der gesamte Ordner des Remote-Servers wird in das aktuelle Dateiverzeichnis Ihres Computers heruntergeladen.

So verwenden Sie wget zum Herunterladen aller Dateien in einem Verzeichnis

wget -r -np -nH -R index.html http://url/einschließlich/der/Dateien/die/Sie/herunterladen/möchten/

Die Bedeutung der einzelnen Parameter:

-r: alle Unterverzeichnisse durchlaufen
-np: Gehe nicht in das übergeordnete Unterverzeichnis
-nH: Keine Dateien im Hostnamen-Ordner speichern
-R index.html: Die Datei index.html nicht herunterladen

wget lädt die gesamte Website oder ein bestimmtes Verzeichnis herunter

Sie müssen alle Dateien in ein bestimmtes Verzeichnis herunterladen. Der Befehl lautet wie folgt

wget -c -r -np -k -L -p www.xxx.org/pub/Pfad/

Während des Downloads. Es sind Bilder oder Links zu externen Domains vorhanden. Wenn Sie gleichzeitig herunterladen müssen, müssen Sie den Parameter -H verwenden.

wget -np -nH -r --span-hosts www.xxx.org/pub/Pfad/

-c Download fortsetzen
-r rekursiver Download, lädt alle Dateien in einem Verzeichnis (einschließlich Unterverzeichnisse) der angegebenen Webseite herunter
-nd erstellt beim rekursiven Herunterladen keine Verzeichnisse Schicht für Schicht und lädt alle Dateien in das aktuelle Verzeichnis herunter
-np durchsucht beim rekursiven Herunterladen nicht das übergeordnete Verzeichnis, z. B. wget -c -r www.xxx.org/pub/path/
Ohne den Parameter -np werden andere Dateien im Pub-Verzeichnis über dem Pfad gleichzeitig heruntergeladen.
-k wandelt absolute Links in relative Links um. Am besten fügen Sie diesen Parameter hinzu, um die gesamte Site herunterzuladen und die Webseite offline zu durchsuchen.
-L gibt beim Rekursivieren keine anderen Hosts ein, z. B. wget -c -r www.xxx.org/
Wenn auf der Website ein Link wie dieser vorhanden ist:
www.yyy.org, ohne den Parameter -L wird die Website www.yyy.org rekursiv heruntergeladen wie ein Feuer, das den Berg verbrennt
-p Lädt alle von der Webseite benötigten Dateien herunter, wie etwa Bilder usw.
-A gibt die herunterzuladende Dateimusterliste an, mehrere Muster werden durch Kommas getrennt
Auf -i folgt eine Datei, die die herunterzuladende URL angibt.

Es gibt noch weitere Verwendungsmöglichkeiten, nach denen ich im Internet gesucht habe. Daher werde ich sie hier für die zukünftige Verwendung aufschreiben.

Häufige Verwendungszwecke von wget

wget-Nutzungsformat

Verwendung: wget [OPTION]… [URL]…

* Verwenden Sie wget, um die Site zu spiegeln:
wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/
# oder
wget -m http://www.tldp.org/LDP/abs/html/

* Laden Sie eine teilweise heruntergeladene Datei in einem instabilen Netzwerk herunter und laden Sie sie während der Leerlaufzeit herunter

wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &

# Oder lesen Sie die Liste der herunterzuladenden Dateien aus der Dateiliste

wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i dateiliste.txt -o
down.log &

Der obige Code kann auch zum Herunterladen während Zeiten relativ geringer Netzwerkaktivität verwendet werden. Meine Verwendung ist: Kopieren Sie in Mozilla den URL-Link, der zum Zeitpunkt des Herunterladens unpraktisch ist, in den Speicher, fügen Sie ihn in die Datei filelist.txt ein und führen Sie die zweite Zeile des obigen Codes aus, bevor Sie das System nachts verlassen.

* Download über einen Proxy
wget -Y auf -p -k https://sourceforge.net/projects/wvware/

Der Proxy kann in der Umgebungsvariable oder in der wgetrc-Datei festgelegt werden

# Legen Sie den Proxy in der Umgebungsvariable fest
export PROXY=http://211.90.168.94:8080/
# Proxy in ~/.wgetrc festlegen
http_proxy = http://proxy.yoyodyne.com:18023/
ftp_proxy = http://proxy.yoyodyne.com:18023/

Liste verschiedener Wget-Optionen

* Start-up

-V, --version Zeigt die Version von wget an und beendet das Programm.
-h, --help Syntaxhilfe drucken
-b, --background Nach dem Start im Hintergrund ausführen
-e, --execute=BEFEHL
Führen Sie den Befehl im Format `.wgetrc' aus. Informationen zum wgetrc-Format finden Sie unter /etc/wgetrc oder ~/.wgetrc

* Aufzeichnen und Eingeben von Dateien

-o, --output-file=DATEI Datensätze in DATEI schreiben
-a, --append-output=DATEI Datensätze an DATEI anhängen
-d, --debug Debug-Ausgabe drucken
-q, --quiet Ruhemodus (keine Ausgabe)
-v, --verbose Ausführlicher Modus (das ist die Standardeinstellung)
-nv, --nonverbose deaktiviert den ausführlichen Modus, jedoch nicht den stillen Modus.
-i, --input-file=DATEI Download-URLs, die in DATEI erscheinen
-F, --force-html Eingabedateien als Dateien im HTML-Format behandeln
-B, --base=URL URL als Präfix für relative Links verwenden, die in der durch den Parameter -F -i angegebenen Datei erscheinen. --sslcertfile=DATEI Optionales Client-Zertifikat --sslcertkey=SCHLÜSSELDATEI Optionales Client-Zertifikat SCHLÜSSELDATEI
–egd-file=FILE gibt den Dateinamen des EGD-Sockets an

* herunterladen

--bind-address=ADRESSE
Geben Sie die lokale Adresse an (Hostname oder IP, wird verwendet, wenn lokal mehrere IPs oder Namen vorhanden sind).
-t, --tries=ANZAHL Legt die maximale Anzahl der Verbindungsversuche fest (0 bedeutet unbegrenzt).
-O --output-document=DATEI Schreibt das Dokument in die Datei DATEI
-nc, --no-clobber: Vorhandene Dateien nicht überschreiben oder das Präfix .# verwenden.
-c, --continu Mit dem Herunterladen nicht abgeschlossener Dateien fortfahren --progress=TYPE Markierung für den Fortschrittsbalken setzen
-N, --timestamping Dateien nicht erneut herunterladen, es sei denn, sie sind neuer als die lokale Datei
-S, --server-response Serverantwort drucken --spider nichts herunterladen
-T, --timeout=SEKUNDEN Setzt das Antwort-Timeout in Sekunden
-w, --wait=SEKUNDEN, SEKUNDEN warten, Sekunden zwischen den Versuchen --waitretry=SEKUNDEN, 1...SEKUNDEN warten, Sekunden zwischen den Wiederverbindungen --random-wait, 0...2*WAIT warten, Sekunden zwischen den Downloads
-Y, --proxy=on/off Proxy ein- oder ausschalten
-Q, --quota=NUMMER Download-Kapazitätslimit festlegen --limit-rate=RATE Download-Rate begrenzen

* Inhaltsverzeichnis

-nd –no-directories Keine Verzeichnisse erstellen
-x, --force-directories Erzwingt die Erstellung von Verzeichnissen
-nH, --no-host-directories Keine Host-Verzeichnisse erstellen
-P, --directory-prefix=PREFIX speichert Dateien im Verzeichnis PREFIX/…
--cut-dirs=NUMBER Ignoriert NUMBER Ebenen von Remote-Verzeichnissen

* HTTP-Optionen

–http-user=USER Legen Sie den HTTP-Benutzernamen auf USER fest.
–http-passwd=PASS Setzen Sie das HTTP-Passwort auf PASS.
-C, --cache=on/off Serverseitiges Daten-Caching aktivieren/deaktivieren (normalerweise aktiviert).
-E, --html-extension speichert alle Text-/HTML-Dokumente mit der Erweiterung .html --ignore-length ignoriert das Header-Feld „Content-Length“ --header=STRING fügt den String STRING in die Header ein
–proxy-user=USER Legt den Proxy-Benutzernamen auf USER fest.
–proxy-passwd=PASS Setzt das Proxy-Passwort auf PASS
--referer=URL Den Header „Referer: URL“ in HTTP-Anfragen einschließen
-s, --save-headers HTTP-Header in Datei speichern
-U, --user-agent=AGENT setzt den Agentennamen auf AGENT statt auf Wget/VERSION.
--no-http-keep-alive HTTP-Keep-alive-Verbindung deaktivieren (dauerhafte Verbindung).
--cookies=off Keine Cookies verwenden.
--load-cookies=FILE Lädt Cookies aus der Datei DATEI, bevor die Sitzung gestartet wird
--save-cookies=DATEI Cookies nach Beendigung der Sitzung in DATEI speichern

* FTP-Optionen

-nr, --dont-remove-listing Entfernt keine `.listing'-Dateien
-g, --glob=on/off Globbing-Mechanismus für Dateinamen ein- oder ausschalten. --passive-ftp Passiven Übertragungsmodus verwenden (Standard).
--active-ftp Aktiven Übertragungsmodus verwenden --retr-symlinks Bei rekursiver Verwendung Links auf Dateien (nicht Verzeichnisse) verweisen lassen

* Rekursiver Download

-r, –recursive Rekursiver Download – mit Vorsicht verwenden!
-l, --level=NUMBER Maximale Rekursionstiefe (inf oder 0 für unendlich).
--delete-after löscht Dateien teilweise, nachdem now abgeschlossen ist
-k, --convert-links Konvertiert nicht relative Links in relative Links
-K, --backup-converted Vor der Konvertierung der Datei X diese als X.orig sichern
-m, --mirror ist gleichbedeutend mit -r -N -l inf -nr.
-p, --page-requisites Lädt alle in der HTML-Datei angezeigten Bilder herunter

* Einschluss und Ausschluss bei rekursiven Downloads (Akzeptieren/Ablehnen)

-A, --accept=LIST Durch Semikolon getrennte Liste akzeptierter Erweiterungen
-R, --reject=LIST Durch Semikolon getrennte Liste nicht akzeptierter Erweiterungen
-D, --domains=LIST Durch Semikolon getrennte Liste akzeptierter Domänen --exclude-domains=LIST Durch Semikolon getrennte Liste ausgeschlossener Domänen --follow-ftp FTP-Links in HTML-Dokumenten folgen --follow-tags=LIST Durch Semikolon getrennte Liste der zu befolgenden HTML-Tags
-G, --ignore-tags=LIST Durch Semikolon getrennte Liste ignorierter HTML-Tags
-H, --span-hosts gehen Sie bei der Rekursion zu externen Hosts
-L, --relative Nur relativen Links folgen
-I, --include-directories=LIST Liste der erlaubten Verzeichnisse
-X, --exclude-directories=LIST Liste der Verzeichnisse, die nicht eingeschlossen werden sollen
-np, --no-parent Keine Rückverfolgung zum übergeordneten Verzeichnis durchführen

Dies ist das Ende dieses Artikels über das Herunterladen einer gesamten Website (eines gesamten Unterverzeichnisses) oder eines bestimmten Verzeichnisses durch wget. Weitere Informationen zum Herunterladen aller Dateiinhalte in einem Verzeichnis durch wget finden Sie in früheren Artikeln auf 123WORDPRESS.COM oder durchsuchen Sie die verwandten Artikel weiter unten. Ich hoffe, dass jeder 123WORDPRESS.COM in Zukunft unterstützen wird!