So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

Letztes Jahr habe ich aufgrund von Projektanforderungen einen Crawler in Python geschrieben. Die gecrawlten Daten müssen in der PG-Datenbank der Produktionsumgebung gespeichert werden. Daher müssen Sie das Skript auf dem CentOS-Server bereitstellen und eine geplante Aufgabe einrichten, um das Skript automatisch zu starten.

Die Implementierungsschritte sind wie folgt:

1. Installieren Sie pip (das Betriebssystem wird mit Python 2.6 geliefert, das direkt verwendet werden kann, aber es gibt kein pip).

# Laden Sie das Pip-Installationspaket herunter wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
# Entpacken Sie das Installationspaket und installieren Sie tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py installieren

2. Installieren Sie Bibliotheken von Drittanbietern mit pip

pip install PyGreSQL==5.0.3
pip-Installationsanforderungen == 2.18.3

3. Geplante Aufgaben einrichten

# Starten Sie den geplanten Task-Dienst service crond start
# Zeigen Sie den Dienststatus der geplanten Aufgabe an. Dienst-Crond-Status
# Öffnen Sie das Bearbeitungsfenster für geplante Aufgaben crontab -e 
# Fügen Sie zwei geplante Aufgaben hinzu, die jeden Tag einmal um 0:00 und 12:20 ausgeführt und in das Protokoll geschrieben werden 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

Die Syntax für geplante Aufgaben lautet wie folgt:
# Weitere Einzelheiten finden Sie unter man 4 crontabs

# Beispiel einer Jobdefinition:
# .---------------- Minute (0 - 59)
# | .------------- Stunde (0 - 23)
# | | .---------- Tag des Monats (1 - 31)
# | | | .------- Monat (1 – 12) ODER Jan., Feb., März, Apr. …
# | | | | .---- Wochentag (0 - 6) (Sonntag=0 oder 7) ODER So, Mo, Di, Mi, Do, Fr, Sa
# | | | | |
# * * * * * Benutzername-Befehl, der ausgeführt werden soll

Die oben beschriebene Methode zum Bereitstellen von Python-Crawler-Skripten unter Linux und zum Festlegen geplanter Aufgaben ist der gesamte Inhalt, den der Editor mit Ihnen teilt. Ich hoffe, dass er Ihnen als Referenz dienen kann. Ich hoffe auch, dass Sie 123WORDPRESS.COM unterstützen.

Das könnte Sie auch interessieren:
  • Jenkins-Konfigurations-Python-Skript-Timing-Task-Prozessdiagramm
  • Python BlockingScheduler-Timing-Aufgaben und andere Implementierungen
  • So verwenden Sie APScheduler, ein Python-Tool für zeitgesteuerte Aufgaben
  • Python geplante Aufgabe APScheduler Beispiel Beispiel detaillierte Erklärung
  • Mehrere gängige Methoden für geplante Python-Crawler-Aufgaben (empfohlen)

<<:  Detaillierte Erläuterung der Gründe für die Trennung von JS WebSocket und des Heartbeat-Mechanismus

>>:  Detaillierte Erläuterung der Methoden zur Überprüfung und Verwaltung von MySQL-Benutzerrechten

Artikel empfehlen

So installieren Sie nginx unter Linux

Nginx wurde in der Programmiersprache C entwickel...

Tutorial zur Installation von MySQL auf Alibaba Cloud Centos 7.5

Es scheint, dass die MySQL-Server-Datei zur norma...

Implementierung der Kommunikation zwischen Vue und Flask

axios installieren und Kommunikation implementier...

Detaillierte Erklärung der Linux-Systemverzeichnisse sys, tmp, usr, var!

Der Wachstumspfad vom Linux-Neuling zum Linux-Mei...

Webdesign-Tipps für Formular-Eingabefelder

Dieser Artikel listet einige Tipps und Codes zu F...

Einen Web-Rechner mit Javascript schreiben

Dieser Artikel beschreibt hauptsächlich die Auswi...

Eine kurze Diskussion über die MySQL-Zeilenanzahl

Wir alle kennen die MySQL-Funktion count(), mit d...

Detailliertes Tutorial zur Installation des Tomcat9-Windows-Dienstes

1. Vorbereitung 1.1 Laden Sie das komprimierte To...

So installieren Sie Docker auf Raspberry Pi

Da Raspberry Pi auf der ARM-Architektur basiert, ...

Auszeichnungssprache – CSS-Stil für Webanwendungen

Klicken Sie hier, um zum Abschnitt „HTML-Tutorial“...