So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

So stellen Sie Python-Crawler-Skripte unter Linux bereit und richten geplante Aufgaben ein

Letztes Jahr habe ich aufgrund von Projektanforderungen einen Crawler in Python geschrieben. Die gecrawlten Daten müssen in der PG-Datenbank der Produktionsumgebung gespeichert werden. Daher müssen Sie das Skript auf dem CentOS-Server bereitstellen und eine geplante Aufgabe einrichten, um das Skript automatisch zu starten.

Die Implementierungsschritte sind wie folgt:

1. Installieren Sie pip (das Betriebssystem wird mit Python 2.6 geliefert, das direkt verwendet werden kann, aber es gibt kein pip).

# Laden Sie das Pip-Installationspaket herunter wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate
# Entpacken Sie das Installationspaket und installieren Sie tar -xzvf pip-1.5.4.tar.gz
cd pip-1.5.4
python setup.py installieren

2. Installieren Sie Bibliotheken von Drittanbietern mit pip

pip install PyGreSQL==5.0.3
pip-Installationsanforderungen == 2.18.3

3. Geplante Aufgaben einrichten

# Starten Sie den geplanten Task-Dienst service crond start
# Zeigen Sie den Dienststatus der geplanten Aufgabe an. Dienst-Crond-Status
# Öffnen Sie das Bearbeitungsfenster für geplante Aufgaben crontab -e 
# Fügen Sie zwei geplante Aufgaben hinzu, die jeden Tag einmal um 0:00 und 12:20 ausgeführt und in das Protokoll geschrieben werden 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 &

Die Syntax für geplante Aufgaben lautet wie folgt:
# Weitere Einzelheiten finden Sie unter man 4 crontabs

# Beispiel einer Jobdefinition:
# .---------------- Minute (0 - 59)
# | .------------- Stunde (0 - 23)
# | | .---------- Tag des Monats (1 - 31)
# | | | .------- Monat (1 – 12) ODER Jan., Feb., März, Apr. …
# | | | | .---- Wochentag (0 - 6) (Sonntag=0 oder 7) ODER So, Mo, Di, Mi, Do, Fr, Sa
# | | | | |
# * * * * * Benutzername-Befehl, der ausgeführt werden soll

Die oben beschriebene Methode zum Bereitstellen von Python-Crawler-Skripten unter Linux und zum Festlegen geplanter Aufgaben ist der gesamte Inhalt, den der Editor mit Ihnen teilt. Ich hoffe, dass er Ihnen als Referenz dienen kann. Ich hoffe auch, dass Sie 123WORDPRESS.COM unterstützen.

Das könnte Sie auch interessieren:
  • Jenkins-Konfigurations-Python-Skript-Timing-Task-Prozessdiagramm
  • Python BlockingScheduler-Timing-Aufgaben und andere Implementierungen
  • So verwenden Sie APScheduler, ein Python-Tool für zeitgesteuerte Aufgaben
  • Python geplante Aufgabe APScheduler Beispiel Beispiel detaillierte Erklärung
  • Mehrere gängige Methoden für geplante Python-Crawler-Aufgaben (empfohlen)

<<:  Detaillierte Erläuterung der Gründe für die Trennung von JS WebSocket und des Heartbeat-Mechanismus

>>:  Detaillierte Erläuterung der Methoden zur Überprüfung und Verwaltung von MySQL-Benutzerrechten

Artikel empfehlen

Wird die Tabelle durch ein Update in einer MySQL-Transaktion gesperrt?

Zwei Fälle: 1. Mit Index 2. Ohne Index Voraussetz...

Ein Artikel, der Ihnen zeigt, wie Sie Vue-Komponenten erstellen und verwenden

Inhaltsverzeichnis 1. Was ist eine Komponente? 2....

So überprüfen Sie die Version des Kali Linux-Systems

1. Überprüfen Sie die Kali-Linux-Systemversion Be...

Detailliertes Beispiel für die Blockierung von Flash durch HTML-Elemente

Code kopieren Der Code lautet wie folgt: wmode-Pa...

Ubuntu 18.04 erhält Root-Berechtigungen und meldet sich als Root-Benutzer an

Vorab geschrieben: In den folgenden Schritten müs...

IIS7 IIS8 http springt automatisch zu HTTPS (Port 80 springt zu Port 443)

IIS7 muss bestätigen, ob das pseudostatische Modu...

So machen Sie React-Komponenten im Vollbildmodus

einführen Dieser Artikel basiert auf React + antd...

Implementierung eines Karussells mit nativem JavaScript

In diesem Artikel finden Sie den spezifischen Cod...

So konfigurieren Sie die PDFLatex-Umgebung in Docker

Technischer Hintergrund Latex ist ein unverzichtb...

Verstehen von MySQL-Deadlock-Routinen durch eindeutige Index-S-Sperre und X-Sperre

In „MySQL-Deadlock-Probleme anhand des Quellcodes...

Detaillierte Erklärung zur Verwendung von Bussen in Vue

Vue-Busmechanismus (Bus) Zusätzlich zur Verwendun...

Detaillierte Analyse des langsamen Abfrageproblems beim Senden von MySQL-Daten

Anhand eines Beispiels habe ich Ihnen die Lösung ...