VirtualBox CentOS7.7.1908 Python3.8 Build Scrapy-Entwicklungsumgebung [grafisches Tutorial]

Umfeld

VirtualBox_v6.0.14 CentOS_v7.1908 Python_v3.8.0 MongoDB_v3.2.22 pip_v19.3.1 Windows Pycharm-2019.2.3 Enterprise Edition (Community Edition unterstützt keine Remoteverbindung zur Linux-Entwicklung), muss das im System integrierte Python2.7.5 ohne Verarbeitung aktivieren, habe versucht, 3.8 mit pyenv zu installieren, aber bei der Installation von Scrapy traten immer wieder Fehler auf, habe schließlich pyenv deinstalliert und neu kompiliert und manuell installiert.

Installieren Sie CentOS

Um sicherzustellen, dass die virtuelle Maschine und der Hostcomputer normal aufeinander zugreifen und kommunizieren können, wird eine Konfiguration mit zwei virtuellen Netzwerkkarten übernommen.

Gehen Sie im VirtualBox-Menü zu Einstellungen->Netzwerk, aktivieren Sie zwei virtuelle Netzwerkkarten ( virtuelle Maschinen sind aktiviert, wie in den folgenden 2 Bildern gezeigt ), stellen Sie den Verbindungsmodus der Netzwerkkarte 1 auf „Network Address Translation NAT“, um sicherzustellen, dass die virtuelle Maschine auf das externe Netzwerk und die Host-Maschine zugreifen kann, und stellen Sie den Verbindungsmodus der Netzwerkkarte 2 auf „Bridged Network Card“ ein, um sicherzustellen, dass die Host-Maschine auf die virtuelle Maschine zugreifen kann.

Installieren Sie CentOS7 auf der virtuellen VirtualBox-Maschine. Während des Installationsvorgangs konfigurieren und aktivieren Sie am besten zwei Netzwerkkarten ( CentOS-System aktiviert ).

Der Installationsvorgang entfällt.

Verwenden Sie nach dem Starten der virtuellen Maschine # ip addr , um die Netzwerkkartennutzung und IP-Zuweisung des CentOS-Systems anzuzeigen. enp0s3 sind die Informationen zur NAT-Netzwerkkarte und die Standard-IP ist 10.0.2.15; enp0s8 sind die Informationen zur Netzwerkkarte im Bridge-Modus und die standardmäßig zugewiesene IP befindet sich im selben Netzwerksegment wie der Hostcomputer.

Wenn Sie die IP-Informationen einer bestimmten Netzwerkkarte nicht sehen können, kann es sein, dass die Netzwerkkarte während der Systeminstallation nicht aktiviert wurde. Sie können den ONBOOT-Parameter in /etc/sysconfig/network-scripts/ifcfg-enp0s3 und /etc/sysconfig/network-scripts/ifcfg-enp0s8 auf „yes“ ändern und dann den Netzwerkdienst # systemctl start network.service oder # service network restart .

Nachdem das System mithilfe des DVD-Image installiert wurde, ist der SSH-Dienst standardmäßig verfügbar. Wenn der Hostcomputer SSH zur Verbindung mit der virtuellen Maschine verwendet, müssen Sie die Firewall so einrichten, dass Port 22 geöffnet wird.

# firewall-cmd --zone=public --add-port=22/tcp --permanent # Firewall öffnet Port 22 # firewall-cmd --reload Firewall-Konfiguration # firewall-cmd --zone=public --list-port #Offene Ports anzeigen

An diesem Punkt können Sie das Windows-Clienttool SSH verwenden, um eine Remoteverbindung mit der virtuellen Maschine herzustellen und auf Vorgänge zuzugreifen, hauptsächlich um die gemeinsame Nutzung der Zwischenablage mit dem Hostcomputer zu erleichtern.

Konfigurieren Sie die Yum Domestic Mirror-Quelle

Bitte beachten Sie den folgenden Absatz zur Verwendung der Alibaba Yum-Quelle

Laden Sie das wget-Tool herunter# yum install -y wget
Geben Sie den Ordner ein, in dem sich die Yum-Quellkonfigurationsdatei befindet# cd /etc/yum.repos.d/
Sichern Sie die lokale Yum-Quelle# mv CentOS-Base.repo CentOS-Base.repo_bak
Holen Sie sich die Ali-Yum-Quelle# wget -O CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
Bereinigen Sie den Yum-Cache# yum clean all
Cache neu erstellen # yum makecache 
Linux-System aktualisieren# yum -y update

# netstat -nltp # Prüfen, ob der Port belegt ist # ifconfig # Allgemeine Befehle zum Anzeigen der IP Diese Befehle sind standardmäßig nicht installiert. Sie können die folgende Befehlszeile ausführen, um sie zu installieren # yum install net-tools

Installieren von Abhängigkeiten von Drittanbietern

Hier müssen viele Dinge installiert werden, die aus dem Internet gesammelt und durch meine eigene Praxis hinzugefügt wurden. Wenn Sie sich nicht darum kümmern möchten, folgen Sie ihnen einfach.

# yum -y groupinstall "Entwicklungstools"
# yum -y installiere zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libxml2-devel libxslt-devel libffi-devel

Installieren Sie MongoDB

Fügen Sie die Quelle des inländischen MongoDB-Spiegels hinzu# vim /etc/yum.repos.d/mongodb.repo Fügen Sie den folgenden Inhalt ein

[mongodb-org]
Name=MongoDB-Repository
Basis-URL = https://mirrors.tuna.tsinghua.edu.cn/mongodb/yum/el$releasever/
gpgcheck=0
aktiviert=1

Yum-Cache aktualisieren

# yum makecache

Installieren Sie MongoDB

# yum -y installiere mongodb-org
Ändern Sie den BindIp-Parameter von mongod.conf# vim /etc/mongod.conf

Starten Sie den Mongod-Dienst neu

# /etc/init.d/mongod neu starten oder # systemctl restart mongod.service

Überprüfen Sie die Mongod-Version

# mongod --version

Öffnen Sie Port 27017 in der Firewall.

# Firewall-Befehl --zone=public --add-port=27017/tcp --permanent
# Firewall-cmd --reload
# Firewall-Befehl --zone=public --list-port

Installieren Sie python3.8

Python 3.8-Quellcode herunterladen, kompilieren und installieren

# wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
# tar -zxvf Python-3.8.0.tgz
#cd Python-3.8.0.tgz

Abhängigkeiten prüfen und Makefile generieren.

# ./configure --prefix='/usr/local/python3'

Kompilieren

# make

Installieren

# make install

Softlink erstellen

# ln -s /usr/local/python3/bin/python3 /usr/bin/python3
# ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

Nach Python 3.7 ist --with-ssl nicht mehr verfügbar. Sie können die Installation erfolgreich durchführen, ohne --with-ssl bei der Ausführung von configure hinzuzufügen. Wenn dies fehlschlägt, können Sie die Kommentare der folgenden 3 Zeilen in der Datei Python-3.8.0/Modules/Setup entfernen.

# _ssl _ssl.c \# -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \# -L$(SSL)/lib -lssl -lcrypto

Installieren Sie Scrapy

Sie können zunächst den Pip-Quellpfad ändern, das URL-Attribut unter [source] in der Pipfile-Datei, beispielsweise in: url = "https://pypi.tuna.tsinghua.edu.cn/simple" oder Sie können direkt den folgenden Befehl zur Installation verwenden

# pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple # Geben Sie die Pip-Quelle der Tsinghua-Universität an, um Pip zu aktualisieren
# pip3 install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple # Installieren Sie Scrapy

Als Nächstes werden viele Scrapy-Abhängigkeitspakete installiert. Die Installation von Twisted wird sehr langsam sein, also haben Sie Geduld. Die Installation war erfolgreich, wenn Sie folgendes Bild sehen!

Nach Abschluss der Installation lesen Sie bitte die Konfiguration der Remote-Entwicklungsumgebung

https://www.cnblogs.com/xiao-apple36/p/8587086.html

Ich habe gehört, dass pipenv großartig ist und Scrapy in einem Schritt installieren kann.

Es wird außerdem empfohlen, Anaconda zu verwenden, da dies viele grenzüberschreitende Downloads abhängiger Pakete einsparen, mehrere Python-Versionen verwalten und Scrapy mit einem Klick installieren kann. Insbesondere in Windows-Umgebungen wird es dringend empfohlen. Willkommen zum Austauschen und Ausprobieren

Beigefügt

CentOS7.7.1908 Spiegelpfad der Tsinghua-Universität

https://mirrors.tuna.tsinghua.edu.cn/centos/7.7.1908/isos/x86_64/CentOS-7-x86_64-DVD-1908.iso Oracle VirtualBox

https://download.virtualbox.org/virtualbox/6.0.14/VirtualBox-6.0.14-133895-Win.exe

Windows Enterprise Edition PyCharm-2019.2.3

https://download.jetbrains.com/python/pycharm-professional-2019.2.3.exe?_ga=2.181479010.470914607.1571468237-1358446455.1571468237

Zusammenfassen

Oben ist die Einführung in VirtualBox CentOS7.7.1908 Python3.8 zum Erstellen einer Scrapy-Entwicklungsumgebung [grafisches Tutorial]. Ich hoffe, es wird für alle hilfreich sein. Wenn Sie Fragen haben, hinterlassen Sie mir bitte eine Nachricht und ich werde Ihnen rechtzeitig antworten. Ich möchte auch allen für ihre Unterstützung der Website 123WORDPRESS.COM danken! Wenn Sie diesen Artikel hilfreich finden, können Sie ihn gerne abdrucken und dabei bitte die Quelle angeben. Vielen Dank!