In diesem Tutorial zeigen wir Ihnen, wie Sie es installieren Apache Spark auf Debian 11. Für diejenigen unter Ihnen, die es nicht wussten: Apache Spark ist ein kostenloses Open-Source-Allzweck-Framework für Clustered Computing. Es ist speziell auf Geschwindigkeit ausgelegt und wird beim maschinellen Lernen verwendet, um die Verarbeitung zu komplexen SQL-Abfragen zu streamen. Es unterstützt mehrere APIs für Streaming und Graphverarbeitung, einschließlich Java, Python, Scala und R. Spark wird hauptsächlich in Hadoop-Clustern installiert, aber Sie können Spark auch im Standalone-Modus installieren und konfigurieren.
In diesem Artikel wird davon ausgegangen, dass Sie mindestens über Grundkenntnisse in Linux verfügen, wissen, wie man die Shell verwendet, und vor allem, dass Sie Ihre Site auf Ihrem eigenen VPS hosten. Die Installation ist recht einfach und setzt voraus, dass Sie das Root-Konto verwenden. Wenn nicht, müssen Sie möglicherweise ‘sudo‘ zu den Befehlen, um Root-Rechte zu erhalten. Ich zeige Ihnen Schritt für Schritt die Installation von Apache Spark auf einem Debian 11 (Bullseye).
Installieren Apache Funke auf Debian 11 Bullseye
Schritt 1. Bevor wir Software installieren, ist es wichtig, dass Ihr System auf dem neuesten Stand ist, indem Sie Folgendes ausführen: apt Befehle im Terminal:
sudo apt-Update
sudo apt-Upgrade
Schritt 2. Java installieren.
Führen Sie den folgenden Befehl unten aus, um Java und andere Abhängigkeiten zu installieren:
sudo apt install default-jdk scala git
Überprüfen Sie die Java-Installation mit dem Befehl:
java –version
Schritt 3. Installieren Apache Funke auf Debian 11.
Jetzt laden wir die neueste Version von . herunter Apache Funke von der offiziellen Seite mit wget Befehl:
wget https://dlcdn.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
Als nächstes extrahieren Sie die heruntergeladene Datei:
tar -xvzf spark-3.1.2-bin-hadoop3.2.tgz mv spark-3.1.2-bin-hadoop3.2/ /opt/spark
Bearbeiten Sie danach die ~/.bashrc Datei und fügen Sie die Spark-Pfadvariable hinzu:
nano ~/.bashrc
Fügen Sie die folgende Zeile hinzu:
export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
Save und close die Datei und aktivieren Sie dann die Spark-Umgebungsvariable mit dem folgenden Befehl:
Quelle ~/.bashrc
Schritt 3. Starten Apache Spark-Master-Server.
An diesem Punkt, Apache Funke ist verbaut. Starten wir nun seinen eigenständigen Master-Server, indem wir sein Skript ausführen:
start-master.sh
Standardmäßig, Apache Spark lauscht auf Port 8080. Sie können dies mit dem folgenden Befehl überprüfen:
ss -tunelp | grep 8080
Schritt 4. Zugriff auf die Apache Spark-Webinterface.
Nach erfolgreicher Konfiguration greifen Sie nun auf die Apache Spark-Webinterface mit der URL https://your-server-ip-address:8080. Du solltest das sehen Apache Spark-Master- und -Slave-Dienst auf dem folgenden Bildschirm:
In diesem Einzelserver-Standalone-Setup starten wir einen Slave-Server zusammen mit dem Master-Server. Der start-slave.sh der Befehl wird verwendet, um den Spark-Worker-Prozess zu starten:
start-slave.sh spark://ubuntu1:7077
Nachdem nun ein Worker in Betrieb ist und Sie die Web-Benutzeroberfläche von Spark Master neu laden, sollten Sie ihn in der Liste sehen:
Sobald die Konfiguration abgeschlossen ist, starten Sie den Master- und den Slave-Server, testen Sie, ob die Spark-Shell funktioniert:
Funkenschale
Sie erhalten folgende Schnittstelle:
Spark-Sitzung als “Spark” verfügbar. Willkommen bei ____ __ / __/__ ___ _____/ /__ _ / _ / _ `/ __/ ‘_/ /___/ .__/_,_/_/ /_/_ Version 3.1. 2 /_/ Verwenden von Scala Version 2.12.10 (OpenJDK 64-Bit Server VM, Java 11.0.12) Geben Sie Ausdrücke ein, um sie auszuwerten. Geben Sie :help ein, um weitere Informationen zu erhalten. Skala>
Herzliche Glückwünsche! Sie haben erfolgreich installiert Apache Funke. Vielen Dank, dass Sie dieses Tutorial zum Installieren der neuesten Version von verwendet haben Apache Spark auf Debian 11 Bullseye. Für zusätzliche Hilfe oder nützliche Informationen empfehlen wir Ihnen, zu überprüfen das offizielle Apache Spark-Website.
