Heim Betrieb und Instandhaltung Apache Was ist Apache Spark?

Was ist Apache Spark?

Jun 11, 2019 pm 01:47 PM
apache spark

Was ist Apache Spark?

Apache Spark ist ein Open-Source-Cluster-Computing-Framework, das ursprünglich von AMPLab an der University of California, Berkeley, entwickelt wurde. Im Vergleich zu MapReduce von Hadoop, das nach der Ausführung der Arbeit Zwischendaten auf der Festplatte speichert, verwendet Spark In-Memory-Computing-Technologie, um Vorgänge im Speicher zu analysieren und auszuführen, bevor die Daten auf die Festplatte geschrieben werden.

Spark kann Programme im Speicher 100-mal schneller ausführen als Hadoop MapReduce. Selbst wenn Programme auf der Festplatte ausgeführt werden, kann Spark 10-mal schneller ausgeführt werden. Spark ermöglicht es Benutzern, Daten in den Clusterspeicher zu laden und mehrmals abzufragen, was es ideal für Algorithmen des maschinellen Lernens macht.

Für die Verwendung von Spark sind ein Cluster-Administrator und ein verteiltes Speichersystem erforderlich. Spark unterstützt den Standalone-Modus (lokaler Spark-Cluster), Hadoop YARN oder Apache Mesos-Clusterverwaltung.

In Bezug auf verteilten Speicher kann Spark mit HDFS, Cassandra, OpenStack Swift und Amazon S3 kommunizieren. Spark unterstützt auch den pseudoverteilten lokalen Modus, wird jedoch normalerweise nur für die Entwicklung oder zum Testen verwendet, um das verteilte Speichersystem durch das lokale Dateisystem zu ersetzen. In solchen Fällen führt Spark das Programm nur auf einer Maschine aus, die jeden CPU-Kern nutzt.

Im Jahr 2014 investierten mehr als 465 Mitwirkende in die Spark-Entwicklung, was es zum aktivsten Projekt unter der Apache Software Foundation und vielen Big-Data-Open-Source-Projekten machte.

Weitere Informationen zu Apache finden Sie in der Spalte Apache-Verwendungsanleitung!

Das obige ist der detaillierte Inhalt vonWas ist Apache Spark?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

PHP-Tutorial
1553
276
Wie installiere ich ein SSL -Zertifikat von Let's Encrypt auf Apache? Wie installiere ich ein SSL -Zertifikat von Let's Encrypt auf Apache? Aug 04, 2025 am 09:47 AM

Installieren Sie Certbot und sein Apache-Plug-In; 2. Führen Sie CertBot aus, um das Zertifikat zu erhalten und den Domänennamen zu konfigurieren. 3. Konfigurieren Sie optional die automatische Umleitung von HTTP zu HTTPS; 4. Richten Sie automatische Erneuerung ein und bestehen Sie trockener Test; 5. Überprüfen Sie die Installation und stellen Sie sicher, dass die normale Reload -Konfiguration von Apache. Nachdem das Zertifikat erfolgreich eingesetzt wurde, wird die Erneuerung automatisch verwaltet. Nach Abschluss des gesamten Vorgangs kann sicherer HTTPS -Zugriff erreicht werden.

Wie wähle ich den richtigen MPM für Apache aus? Wie wähle ich den richtigen MPM für Apache aus? Jul 26, 2025 am 03:59 AM

TheBestapachempMDependyourApplicationStackandTrafficneeds: 1.UspreforkiFryingonnon-thread-safemoduleslikemod_phpandPrioritSizingStability.2. UseWoryPerformoderatetohightrafficwiththread-SafeTupSandbetaMeryMory.3.useseesevevevevevesetupsandBetMeryMory.

Apache Performance Tuning Best Practices Apache Performance Tuning Best Practices Aug 05, 2025 am 06:59 AM

UseEventmpMforHigh-Concurrencywork-Ladungen, insbesondere Withphp-fpm, Orpreforkonlyifrequiredbynon-thread-Safemodules.2

Wie aktualisiere ich Apache auf die neueste Version? Wie aktualisiere ich Apache auf die neueste Version? Aug 04, 2025 pm 03:18 PM

CheckCurrentapacheversionusinghttpd-vorapache2-vandverifyServicStatusviaSystl.2.ondebian/Ubuntu, Upgradeusingsudoapdat EANDSudoaptinstallapache2, optionaladdingtheppa: Ondrej/apache2Forvers.3.onrhel/Centos/Federa, Federa, Fedora, Fedora,, Useudodnfupdatadagsud

Wie setze ich Umgebungsvariablen in einer .htaccess -Datei fest? Wie setze ich Umgebungsvariablen in einer .htaccess -Datei fest? Jul 24, 2025 am 01:36 AM

Ja, Sie können Umgebungsvariablen mithilfe der SETEnV -Anweisung von Apache in der .htaccess -Datei festlegen. Die spezifischen Schritte sind wie folgt: 1. Verwenden Sie SETEnV, um Variablen wie setEnvapp_envproduction zu definieren; 2. Stellen Sie sicher, dass das Modul mod_setenvif aktiviert ist; 3. achten Sie auf Serverbeschränkungen, den PHP -Betriebsmodus und den variablen Umfang; 4.. Sie können Variablen gemäß den Bedingungen in setEnvif festlegen. 5. kann für variable Referenzen in der PHP -Konfiguration verwendet werden. Diese Methoden sind effektiv, wenn sie korrekt konfiguriert werden. Die Umgebungskompatibilität und die Servereinstellungen sollten jedoch Aufmerksamkeit geschenkt werden.

Wie konfigurieren Sie Keepalive in Apache? Wie konfigurieren Sie Keepalive in Apache? Aug 03, 2025 am 07:06 AM

Keepaliveon ermöglicht anhaltende Verbindungen; 2.MaxkeepaliveRequests100 legt die maximale Anzahl von Anforderungen pro Verbindung fest. 3.Keepalivetimeout5 legt die Zeitlimit für nachfolgende Anforderungen fest, starten Sie Apache nach der Konfiguration neu und verwenden Sie Curl- oder Browser -Entwickler -Tools, um zu überprüfen, ob Keepalive effektiv ist, um die Serverleistung zu optimieren.

Wofür sind SSLCertificateFile- und SSLCertificateKeyFile -Richtlinien? Wofür sind SSLCertificateFile- und SSLCertificateKeyFile -Richtlinien? Jul 26, 2025 am 06:53 AM

SSLCertificateFile ist der Pfad zur SSL -Zertifikatendatei, während SSLCertificateKeyFile der Pfad zur privaten Schlüsseldatei ist. Erstere verweist auf eine von der CA ausgestellte .crt- oder PEM -Datei, die öffentliche Schlüssel und Identitätsinformationen enthält, die vom Browser verwendet werden, um die Serveridentität zu überprüfen. Letzterer legt den Standort des privaten Schlüssels an, der dem öffentlichen Schlüssel im Zertifikat entspricht, und muss ausschließlich vertraulich und eingeschränkter Zugang sein. Die beiden müssen passen, um ordnungsgemäß zu funktionieren. Sie können überprüfen, ob die Modulwerte des Zertifikats und des privaten Schlüssels extrahiert und verglichen werden. Wenn der CSR inkonsistent ist, müssen Sie das CSR regenerieren und ein neues Zertifikat erhalten. Stellen Sie bei der Konfiguration sicher, dass der Pfad korrekt ist, die Datei existiert und die Berechtigungen ordnungsgemäß festgelegt werden, da ansonsten Apache den HTTPS -Dienst nicht starten können oder ein Sicherheitsfehler auftritt.

Wie setze ich eine benutzerdefinierte 404 -Fehlerseite in Apache ein? Wie setze ich eine benutzerdefinierte 404 -Fehlerseite in Apache ein? Jul 27, 2025 am 02:20 AM

Um eine benutzerdefinierte 404 -Fehlerseite einzurichten, müssen Sie eine Spieldatei erstellen und den Pfad in Apache konfigurieren. 1. Erstellen Sie eine benutzerdefinierte 404 -Seite, z. B. das Speichern von 404.html auf dem Root -Verzeichnis der Website; 2. Errordocument404/404.html zur .htaccess -Datei des Root -Verzeichnisses der Website hinzufügen, um sicherzustellen, dass die zulässige Übergabe aktiviert ist. 3. Wenn Sie VPS oder einen eigenständigen Server verwenden, können Sie Errordocument404/404.html in der virtuellen Host-Konfigurationsdatei (z. B. 000-Default.conf) hinzufügen und den Apache-Dienst neu starten. 4. Testen Sie, ob die benutzerdefinierte Seite wirksam wird, indem Sie auf die nicht existierende URL zugreifen. Beim Konfigurieren

See all articles