Welche Funktionen bietet Hive?

Integrierte Funktion von Hive

Definition: 🎜 >

UDF(User-Defined-Function)，用户自定义函数对数据进行处理。
UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求。
UDAF(User Defined Aggregation Function)用户自定义聚合函数，操作多个数据行，产生一个数据行。

1. Die UDF-Funktion kann direkt auf die SELECT-Anweisung angewendet werden, die Abfragestruktur formatieren und dann den Inhalt ausgeben. 2. Beim Schreiben von UDF-Funktionen müssen Sie auf die folgenden Punkte achten:

a) Benutzerdefiniertes UDF muss org.apache.hadoop.hive.ql.UDF erben.

b) Die Evaluierungsfunktion muss implementiert werden.

c) Die Evaluierungsfunktion unterstützt das Überladen.

Die meisten Hadoop-Jobs erfordern die vollständige Skalierbarkeit von Hadoop, um große Datenmengen zu verarbeiten. Allerdings ist die Menge der in Hive zu übertragenden Eingabedaten manchmal sehr gering. In diesem Fall kann die Zeit, die zum Ausführen der Aufgabe für die Abfrage benötigt wird, viel länger sein als die tatsächliche Ausführungszeit des Jobs.

In den meisten dieser Situationen kann Hive alle Aufgaben auf einem einzigen Computer im lokalen Modus erledigen. Bei kleinen Datensätzen verkürzt sich die Ausführungszeit deutlich.

Auf diese Weise können Vorgänge mit einer relativ kleinen Datenmenge lokal ausgeführt werden, was viel schneller ist, als Aufgaben zur Ausführung an den Cluster zu senden.

Konfigurieren Sie die folgenden Parameter, um den lokalen Modus von Hive zu aktivieren:

hive> set hive.exec.mode.local.auto=true;(默认为false)

Ein Job kann den lokalen Modus nur dann wirklich verwenden, wenn er die Anforderungen erfüllt Folgende Bedingungen:

Die Eingabedatengröße des Jobs muss kleiner sein als der Parameter: hive.exec.mode.local.auto.inputbytes.max (Standard 128 MB) Die Die Anzahl der Maps des Jobs muss kleiner sein als der Parameter: hive.exec.mode.local.auto.tasks.max (Standard 4)

Die Anzahl der Reduzierungsjobs muss 0 oder 1 sein

Das obige ist der detaillierte Inhalt vonWelche Funktionen bietet Hive?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!