Pengenalan kepada tiga komponen teras hadoop

Tiga komponen teras Hadoop ialah: Hadoop Distributed File System (HDFS), MapReduce dan Yet Another Resource Negotiator (YARN).

1. Sistem Fail Teragih Hadoop (HDFS):

   • HDFS ialah sistem fail teragih Hadoop yang digunakan untuk menyimpan set data berskala besar. Ia membahagikan fail besar kepada berbilang blok data dan mengedarkan serta menyimpan blok data ini pada berbilang nod dalam kelompok. HDFS menyediakan penyelesaian storan data berkapasiti tinggi, kebolehpercayaan tinggi dan daya pemprosesan tinggi serta merupakan asas kepada rangka kerja pengkomputeran teragih Hadoop.

2. MapReduce:

   • MapReduce ialah rangka kerja pengkomputeran teragih Hadoop untuk pemprosesan selari set data berskala besar. Ia berdasarkan model pengaturcaraan berfungsi dan menguraikan tugas pengkomputeran kepada dua peringkat: Peta dan Kurangkan. Peringkat Map membahagikan data input kepada tugasan bebas untuk diproses, manakala peringkat Reduce menggabungkan hasil tugasan Map ke dalam output akhir. MapReduce menyediakan toleransi kesalahan, kebolehskalaan dan keupayaan pemprosesan selari.

3. Yet Another Resource Negotiator (YARN):

   • YARN ialah pengurus sumber Hadoop, bertanggungjawab ke atas penjadualan dan pengurusan sumber dalam kelompok. Ia boleh memperuntukkan dan mengurus sumber pengkomputeran untuk berbilang aplikasi, dengan itu meningkatkan penggunaan sumber pengkomputeran. YARN membahagikan sumber pengkomputeran dalam kelompok kepada berbilang bekas dan menyediakan sumber yang sesuai untuk aplikasi yang berbeza sambil memantau dan mengurus status berjalan setiap aplikasi.

Ketiga komponen ini bersama-sama membentuk teras rangka kerja pengkomputeran teragih Hadoop, menjadikan Hadoop mahir dalam analisis data luar talian. Dalam pengkomputeran awan, Hadoop digabungkan dengan data besar dan teknologi virtualisasi untuk menyediakan sokongan yang berkuasa untuk pemprosesan data.

Atas ialah kandungan terperinci Pengenalan kepada tiga komponen teras hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!