Cara membina aplikasi data besar berskala dengan React dan Hadoop

Cara membina aplikasi data besar berskala menggunakan React dan Hadoop

Aplikasi data besar telah menjadi keperluan biasa dalam semua lapisan masyarakat. Hadoop ialah salah satu alat yang paling popular apabila ia melibatkan pemprosesan sejumlah besar data. React ialah perpustakaan JavaScript yang popular untuk membina antara muka pengguna moden. Artikel ini akan memperkenalkan cara membina aplikasi data besar berskala dengan menggabungkan React dan Hadoop, dengan contoh kod khusus.

1. Bina aplikasi bahagian hadapan React

Mula-mula, gunakan alat buat-react-app untuk membina aplikasi bahagian hadapan React. Jalankan arahan berikut dalam terminal:

npx create-react-app my-app
cd my-app
npm start

Ini akan mencipta dan memulakan apl React yang dipanggil my-app.

2. Buat perkhidmatan bahagian belakang

Seterusnya, kita perlu mencipta perkhidmatan bahagian belakang untuk berkomunikasi dengan Hadoop. Dalam direktori akar projek, buat folder bernama pelayan. Kemudian buat fail bernama index.js dalam folder pelayan dan tambahkan kod berikut pada fail:

const express = require('express');
const app = express();

app.get('/api/data', (req, res) => {
  // 在此处编写与Hadoop通信的代码
});

const port = 5000;
app.listen(port, () => {
  console.log(`Server running on port ${port}`);
});

Ini mencipta pelayan Express yang mudah dan menambahkannya dalam /api/data</ Antara muka GET didedahkan di bawah kod> laluan. Dalam antara muka ini, kita boleh menulis kod untuk berkomunikasi dengan Hadoop. <code>/api/data路径下暴露了一个GET接口。在该接口中，我们可以编写与Hadoop通信的代码。

3. 与Hadoop通信

为了实现与Hadoop通信，可以使用Hadoop的官方JavaScript库hadoop-connector。使用以下命令将它添加到项目中：

npm install hadoop-connector

然后，在index.js文件中添加以下代码：

const HadoopConnector = require('hadoop-connector');

app.get('/api/data', (req, res) => {
  const hc = new HadoopConnector({
    host: 'hadoop-host',
    port: 50070,
    user: 'hadoop-user',
    namenodePath: '/webhdfs/v1'
  });

  const inputStream = hc.getReadStream('/path/to/hadoop/data');

  inputStream.on('data', data => {
    // 处理数据
  });

  inputStream.on('end', () => {
    // 数据处理完毕
    res.send('Data processed successfully');
  });

  inputStream.on('error', error => {
    // 出错处理
    res.status(500).send('An error occurred');
  });
});

在上面的代码中，我们创建了一个HadoopConnector实例，并使用getReadStream方法从Hadoop集群中获取数据流。在数据流上，我们可以设置事件监听器来处理数据。在此示例中，我们仅记录了"data"事件、"end"事件和"error"事件。在"data"事件中，我们可以对数据进行处理，而在"end"事件中，我们可以发送响应到前端应用。

4. 配置前端应用以获取数据

要在前端应用中获取数据，我们可以使用React的useEffect钩子来在组件加载时获取数据。在App.js文件中，添加以下代码：

import React, { useEffect, useState } from 'react';

function App() {
  const [data, setData] = useState([]);

  useEffect(() => {
    fetch('/api/data')
      .then(response => response.json())
      .then(data => setData(data))
      .catch(error => console.log(error));
  }, []);

  return (
    <div>
      {data.map(item => (
        <div key={item.id}>
          <h2>{item.title}</h2>
          <p>{item.content}</p>
        </div>
      ))}
    </div>
  );
}

export default App;

上面的代码中，我们使用fetch函数来获取后端API提供的数据，并将其设置为组件的状态。然后，我们可以在组件中使用该状态来渲染数据。

5. 运行应用

最后一步是运行应用。在终端中，分别在my-app文件夹和server文件夹中运行以下命令：

cd my-app
npm start

cd server
node index.js

这样，React前端应用和后端服务将会启动，并且可以通过访问http://localhost:3000

Berkomunikasi dengan Hadoop

Untuk berkomunikasi dengan Hadoop, anda boleh menggunakan penyambung hadoop pustaka JavaScript rasmi Hadoop. Tambahkannya pada projek menggunakan arahan berikut:

rrreee🎜 Kemudian, tambahkan kod berikut dalam fail index.js: 🎜rrreee🎜 Dalam kod di atas, kami mencipta contoh HadoopConnector dan menggunakan getReadStreamKaedah untuk mendapatkan aliran data daripada kelompok Hadoop. Pada strim data, kami boleh menyediakan pendengar acara untuk memproses data. Dalam contoh ini, kami hanya log peristiwa "data", peristiwa "tamat" dan peristiwa "ralat". Dalam acara "data", kami boleh memproses data, dan dalam acara "akhir", kami boleh menghantar respons kepada aplikasi bahagian hadapan. 🎜
🎜Mengkonfigurasi aplikasi bahagian hadapan untuk mendapatkan data 🎜🎜🎜Untuk mendapatkan data dalam aplikasi bahagian hadapan, kita boleh menggunakan cangkuk useEffect React untuk mendapatkan data apabila beban komponen. Dalam fail App.js, tambahkan kod berikut: 🎜rrreee🎜Dalam kod di atas, kami menggunakan fungsi fetch untuk mendapatkan data yang disediakan oleh API bahagian belakang dan menetapkannya sebagai keadaan komponen . Kami kemudian boleh menggunakan keadaan itu dalam komponen untuk memberikan data. 🎜
🎜Jalankan apl🎜🎜🎜Langkah terakhir ialah menjalankan apl. Dalam terminal, jalankan arahan berikut masing-masing dalam folder aplikasi saya dan folder pelayan: 🎜rrreeerrreee🎜 Dengan cara ini, aplikasi bahagian hadapan dan perkhidmatan bahagian belakang React akan dimulakan dan boleh diakses dengan mengakses http://localhost:3000 untuk melihat antara muka aplikasi. 🎜🎜Ringkasan🎜🎜Dengan menggabungkan React dan Hadoop, kami boleh membina aplikasi data besar berskala. Artikel ini memperincikan cara membina aplikasi bahagian hadapan React, mencipta perkhidmatan bahagian belakang, berkomunikasi dengan Hadoop dan mengkonfigurasi aplikasi bahagian hadapan untuk mendapatkan data. Melalui langkah ini, kami boleh memanfaatkan kuasa React dan Hadoop untuk memproses dan membentangkan data besar. Saya harap artikel ini akan membantu anda membina aplikasi data besar! 🎜

Atas ialah kandungan terperinci Cara membina aplikasi data besar berskala dengan React dan Hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!