Cara menggunakan bahasa Go dan Redis untuk membangunkan perangkak teragih

Cara menggunakan bahasa Go dan Redis untuk membangunkan perangkak teragih

Pengenalan:
Dengan perkembangan pesat teknologi Internet, perangkak web semakin digunakan dalam bidang seperti perlombongan data, pengoptimuman enjin carian dan pengumpulan maklumat. Antaranya, perangkak teragih boleh menggunakan sepenuhnya sumber kluster dan meningkatkan kecekapan dan kestabilan rangkak. Artikel ini akan memperkenalkan cara menggunakan bahasa Go dan Redis untuk membangunkan perangkak teragih yang mudah, bertujuan untuk membantu pembaca memahami dan menggunakan teknologi yang berkaitan dengan lebih baik.

1. Persediaan
Sebelum memulakan contoh artikel ini, kita perlu melengkapkan persediaan berikut:

1. Pasang persekitaran pembangunan bahasa Go: Sila pastikan komputer anda telah memasang persekitaran pembangunan bahasa Go dengan betul dan mengkonfigurasi persekitaran yang sepadan pembolehubah.
2. Pasang Redis: Redis ialah pangkalan data dalam memori sumber terbuka yang boleh digunakan untuk menyimpan maklumat seperti baris gilir tugas dan hasil program perangkak. Sila pasang Redis mengikut jenis dan versi sistem pengendalian anda, dan mulakan perkhidmatan Redis.

2. Struktur projek dan contoh kod
Kami akan menggunakan bahasa Go untuk menulis program perangkak teragih yang mudah Berikut ialah struktur direktori asas projek:

• crawler

  • worker. go
  • conn.go

Buat fail bernama main.go dan tulis kod berikut:
1. 
   

   package main
   
   import (
       "fmt"
       "net/http"
       "strconv"
   )
   
   func main() {
       // 创建一个任务队列，用来存储待爬取的URL
       taskQueue := make(chan string)
       go func() {
           // 将待爬取的URL加入到任务队列中
           for i := 1; i <= 10; i++ {
               url := "http://example.com/page" + strconv.Itoa(i)
               taskQueue <- url
           }
           close(taskQueue)
       }()
   
       // 创建一定数量的爬虫协程，并从任务队列中获取URL进行爬取
       for i := 0; i < 5; i++ {
           go func() {
               for url := range taskQueue {
                   resp, err := http.Get(url)
                   if err != nil {
                       fmt.Println("Failed to crawl", url)
                   } else {
                       fmt.Println("Crawled", url)
                       // TODO: 解析和处理网页内容
                   }
               }
           }()
       }
   
       // 阻塞主进程
       select {}
   }

   Salin selepas log masuk
Dalam main.go, kami mencipta baris gilir tugasan dan letakkannya dalam Tambah URL untuk dirangkak ke goroutine yang berasingan. Kemudian, kami mencipta beberapa coroutine perangkak (5 di sini) untuk merangkak dengan mendapatkan URL daripada baris gilir tugas.

Seterusnya, kami mencipta fail bernama worker.go dan menulis kod berikut:
2. 
   

   package main
   
   import (
       "fmt"
       "github.com/go-redis/redis"
   )
   
   func main() {
       // 连接Redis数据库
       client := redis.NewClient(&redis.Options{
           Addr:     "localhost:6379",
           Password: "",
           DB:       0,
       })
   
       // 创建一个爬虫任务队列
       taskQueue := make(chan string)
   
       // 监听Redis的任务队列，并将任务URL加入到爬虫任务队列中
       go func() {
           for {
               task, err := client.BLPop(0, "task_queue").Result()
               if err == nil {
                   url := task[1]
                   taskQueue <- url
               }
           }
       }()
   
       // 创建一定数量的爬虫协程，并从爬虫任务队列中获取URL进行爬取
       for i := 0; i < 5; i++ {
           go func() {
               for url := range taskQueue {
                   fmt.Println("Crawling", url)
                   // TODO: 真正的爬虫逻辑
                   // 将爬取结果保存到Redis或其他存储介质中
               }
           }()
       }
   
       // 阻塞主进程
       select {}
   }

   Salin selepas log masuk
Dalam worker.go, kami menyambung ke pangkalan data Redis dan mencipta baris gilir tugas crawler taskQueue. Kemudian, kami mendengar baris gilir tugas Redis dalam goroutine dan menambah URL tugasan pada baris gilir tugas perangkak. Akhir sekali, kami mencipta beberapa coroutine perangkak (5 di sini) untuk merangkak dengan mendapatkan URL daripada baris gilir tugas perangkak.

Buat fail bernama conn.go dan tulis kod berikut:
3. 
   

   package main
   
   import (
       "github.com/go-redis/redis"
   )
   
   // NewRedisClient 创建一个Redis客户端连接
   func NewRedisClient() *redis.Client {
       client := redis.NewClient(&redis.Options{
           Addr:     "localhost:6379",
           Password: "",
           DB:       0,
       })
       return client
   }
   
   // AddTask 将任务URL加入到Redis的任务队列中
   func AddTask(client *redis.Client, url string) error {
       err := client.RPush("task_queue", url).Err()
       if err != nil {
           return err
       }
       return nil
   }

   Salin selepas log masuk
Dalam conn.go, kami merangkum kaedah NewRedisClient() untuk menyambung ke pangkalan data Redis dan menambah URL tugasan ke Kaedah Redis AddTask() dalam baris gilir tugas.

3. Jalankan program

go run main.go

go run worker.go

4. Ringkasan

Atas ialah kandungan terperinci Cara menggunakan bahasa Go dan Redis untuk membangunkan perangkak teragih. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!