简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW)
首頁 > 科技週邊 > 人工智慧 > 主體

部署基於記憶體儲存的 Elasticsearch - 一億+條數據，全文檢索 100ms 回應

WBOY
發布： 2024-06-07 11:11:48
原創
347 人瀏覽過

1. 在主機上掛載記憶體存儲目錄

  • #建立目錄用於掛載
mkdir /mnt/memory_storage
登入後複製
  • #掛載tmpfs 檔案系統
mount -t tmpfs -o size=800G tmpfs /mnt/memory_storage
登入後複製

儲存空間會按需使用，也就是使用100G 儲存時才會佔用100G 記憶體。主機節點上有 2T 內存，這裡分配 800G 內存用於儲存 Elasticsearch 資料。

  • 提前建立好目錄
mkdir /mnt/memory_storage/elasticsearch-data-es-jfs-prod-es-default-0mkdir /mnt/memory_storage/elasticsearch-data-es-jfs-prod-es-default-1mkdir /mnt/memory_storage/elasticsearch-data-es-jfs-prod-es-default-2
登入後複製

如果沒有事先建立好目錄，並賦予讀寫權限，會導致Elasticsearch 元件起不來，提示多個節點使用了相同的資料目錄。

  • 設定目錄權限
chmod -R 777 /mnt/memory_storage
登入後複製
  • #DD 測試IO 頻寬
##
dd if=/dev/zero of=/mnt/memory_storage/dd.txt bs=4M count=25002500+0 records in2500+0 records out10485760000 bytes (10 GB, 9.8 GiB) copied, 3.53769 s, 3.0 GB/s
登入後複製
  • ##清理檔案
rm -rf /mnt/memory_storage/dd.txt
登入後複製

FIO 測試IO 頻寬

    fio --name=test --filename=/mnt/memory_storage/fio_test_file --size=10G --rw=write --bs=4M --numjobs=1 --runtime=60 --time_basedRun status group 0 (all jobs):WRITE: bw=2942MiB/s (3085MB/s), 2942MiB/s-2942MiB/s (3085MB/s-3085MB/s), io=172GiB (185GB), run=60001-60001msec
    登入後複製
  • ##清理文件
    rm -rf /mnt/memory_storage/fio_test_file
    登入後複製
    • 測試記憶體IO 頻寬
    #
    mbw 10000Long uses 8 bytes. Allocating 2*1310720000 elements = 20971520000 bytes of memory.Using 262144 bytes as blocks for memcpy block copy test.Getting down to business... Doing 10 runs per test.0 Method: MEMCPY Elapsed: 1.62143 MiB: 10000.00000 Copy: 6167.380 MiB/s1 Method: MEMCPY Elapsed: 1.63542 MiB: 10000.00000 Copy: 6114.656 MiB/s2 Method: MEMCPY Elapsed: 1.63345 MiB: 10000.00000 Copy: 6121.997 MiB/s3 Method: MEMCPY Elapsed: 1.63715 MiB: 10000.00000 Copy: 6108.161 MiB/s4 Method: MEMCPY Elapsed: 1.64429 MiB: 10000.00000 Copy: 6081.667 MiB/s5 Method: MEMCPY Elapsed: 1.62772 MiB: 10000.00000 Copy: 6143.574 MiB/s6 Method: MEMCPY Elapsed: 1.60684 MiB: 10000.00000 Copy: 6223.379 MiB/s7 Method: MEMCPY Elapsed: 1.62499 MiB: 10000.00000 Copy: 6153.876 MiB/s8 Method: MEMCPY Elapsed: 1.63967 MiB: 10000.00000 Copy: 6098.770 MiB/s9 Method: MEMCPY Elapsed: 2.97213 MiB: 10000.00000 Copy: 3364.588 MiB/sAVG Method: MEMCPY Elapsed: 1.76431 MiB: 10000.00000 Copy: 5667.937 MiB/s0 Method: DUMB Elapsed: 1.01521 MiB: 10000.00000 Copy: 9850.140 MiB/s1 Method: DUMB Elapsed: 0.85378 MiB: 10000.00000 Copy: 11712.605 MiB/s2 Method: DUMB Elapsed: 0.82487 MiB: 10000.00000 Copy: 12123.167 MiB/s3 Method: DUMB Elapsed: 0.84520 MiB: 10000.00000 Copy: 11831.463 MiB/s4 Method: DUMB Elapsed: 0.83050 MiB: 10000.00000 Copy: 12040.968 MiB/s5 Method: DUMB Elapsed: 0.84932 MiB: 10000.00000 Copy: 11774.194 MiB/s6 Method: DUMB Elapsed: 0.82491 MiB: 10000.00000 Copy: 12122.505 MiB/s7 Method: DUMB Elapsed: 1.44235 MiB: 10000.00000 Copy: 6933.144 MiB/s8 Method: DUMB Elapsed: 2.68656 MiB: 10000.00000 Copy: 3722.225 MiB/s9 Method: DUMB Elapsed: 8.44667 MiB: 10000.00000 Copy: 1183.898 MiB/sAVG Method: DUMB Elapsed: 1.86194 MiB: 10000.00000 Copy: 5370.750 MiB/s0 Method: MCBLOCK Elapsed: 4.52486 MiB: 10000.00000 Copy: 2210.013 MiB/s1 Method: MCBLOCK Elapsed: 4.82467 MiB: 10000.00000 Copy: 2072.683 MiB/s2 Method: MCBLOCK Elapsed: 0.84797 MiB: 10000.00000 Copy: 11792.870 MiB/s3 Method: MCBLOCK Elapsed: 0.84980 MiB: 10000.00000 Copy: 11767.516 MiB/s4 Method: MCBLOCK Elapsed: 0.87665 MiB: 10000.00000 Copy: 11407.113 MiB/s5 Method: MCBLOCK Elapsed: 0.85952 MiB: 10000.00000 Copy: 11634.468 MiB/s6 Method: MCBLOCK Elapsed: 0.84132 MiB: 10000.00000 Copy: 11886.154 MiB/s7 Method: MCBLOCK Elapsed: 0.84970 MiB: 10000.00000 Copy: 11768.915 MiB/s8 Method: MCBLOCK Elapsed: 0.86918 MiB: 10000.00000 Copy: 11505.150 MiB/s9 Method: MCBLOCK Elapsed: 0.85996 MiB: 10000.00000 Copy: 11628.434 MiB/sAVG Method: MCBLOCK Elapsed: 1.62036 MiB: 10000.00000 Copy: 6171.467 MiB/s
    登入後複製

    看起來將記憶體掛載為檔案系統的IO頻寬只能達到記憶體的IO 頻寬的一半。

    2. 在Kubernetes 叢集上建立PVC

      設定環境變數
    • ##
    export NAMESPACE=data-centerexport PVC_NAME=elasticsearch-data-es-jfs-prod-es-default-0
    登入後複製
    建立PV 與PVC
    kubectl create -f - <
    登入後複製
    透過修改 PVC_NAME 變數建立至少3 個PVC 應用，最後我創建了20 個PVC，總共提供了15+ TB 的儲存。

    3. 部署 Elasticsearch 相關元件

      此處省略了部分內容，詳情參考 使用 JuiceFS 儲存 Elasticsearch 資料[1]。
    #部署Elasticsearch
      cat <
      登入後複製
    #檢視Elasticsearch 密碼
    ##
    kubectl -n $NAMESPACE get secret es-jfs-prod-es-elastic-user -o go-template='{{.data.elastic | base64decode}}'xxx
    登入後複製
    • #默認使用者名稱是elastic

    部署Metricbeat部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应

    kubectl apply -f - <
    登入後複製

    #部署Kibana
    • cat <
      登入後複製

    檢視Elasticsearch 叢集資訊

      圖片
    2. #4. 匯入資料
      建立索引
    在Elasticsearch Management 的 Dev Tools 頁面中執行:

    PUT /bayou_tt_articles{"settings": {"index": {"number_of_shards": 30,"number_of_replicas": 1,"refresh_interval": "120s","translog.durability": "async","translog.sync_interval": "120s","translog.flush_threshold_size": "2048M"}},"mappings": {"properties": {"text": {"type": "text","analyzer": "ik_smart"}}}}
    登入後複製
    有兩個注意事項:
      保持每個分片大小在10-50G 之間，這裡 number_of_shards 設定為30，因為總共有幾百GB 的資料需要匯入。
    • 副本數至少為 1，是為了保障 Pod 在滾動更新時不會遺失資料。當 Pod 的 IP 發生變化時，Elasticsearch 會認為是一個新的節點，不能重複使用先前的數據，此時如果沒有副本重建分片，會導致資料遺失。
    ###安裝導入工具#########也可以採用 elasticdump 容器導入，下面也會有範例。這裡採用 npm 安裝。 ######
    apt-get install npm -y
    登入後複製
    ######
    npm install elasticdump -g
    登入後複製
    #########匯入資料#########
    export DATAPATH=./bayou_tt_articles_0.jsonlnohup elasticdump --limit 20000 --input=${DATAPATH} --output=http://elastic:xxx@x.x.x.x:31391/ --output-index=bayou_tt_articles --type=data --transform="doc._source=Object.assign({},doc)" > elasticdump-${DATAPATH}.log 2>&1 &
    登入後複製
    ###

    limit 表示每次导入的数据条数，默认值是 100 太小，建议在保障导入成功的前提下尽可能大一点。

    • 查看索引速率

    部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

    索引速率达到 1w+/s，但上限远不止于此。因为，根据社区文档的压力测试结果显示，单个节点至少能提供 2W/s 的索引速率。

    5. 测试与验证

    • 全文检索性能显著提升

    部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

    上图是使用 JuiceFS 存储的全文检索速度为 18s，使用 SSD 节点的 Elasticsearch 的全文检索速度为 5s。下图是使用内存存储的 Elasticsearch 的全文检索速度为 100ms 左右。

    部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

    • 更新 Elasticsearch 不会丢数据

    之前给 Elasticsearch Pod 分配的 CPU 和 Memory 太多，调整为 CPU 32C，Memory 64 GB。在滚动更新过程中，Elasticsearch 始终可用，并且数据没有丢失。

    但务必注意设置 replicas > 1，尽量不要自行重启 Pod，虽然 Pod 是原节点更新。

    • 能平稳实现节点的扩容

    部署基于内存存储的 Elasticsearch - 一亿+条数据，全文检索 100ms 响应图片

    由于业务总的 Elasticsearch 存储需求是 10T 左右，我继续增加节点到 10 个，Elasticsearch 的索引分片会自动迁移，均匀分布在这些节点上。

    • 导出索引速度达 1w 条每秒
    docker run --rm -ti elasticdump/elasticsearch-dump --limit 10000 --input=http://elastic:xxx@x.x.x.x:31391/bayou_tt_articles --output=/data/es-bayou_tt_articles-output.json --type=data
    登入後複製
    Wed, 29 May 2024 01:41:23 GMT | got 10000 objects from source elasticsearch (offset: 0)Wed, 29 May 2024 01:41:23 GMT | sent 10000 objects to destination file, wrote 10000Wed, 29 May 2024 01:41:24 GMT | got 10000 objects from source elasticsearch (offset: 10000)Wed, 29 May 2024 01:41:24 GMT | sent 10000 objects to destination file, wrote 10000Wed, 29 May 2024 01:41:25 GMT | got 10000 objects from source elasticsearch (offset: 20000)Wed, 29 May 2024 01:41:25 GMT | sent 10000 objects to destination file, wrote 10000Wed, 29 May 2024 01:41:25 GMT | got 10000 objects from source elasticsearch (offset: 30000)
    登入後複製

    导出速度能达到 1w 条每秒，一亿条数据大约需要 3h，基本也能满足索引的备份、迁移需求。

    • Elasticsearch 节点 Pod 更新时，不会发生漂移

    更新之前的 Pod 分布节点如下：

    NAME READY STATUSRESTARTSAGE IP NODE NOMINATED NODE READINESS GATESes-jfs-prod-beat-metricbeat-7fbdd657c4-djgg6 1/1 Running 6 (32m ago) 18h 10.244.54.5ascend-01  es-jfs-prod-es-default-0 1/1 Running 0 28m 10.244.46.82 ascend-07  es-jfs-prod-es-default-1 1/1 Running 0 29m 10.244.23.77 ascend-53  es-jfs-prod-es-default-2 1/1 Running 0 31m 10.244.49.65 ascend-20  es-jfs-prod-es-default-3 1/1 Running 0 32m 10.244.54.14 ascend-01  es-jfs-prod-es-default-4 1/1 Running 0 34m 10.244.100.239 ascend-40  es-jfs-prod-es-default-5 1/1 Running 0 35m 10.244.97.201ascend-39  es-jfs-prod-es-default-6 1/1 Running 0 37m 10.244.101.156 ascend-38  es-jfs-prod-es-default-7 1/1 Running 0 39m 10.244.19.101ascend-49  es-jfs-prod-es-default-8 1/1 Running 0 40m 10.244.16.109ascend-46  es-jfs-prod-es-default-9 1/1 Running 0 41m 10.244.39.119ascend-15  es-jfs-prod-kb-75f7bbd96-6tcrn 1/1 Running 0 18h 10.244.1.164 ascend-22
    登入後複製

    更新之后的 Pod 分布节点如下：

    NAME READY STATUSRESTARTSAGE IP NODE NOMINATED NODE READINESS GATESes-jfs-prod-beat-metricbeat-7fbdd657c4-djgg6 1/1 Running 6 (50m ago) 18h 10.244.54.5ascend-01  es-jfs-prod-es-default-0 1/1 Running 0 72s 10.244.46.83 ascend-07  es-jfs-prod-es-default-1 1/1 Running 0 2m35s 10.244.23.78 ascend-53  es-jfs-prod-es-default-2 1/1 Running 0 3m59s 10.244.49.66 ascend-20  es-jfs-prod-es-default-3 1/1 Running 0 5m34s 10.244.54.15 ascend-01  es-jfs-prod-es-default-4 1/1 Running 0 7m21s 10.244.100.240 ascend-40  es-jfs-prod-es-default-5 1/1 Running 0 8m44s 10.244.97.202ascend-39  es-jfs-prod-es-default-6 1/1 Running 0 10m 10.244.101.157 ascend-38  es-jfs-prod-es-default-7 1/1 Running 0 11m 10.244.19.102ascend-49  es-jfs-prod-es-default-8 1/1 Running 0 13m 10.244.16.110ascend-46  es-jfs-prod-es-default-9 1/1 Running 0 14m 10.244.39.120ascend-15  es-jfs-prod-kb-75f7bbd96-6tcrn 1/1 Running 0 18h 10.244.1.164 ascend-22
    登入後複製

    这点打消了我的一个顾虑， Elasticsearch 的 Pod 重启时，发生了漂移，那么节点上是否会残留分片的数据，导致内存使用不断膨胀？答案是，不会。ECK Operator 似乎能让 Pod 在原节点进行重启，挂载的 Hostpath 数据依然对新的 Pod 有效，仅当主机节点发生重启时，才会丢失数据。

    6. 总结

    AI 的算力节点有大量空闲的 CPU 和 Memory 资源，使用这些大内存的主机节点，部署一些短生命周期的基于内存存储的高性能应用，有利于提高资源的使用效率。

    本篇主要介绍了借助于 Hostpath 的内存存储部署 Elasticsearch 提供高性能查询能力的方案，具体内容如下：

    1. 将内存 mount 目录到主机上
    2. 创建基于 Hostpath 的 PVC，将数据挂载到上述目录
    3. 使用 ECK Operator 部署 Elasticsearch
    4. Elasticsearch 更新时，数据并不会丢失，但不能同时重启多个主机节点
    5. 300+GB、一亿+条数据，全文检索响应场景中，基于 JuiceFS 存储的速度为 18s， SSD 节点的速度为 5s，内存节点的速度为 100ms

    参考资料

    [1]使用 JuiceFS 存储 Elasticsearch 数据: https://www.chenshaowen.com/blog/store-elasticsearch-data-in-juicefs.html

    • 以上是部署基於記憶體儲存的 Elasticsearch - 一億+條數據，全文檢索 100ms 回應的詳細內容。更多資訊請關注PHP中文網其他相關文章！

    相關標籤：
    cpu ai 算力
    來源：51cto.com
    上一篇：Karpathy新教學爆火，網友搶著送他H100：從頭重現GPT-2訓練 下一篇：首個GPU高階語言，大規模並行就像寫Python，已獲8500 Star
    本網站聲明
    本文內容由網友自願投稿，版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容，請聯絡admin@php.cn
    作者最新文章
    最新問題
    Reactjs中的UI沒有被更新 我正在學習React並學習了一些基礎知識，所以利用這些知識製作了這個基本專案。我正在使用React和Firebase製作一個簡單的筆記保存應用程式。資料完美地傳輸到Firebase...
    來自於 2023-08-14 17:32:30
    0
    1
    201
    如何使用Google Vertext AI Vision API建立一個簡單的網站，將使用者提交的圖片轉換為文字。 我正在嘗試建立一個簡單的HTML/CSS/jQuery網站，使用Google Vertext AI Vision API（或其他服務）將使用者提交的圖片轉換為文字。如果有人能回答以...
    來自於 2023-07-21 10:47:08
    0
    1
    224
    模板在哪裡呢? AI 哎
    來自於 2019-06-04 10:48:28
    0
    0
    906
    大家好，请问在python脚本中怎么用virtualenv激活指定的环境？ 我是想在py脚本执行时，激活指定的环境。可以做到吗？ PS:我是李世石，我已经弃围棋从AI了，大家多指教！
    來自於 2017-04-18 10:24:27
    0
    3
    593
    c++ - 如何使用开源围棋智能算法？ 我在用Unity3D做一个围棋的游戏，单机的部分需要一个AI找到了开源的Fuego和Pachi，但是下载下来的是一个C/C++的工程应该怎么使用呢？求指导！（我的需求是传过去一个棋...
    來自於 2017-04-17 13:11:11
    0
    2
    493
    相關專題
    更多>
    熱門推薦
    熱門教學
    更多>
    相關教學
    熱門推薦
    最新課程
    最新下載
    更多>
    網站特效
    網站源碼
    網站素材
    前端模板
    關於我們 免責聲明 Sitemap
    PHP中文網：公益線上PHP培訓，幫助PHP學習者快速成長！