Deepseek publie un cadre 3FS et SmallPond

Deepseek a considérablement augmenté les capacités des open source le 28 février 2025, dévoilant le système de fichiers de vol de feu (3FS) et le cadre de traitement des données à petit. Ces outils sont conçus pour révolutionner l'accès et le traitement des données, en particulier pour la formation et l'inférence en IA.

? Jour 5 de #OpenSourceweek: 3FS, un moteur puissant pour tout accès aux données Deepseek.

Système de fichiers Fire-Flyer (3FS) - Un système de fichiers parallèle maximisant la bande passante des SSD modernes et des réseaux RDMA.

⚡ 6.6 Tib / s Aggrégat Lire le débit (cluster de 180 nœuds) ⚡ 3,66 tib / min…

- Deepseek (@deepseek_ai) 28 février 2025

Table des matières

• Système de fichiers Fire-Flyer (3FS)
• Framework à petits étangs
• Démarrage rapide: 3FS et à petite étang
• Dépannage et surveillance
• Résumé

Système de fichiers Fire-Flyer (3FS)

3FS est un système de fichiers distribué haute performance construit pour les SSD modernes et les réseaux RDMA. Il offre une solution de stockage partagée robuste, simplifiant le développement d'applications distribuées.

Comprendre RDMA

> L'accès à la mémoire directe à distance (RDMA) contourne les limitations du système d'exploitation, permettant un transfert de données direct entre la mémoire de deux ordinateurs. Il en résulte une communication plus rapide et plus efficace.

Clé des fonctionnalités 3FS

• Performances inégalées et facilité d'utilisation:
  • 6.6 TIB / s Aggrégat Lire le débit (cluster de 180 nœuds).
  • 3,66 débit TIB / min sur la référence GraySort (cluster de 25 nœuds).
  • 40 Gib / s Péper à maturité par nœud client pour les recherches kvcache.
• Architecture désagrégée:
  • combine le débit de milliers de SSD avec la bande passante du réseau de centaines de nœuds de stockage.
  • offre un accès au stockage obligatoire pour la localité pour les applications.
• cohérence robuste:
  • utilise la réplication de la chaîne avec des requêtes réparties (CRAQ) pour une forte cohérence, simplifiant le codage de l'application.
• Interfaces de fichier standard:
  • utilise des services de métadonnées apatrides basés sur un magasin de valeurs de clé transactionnel (par exemple, FoundationDB).
  • maintient une interface de fichiers familière, éliminant la nécessité d'un nouvel apprentissage de l'API.

charges de travail prises en charge

• Préparation des données: Gère efficacement de grands volumes de sorties intermédiaires des pipelines d'analyse de données.
• DatalOaders: permet un accès aléatoire à des échantillons de formation sur les nœuds de calcul, éliminant la préfecture ou les mélanges de données.
• Points de contrôle: prend en charge le point de contrôle parallèle à haut débit pour une formation à grande échelle.
• kvcache pour l'inférence: offre une alternative rentable et élevée à la mise en cache basée sur le DRAM avec une capacité considérablement accrue.

Benchmarks de performance

Les tests approfondis valident les performances de 3FS. Un test de stress de lecture sur un grand cluster a atteint le débit de lecture globale de 6,6 TIB / s, même avec un trafic professionnel de formation simultané.

Framework à petits étangs

SallPond, conçu pour compléter 3FS, est un cadre de traitement des données léger et distribué. Il utilise DuckDB comme moteur de calcul et stocke les données au format parquet sur un système de fichiers distribué (comme 3fs).

Clé des caractéristiques à petits étangs

• Haute performance: DuckDB fournit des performances au niveau natif pour un traitement efficace des données.
• Évolutivité: gère les données à l'échelle des pétaoctets sans goulot d'étranglement de mémoire grâce aux systèmes de fichiers distribués haute performance.
• Simplicité: Déploiement et maintenance faciles en raison de l'absence de services de longue durée ou de dépendances complexes.
• Traitement efficace des données: Une approche biphasée pour trier les grands ensembles de données améliore les performances et l'efficacité (par exemple, trié 110,5 TIB sur 8 192 partitions en moins de 30 minutes).
• Intégration 3FS sans couture: exploite le débit élevé de 3FS et la forte cohérence.

Démarrage rapide: 3FS et à petite étang

3fs Installation

Clone Les dépendances du référentiel et d'installation:

1. git clone https://github.com/deepseek-ai/3fs
2. cd 3fs
3. git submodule update --init --recursive
4. ./patches/apply.sh

Consultez la documentation 3FS pour plus de détails.

Démarrage rapide de SallPond

• Assurez-vous que Python 3.8 est installé.

• Installez à petite étang: pip install smallpond

• Initialiser une session à petite étang: import smallpond; sp = smallpond.init()

• Chargez des données de parquet: df = sp.read_parquet("path/to/dataset/*.parquet")

• Données de répartition (exemples):

  • df = df.repartition(3)
  • df = df.repartition(3, by_row=True)
  • df = df.repartition(3, hash_by="host")

• Transformer les données (exemples):

  • df = df.map('a b as c')
  • df = df.map(lambda row: {'c': row['a'] row['b']})

• Enregistrer les données: df.write_parquet("path/to/output/dataset.parquet")

• Exécutez un travail à petite étang: sp.run(df)

Dépannage et surveillance

SmallPond propose des outils de surveillance et de débogage. L'analyse des journaux aide à résoudre les problèmes d'exécution. La documentation complète, les tutoriels et les cas d'utilisation sont disponibles via les canaux de support officiels.

Résumé

La version open source de 3FS et de SmallPond représente une progression significative dans le traitement des données. Leurs hautes performances, leur facilité d'utilisation et leur cohérence permettent aux développeurs et aux chercheurs. Ces outils fournissent une infrastructure puissante pour les applications modernes à forte intensité de données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!