FATE 2.0發布：實現異質聯邦學習系統互聯

• FATE 2.0 全面升級，推動隱私運算聯邦學習規模化應用程式

FATE開源平台宣布發布FATE 2.0版本，作為全球領先的聯邦學習工業級開源框架。此次更新實現了聯邦異質系統之間的互聯互通，持續增強了隱私運算平台的互聯互通能力。這項進展進一步推動了聯邦學習與隱私計算規模化應用的發展。

FATE 2.0以全面互通為設計概念 ，採用開源方式對應用層、調度、通訊、異構計算（演算法）四個層面進行改造，實現了系統與系統、系統與演算法、演算法與演算法之間異構互通的能力。

FATE 2.0的設計相容於了北京金融科技產業聯盟的《金融業隱私計算互聯互通API技術文件》[3]等業內規範，在發布前，FATE 2.0已經和多個異質隱私計算平台完成了互聯互通驗證。近期北京金融科技產業聯盟發布文件時提到，「主題組聯合FATE開源社群、頭部科技公司完成了五方跨平台、跨演算法的互通聯調，驗證了介面文件在支援多方異質平台互聯互通的可行性與安全性」。

存取以下網址取得FATE 2.0版本：

##https:/ /m.sbmmt.com/link/99113167f3b816bdeb56ff1af6cec7af

• FATE 2.0FATE 2.0
• FATE# #亮點概述應用層互聯互通: 建構標準
##可擴展的聯邦DSL，支援應用層互聯互通

，統一

DSL######適配多種異質隱私運算平台任務描述######## ##########

• 调度层互联互通：从多层面解耦系统模块来构建开放标准化的互联互通调度平台，支持多种异构隐私计算平台间任务调度

• 传输层跨站点互联互通：构建开放跨站点互联互通通信组件，支持多种传输模式以及多种通信协议, 可适配多种异构隐私计算平台间数据传输，增强传输效率和系统稳定性

• 联邦异构计算互联互通: 构建分布式和明密文Tensor/DataFrame, 解耦HE、MPC等安全协议和联邦算法协议，助力联邦异构计算引擎互联互通

• 核心算法迁移和扩展，算法开发体验和性能显著增强：采用分布式，明密文Tensor/Dataframe编程模式，实现核心算法迁移和扩展；核心算法性能提升：PSI隐私保护求交算法性能提升1.8 倍，纵向联邦SSHE-LR算法性能提升4.3 倍，纵向联邦神经网络算法性能提升143倍等

FATE 2.0互联互通整体架构示意图

• FATE 2.0功能一览

FATE-Client 2.0: 构建可扩展的联邦DSL，支持应用层的互联互通

1. 引入新的可扩展和标准化的联邦DSL IR，即联邦建模流程DSL标准化中间层表示

2. 支援將python客戶端聯邦建模流程程式碼編譯成DSL IR

3. DSL IR

##協定擴展增強: 支援多方不對稱調度

4. 支援FATE的標準化聯邦DSL IR與其他協定轉化，如北京金融科技產業聯盟互聯互通BFIA協定的相互轉換

#5. #完成Flow Cli與Flow SDK功能遷移

#FATE-Flow 2.0: 

建構開放標準化的互連互通調度平台

#1．適配可擴充且標準化的FATE 2.0 聯邦DSL IR

#2. 建構互聯調度層框架，透過適配器方式支援其他協議，如《隱私計算互聯互通API技術文件》所涉及的控制層介面。

3. 最佳化流程調度，調度邏輯解耦且可自訂化，並增加了優先調度

4. 優化演算法元件調度，支援容器級演算法加載，提升對跨平台異構場景的支援

5. ##優化多版本演算法元件註冊，支援對元件運作模式的註冊

6. ######聯邦DSL IR擴充增強：支援多方不對稱調度####### ######7. ######最佳化用戶端身分驗證邏輯，支援多個用戶端的權限管理############8. ######最佳化RESTful接口，使入參字段和類型、返回字段和狀態代碼更加清晰############9######．增加了OFX（Open Flow Exchange）模組：封裝調度客戶端，允許跨平台調度############10.######支援新的通訊引擎OSX，同時與FATE Flow 1.x中的所有引擎保持相容############11. ######系統層和演算法層解耦，系統設定從FATE儲存庫移到Flow儲存庫## ##########12. ######在PyPI中發布FATE Flow包，並新增了用於服務管理的服務等級的CLI######

13. 完成1.x主功能遷移

#OSX(Open Site Exchange ) 1.0: 建構開放跨站點互聯互通通訊元件

1. ##參考北金融科技產業聯盟發布的《金融業隱私計算互聯互通API技術文檔》實現互聯互通傳輸接口，傳輸接口兼容FATE 1.X版本和FATE 2.X版本
2. 支援grpc同步傳輸和串流傳輸，支援TLS安全傳輸協議，相容FATE 1.X  rollsite元件
3. 支援Http 1.X協議傳輸,支援TLS安全傳輸協定
4. 支援訊息佇列模式傳輸，用於取代FATE1.X中的rabbitmq 以及pulsar元件
5. 支援eggroll 、spark計算引擎
6. 支援作為Exchange元件群組網，支援FATE 1.X 、FATE 2.X 存取
7. 相比rollsite元件完善了傳輸中異常處理邏輯，提供更精確日誌輸出用於快速定位異常
8. #路由配置與原始rollsite基本一致，降低了移植難度
9. 支援http介面修改路由表，並提供簡單權限校驗
10. 已完善了網路連線管理邏輯，降低連線外洩風險，提升傳輸效率
11. #對叢集內外部存取要求使用不同連接埠處理，方便對不同的連接埠採用不同的安全性原則

FATE-Arch 2.0: 建構統一標準化的API，輔助聯邦異質計算引擎互聯互通

1. Context： 引入「Context」來管理對開發者友善的API，例如「分散式運算」、「聯邦學習」、「加密演算法」、「張量運算」、「度量指標」和「輸入輸出管理」
2. Tensor: 引入Tensor資料結構處理本地及分散式矩陣運算，支援內建的異質加速；PHETensor 抽象層最佳化，透過標準介面使用多種底層PHE實現，自由切換
3. DataFrame: 引入“DataFrame”二維表格資料結構，用於資料輸入輸出和基礎特徵工程。 新增資料塊管理器支援列多型別管理，支援特徵匿名邏輯；新增統計、比較、索引、資料分箱及轉換等30 算子介面
4. #重構Federation：提供統一的聯邦通訊接口，包括統一的序列化/反序列化控制和更友善的API
5. Config：為 FATE 提供統一的配置設置，包括安全性配置、系統配置和演算法配置
6. 重構「logger」 #：根據不同使用方式和需求自訂日誌記錄細節
7. Launcher：一個簡化的聯邦程式執行工具，特別適合單機運行和本地調試
8. 協議層：支援SSHE（混合安全多方計算和同態加密協定）、ECDH、安全聚合協定
9. 整合Deepspeed：透過Eggroll支援分散式GPU叢集的訓練調度
10. 實驗性整合Crypten：支援SMPC，未來將增加更多協議和功能

FATE-Component 2.0: 建構標準化的演算法元件，適配不同調度引擎

1. 引入元件工具箱：將機器學習模組封裝為標準可執行程式
2. #透過spec和loader提供清晰的API，方便內部擴充和與外部系統整合
3. #輸入輸出：進一步解耦FATE-Flow，提供標準化的黑盒子呼叫流程
4. 元件定義：支援基於類型的定義，自動檢查元件參數，支援多種資料和模型輸入輸出類型，以及多重輸入

#FATE-ML 2.0: #核心演算法遷移與擴充，演算法開發體驗與效能顯著增強

1. 采用分布式，明密文Tensor/Dataframe编程模式，实现核心算法迁移和扩展：
2. 数据预处理：新增DataFrame Transformer, 完成Reader、PSI、Union和DataSplit迁移
3. 特征工程：完成HeteroFederatedBinning、HeteroFeatureSelection、DataStatistics、Sampling、FeatureScale和Pearson Correlation迁移
4. 联邦训练算法迁移：包括HeteroSecureBoost、HomoNN、HeteroCoordinatedLogisticRegressio、HeteroCoordinatedLinearRegression、SSHE-LogisticRegression和SSHE-LinearRegression
5. 新增联邦训练算法协议：基于MPC和同态加密混合协议的SSHE-HeteroNN

，基于FedPASS协议的FedPASS-HeteroNN

1. 性能显著提升
2.  PSI隐私保护求交：在一亿id的数据集上测试，且交集结果为1亿，性能为FATE-1.11的1.8 倍
3. 纵向联邦分箱算法：在guest 十万行*三十维特征，host 十万行*三百维特征的数据上测试，性能为FATE-1.11 的1.5 倍
4. 纵向联邦SSHE-LR算法: 在guest 十万行*三十维特征，host 十万行*三百维特征的数据上测试，性能为FATE-1.11的4.3 倍
5. 纵向联邦带协调方的LR算法:在guest 十万行*三十维特征，host 十万行*三百维特征的数据上测试，性能为FATE-1.11的1.2 倍
6. 纵向联邦神经网络(基于FedPass协议）：在guest 十万行*三十维特征， host 十万行*三百维特征的数据上测试，与明文性能基本一致，性能为FATE-1.11的143 倍

Eggroll 3.0: 系统性能、可用性和可靠性全面增强

1. JVM增强

• 核心组件重构：cluster-manager 和 node-manager 组件使用Java语言全面重建，确保统一性和提升性能
• 传输组件修改：移除 rollsite 传输组件，用更高效的 osx 组件替代
• 进程管理改进：实现了更高级的进程管理逻辑，显著降低进程泄露风险
• 数据存储逻辑增强：数据存储机制优化，提高性能和可靠性
• 并发控制改进：升级原有组件中的并发控制逻辑，提升性能
• 可视化组件：新增可视化组件，方便监控计算信息
• 日志完善：日志系统增强，输出更精确，有助于快速检测异常

2. Python升级

• roll_pair和 egg_pair重構：支援由呼叫方控制的序列化和分區方法，序列化安全性由調用方統一管理
• 中間表自動清理：解決了聯邦和計算之間中間表自動清理問題，無需調用方額外操作
• 配置控制統一：引入靈活的配置系統，支援直接傳遞、配置文件和環境變量，以滿足多樣化需求
• 客戶端PyPI安裝：Eggroll 3.0.0 支援客戶端通過PyPI進行簡易安裝
• 日誌配置最佳化：呼叫方可以根據需要自訂日誌格式
• 程式碼結構調整：程式碼庫精簡，結構和邏輯更清晰，並移除了大量冗餘程式碼

#匯聚開源力量，協助隱私運算產業發展

#跨產業、跨機構的資料融合在金融、電信、醫療、政務、廣告行銷、智慧城市等諸多場景都有廣泛的需求。隱私運算已成為打破產業間資料障礙的利器，互聯互通則是充分發揮這把利器作用的磨刀石。 FATE 2.0提供了一個開源框架來實現互聯互通，解決了業界的一大痛點。大多數隱私運算平台都可以透過實現開放的互通接口，達到和異質系統互動和整合的目的。

FATE 2.0#的推出為實現異質平台之間的互聯互通提供了有力支持，持續的迭代展現了科技不斷完善的承諾。不僅關乎資料隱私保護，更涉及整個產業向前發展。在這一進程中，隱私計算行業用戶和技術合作夥伴有了更多參與的機會。透過社群的共同努力，我們可以更好地應對資料安全和隱私保護挑戰，為建立更安全可靠的數位社會奠定堅實基礎。

FATE 2.0

的發布是產業合作與共贏的新篇章，期待更多的創新者和實踐者加入其中，共同推動隱私運算技術的蓬勃發展。 [1]

# 國家數據局：國家數據局等部門關於印發《「數據要素×」三年行動計畫（2024—2026）》的通知[2]

###### 中國信通院呂艾臨等：我國資料要素市場培育進展與趨勢##################[3]########### 《金融業隱私計算互聯互通API技術文件》v1.0版本已在FATE社群倉庫進行託管：https://github.com/FederatedAI/InterOp######

以上是FATE 2.0發布：實現異質聯邦學習系統互聯的詳細內容。更多資訊請關注PHP中文網其他相關文章！