400 128 6709

行业新闻

FATE 2.0发布:实现异构联邦学习系统互联

发布时间:2024-01-16点击次数:


  • FATE 2.0全面升级,推动隐私计算联邦学习规模化应用


FATE开源平台宣布发布FATE 2.0版本,作为全球领先的联邦学习工业级开源框架。此次更新实现了联邦异构系统之间的互联互通,持续增强了隐私计算平台的互联互通能力。这一进展进一步推动了联邦学习与隐私计算规模化应用的发展。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通

FATE 2.0以全面互通为设计理念,采用开源方式对应用层、调度、通信、异构计算(算法)四个层面进行改造,实现了系统与系统、系统与算法、算法与算法之间异构互通的能力


FATE 2.0的设计兼容了北京金融科技产业联盟的《金融业隐私计算互联互通API技术文档》[3]等业内规范,在发布前,FATE 2.0已经和多个异构隐私计算平台完成了互联互通验证。近期北京金融科技产业联盟发布文档时提到,“课题组联合FATE开源社区、头部科技公司完成了五方跨平台、跨算法的互通联调,验证了接口文档在支持多方异构平台互联互通的可行性与安全性”。


访问以下网址获取FATE 2.0版本:

https://www.php.cn/link/99113167f3b816bdeb56ff1af6cec7af


  • FATE 2.0亮点概述
  • 应用层互联互通构建标准可扩展的联邦DSL,支持应用层互联互通,统一DSL适配多种异构隐私计算平台任务描述


  • 调度层互联互通:从多层面解耦系统模块来构建开放标准化的互联互通调度平台支持多种异构隐私计算平台间任务调度


  • 传输层跨站点互联互通:构建开放跨站点互联互通通信组件,支持多种传输模式以及多种通信协议, 可适配多种异构隐私计算平台间数据传输,增强传输效率和系统稳定性


  • 联邦异构计算互联互通构建分布式和明密文Tensor/DataFrame, 解耦HEMPC等安全协议和联邦算法协议,助力联邦异构计算引擎互联互通


  • 核心算法迁移和扩展,算法开发体验和性能显著增强:采用分布式,明密文Tensor/Dataframe编程模式,实现核心算法迁移和扩展;核心算法性能提升:PSI隐私保护求交算法性能提升1.8+倍,纵向联邦SSHE-LR算法性能提升4.3+倍,纵向联邦神经网络算法性能提升143倍等

FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通

FATE 2.0互联互通整体架构示意图


  • FATE 2.0功能一览

FATE-Client 2.0: 构建可扩展的联邦DSL支持应用层的互联互通

1. 引入新的可扩展和标准化的联邦DSL IR,即联邦建模流程DSL标准化中间层表示

2. 支持将python客户端联邦建模流程代码编译成DSL IR

3. DSL IR协议扩展增强: 支持多方不对称调度

4. 支持FATE的标准化联邦DSL IR与其他协议转化,如北京金融科技产业联盟互联互通BFIA协议的互相转化

5. 完成Flow Cli和Flow SDK功能迁移


FATE-Flow 2.0: 构建开放标准化的互联互通调度平台

1.适配可扩展和标准化的FATE 2.0 联邦DSL IR

2. 构建互联调度层框架,通过适配器方式支持其他协议,如《隐私计算互联互通API技术文档》所涉及的控制层接口。

3. 优化流程调度,调度逻辑解耦且可定制化,并增加了优先级调度

4. 优化算法组件调度,支持容器级算法加载,提升对跨平台异构场景的支持

5. 优化多版本算法组件注册,支持对组件运行模式的注册

6. 联邦DSL IR扩展增强:支持多方不对称调度

7. 优化客户端身份验证逻辑,支持多个客户端的权限管理

8. 优化RESTful接口,使入参字段和类型、返回字段和状态代码更加清晰

9.增加了OFX(Open Flow Exchange)模块:封装调度客户端,允许跨平台调度

10.支持新的通信引擎OSX,同时与FATE Flow 1.x中的所有引擎保持兼容

11. 系统层和算法层解耦,系统配置从FATE存储库移到Flow存储库

12. 在PyPI中发布FATE Flow包,并新增了用于服务管理的服务级别的CLI

13. 完成1.x主要功能迁移


OSX(Open Site Exchange) 1.0: 构建开放跨站点互联互通通信组件

  1. 参考北京金融科技产业联盟发布的《金融业隐私计算互联互通API技术文档》实现互联互通传输接口,传输接口兼容FATE 1.X版本和FATE 2.X版本
  2. 支持grpc同步传输和流式传输,支持TLS安全传输协议,兼容FATE 1.X  rollsite组件
  3. 支持Http 1.X协议传输,支持TLS安全传输协议
  4. 支持消息队列模式传输,用于替代FATE1.X中的rabbitmq 以及pulsar组件
  5. 支持eggroll 、spark计算引擎
  6. 支持作为Exchange组件组网,支持FATE 1.X 、FATE 2.X 接入
  7. 相比rollsite组件完善了传输中异常处理逻辑,提供更精确日志输出用于快速定位异常
  8. 路由配置与原rollsite基本一致,降低了移植难度
  9. 支持http接口修改路由表,并提供简单权限校验
  10. 完善了网络连接管理逻辑,降低连接泄露风险,提升传输效率
  11. 对集群内外部访问请求使用不同端口处理,方便对不同的端口采用不同的安全策略


FATE-Arch 2.0: 构建统一标准化的API,助力联邦异构计算引擎互联互通

  1. Context: 引入“Context”来管理对开发者友好的API,例如“分布式计算”、“联邦学习”、“加密算法”、“张量运算”、“度量指标”和“输入输出管理”
  2. Tensor: 引入Tensor数据结构处理本地及分布式矩阵运算,支持内建的异构加速;PHETensor 抽象层优化,通过标准接口使用多种底层PHE实现,自由切换
  3. DataFrame: 引入“DataFrame”二维表格数据结构,用于数据输入输出和基础特征工程新增数据块管理器支持列多类型管理,支持特征匿名逻辑;新增统计、比较、索引、数据分箱及转化等30+算子接口
  4. 重构Federation:提供统一的联邦通信接口,包括统一的序列化/反序列化控制和更友好的API
  5. Config:为 FATE 提供统一的配置设置,包括安全配置、系统配置和算法配置
  6. 重构“logger”根据不同使用方式和需求定制日志记录细节
  7. Launcher:一个简化的联邦程序执行工具,特别适合单机运行和本地调试
  8. 协议层:支持SSHE(混合安全多方计算和同态加密协议)、ECDH、安全聚合协议
  9. 整合Deepspeed:通过Eggroll支持分布式GPU集群的训练调度
  10. 实验性集成Crypten:支持SMPC,未来将添加更多协议和功能


FATE-Component 2.0: 构建标准化的算法组件,适配不同调度引擎

  1. 引入组件工具箱:将机器学习模块封装为标准可执行程序
  2. 通过spec和loader提供清晰的API,便于内部扩展和与外部系统集成
  3. 输入输出:进一步解耦FATE-Flow,提供标准化的黑盒调用流程
  4. 组件定义:支持基于类型的定义,自动检查组件参数,支持多种数据和模型输入输出类型,以及多重输入


FATE-ML 2.0: 核心算法迁移和扩展算法开发体验和性能显著增强

  1. 采用分布式,明密文Tensor/Dataframe编程模式,实现核心算法迁移和扩展:
  2. 数据预处理:新增DataFrame Transformer, 完成Reader、PSI、Union和DataSplit迁移
  3. 特征工程:完成HeteroFederatedBinning、HeteroFeatureSelection、DataStatistics、Sampling、FeatureScale和Pearson Correlation迁移
  4. 联邦训练算法迁移:包括HeteroSecureBoost、HomoNN、HeteroCoordinatedLogisticRegressio、HeteroCoordinatedLinearRegression、SSHE-LogisticRegression和SSHE-LinearRegression
  5. 新增联邦训练算法协议:基于MPC和同态加密混合协议的SSHE-HeteroNN

基于FedPASS协议的FedPASS-HeteroNN

  1. 性能显著提升
  2.  PSI隐私保护求交:在一亿id的数据集上测试,且交集结果为1亿,性能为FATE-1.11的1.8+倍
  3. 纵向联邦分箱算法:在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11 的1.5+倍
  4. 纵向联邦SSHE-LR算法: 在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11的4.3+倍
  5. 纵向联邦带协调方的LR算法:在guest 十万行*三十维特征,host 十万行*三百维特征的数据上测试,性能为FATE-1.11的1.2+倍
  6. 纵向联邦神经网络(基于FedPass协议):在guest 十万行*三十维特征, host 十万行*三百维特征的数据上测试,与明文性能基本一致,性能为FATE-1.11的143+倍


Eggroll 3.0: 系统性能、可用性和可靠性全面增强

1. JVM增强

  • 核心组件重构:cluster-manager 和 node-manager 组件使用J*a语言全面重建,确保统一性和提升性能
  • 传输组件修改:移除 rollsite 传输组件,用更高效的 osx 组件替代
  • 进程管理改进:实现了更高级的进程管理逻辑,显著降低进程泄露风险
  • 数据存储逻辑增强:数据存储机制优化,提高性能和可靠性
  • 并发控制改进:升级原有组件中的并发控制逻辑,提升性能
  • 可视化组件:新增可视化组件,方便监控计算信息
  • 日志完善:日志系统增强,输出更精确,有助于快速检测异常

2. Python升级

  • roll_pair和 egg_pair重构:支持由调用方控制的序列化和分区方法序列化安全由调用方统一管理
  • 中间表自动清理:解决了联邦和计算之间中间表自动清理问题,无需调用方额外操作
  • 配置控制统一:引入灵活的配置系统,支持直接传递、配置文件和环境变量,以满足多样化需求
  • 客户端PyPI安装:Eggroll 3.0.0 支持客户端通过PyPI进行简易安装
  • 日志配置优化:调用方可以根据需要自定义日志格式
  • 代码结构调整:代码库精简,结构和逻辑更清晰,并移除了大量冗余代码



  • 汇聚开源力量,助力隐私计算行业发展

跨行业、跨机构的数据融合在金融、电信、医疗、政务、广告营销、智慧城市等诸多场景都有着广泛的需求。隐私计算已成为打破行业间数据壁垒的利器,互联互通则是充分发挥这把利器作用的磨刀石。FATE 2.0提供了一个开源框架来实现互联互通,解决了业内的一大痛点。大多数隐私计算平台都可以通过实现开放的互通接口,达到和异构系统交互和集成的目的。

FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通

FATE 2.0的推出为实现异构平台之间的互联互通提供了有力支持,持续的迭代展现了技术不断完善的承诺。不仅关乎数据隐私保护,更涉及到整个行业向前发展。在这一进程中,隐私计算行业用户和技术合作伙伴有了更多参与的机会。通过社区的共同努力,我们可以更好地应对数据安全和隐私保护挑战,为建设更加安全可靠的数字社会奠定坚实基础。FATE 2.0的发布是行业合作与共赢的新篇章,期待更多的创新者和实践者加入其中,共同推动隐私计算技术的蓬勃发展。

[1] 国家数据局:国家数据局等部门关于印发《“数据要素×”三年行动计划(2025—2026年)》的通知

[2] 中国信通院吕艾临等:我国数据要素市场培育进展与趋势

[3] 《金融业隐私计算互联互通API技术文档》v1.0版本已在FATE社区仓库进行托管:https://github.com/FederatedAI/InterOp

以上就是FATE 2.0发布:实现异构联邦学习系统互联的详细内容,更多请关注其它相关文章!


# 数据结构  # 浙江网站高端建设平台  # 电子产品推广营销  # 前程似锦近义词网站建设  # 淘宝流量端关键词排名  # 宜良谷歌seo优化教程  # 湖北网站建设接单  # 徐州网络推广视频营销  # 上海网站推广蔚歆hfqjwl下拉  # 小程序网站公众号推广  # 站外恶意营销推广内容  # 上海  # 文档  # 开源  # 客户端  # 重构  # 维特  # 异构  # 互联  # 宋体  # fig  # follow  # 联邦学习  # 隐私计算  # 工程 


相关栏目: 【 行业新闻62819 】 【 科技资讯67470


相关推荐: AI无法对传统文化符号进行解构和创新  昇腾AI大模型训推一体化解决方案将在WAIC发布  看似低调,实则稳健:字节在AI路上会遇到什么?  时间、空间可控的视频生成走进现实,阿里大模型新作VideoComposer火了  英伟达的AI领域垄断地位:一直无法撼动吗?  1000万张照片训练AI模型 科学家找到水下定位新方法  微软AR/VR专利提出使用时间复用谐振驱动产生双极性电源  2025 世界人工智能大会闭幕,32 个重大产业签约总额达 288 亿元  DreamAvatar数字人使用教程  印象笔记开放旗下“印象 AI”,可一键生成思维导图、写文章等  开创全新虚拟现实体验的Pimax Crystal VR头显  GPT-4使用混合大模型?研究证明MoE+指令调优确实让大模型性能超群  OpenAI 引入个性化指令功能,消除对话中的重复偏好与信息  如何用户外电源给无人机实现持久续航  探索人工智能在物联网领域的影响与改变  华为即将推出HarmonyOS 4,再度领先行业的AI技术  AI取代人工先拿教育行业开刀?美版“作业帮”启动裁员  支持跨语言、人声狗吠互换,仅利用最近邻的简单语音转换模型有多神奇  腾讯TRS之元学习与跨域推荐的工业实战  腾讯企点客服接待与营销分析能力升级!企业操作更高效、人机交互更智能  世界人工智能大会高合发表演讲,HiPhi Y即将全球上市  选对AI智能写作软件,让创作游刃有余!  马斯克发推讽刺人工智能,机器学习本质是统计?  全媒封面丨⑤商汤科技:原创AI算法“发电厂”  马斯克“揭秘”人工智能真面目  华为HarmonyOS 4将集|成人|工智能大型模型  MetaGPT AI 模型开源:可模拟软件公司开发过程,生成高质量代码  飒智智能机器人核心技术与应用论坛暨一体化控制器发布会成功举办  普林斯顿Infinigen矩阵开启!AI造物主100%创造大自然,逼真到炸裂  以计算机视觉技术为基础的库存管理如何改革零售行业  Meta 开源 AI 语言模型 MusicGen,可将文本和旋律转化为完整乐曲  首届亚太网络法实务大会召开 九位大咖探讨元宇宙与人工智能发展  清华&中国气象局大模型登Nature:解决世界级难题,「鬼天气」预报时效首次达3小时  WPS AI 官网上线:可申请体验官资格,支持 Windows、安卓端下载  机智云AI离线语音识别模组,让家电变得更加智能便捷  亲身体验鸿蒙4:AI大模型带来的便利,告别单纯的旁观者状态  华为推出全新操作系统HarmonyOS 4,AI和新引擎完美融合  苹果AIGC专利:可通过语音指令生成AR/VR虚拟场景  “直击”AI新世界,智能机器人再次“火出圈”了  谷歌计划在上海举办开发者大会,重点关注机器学习和生成式AI领域  机构研选 | 虚拟电厂是电力物联网升级版 智能电网望迎来高速发展  OpenAI 为开发者推出 GPT 聊天机器人 API 大更新,同时降低价格  英伟达推出 L40S GPU,AI 推理性能超过 A100 约 1.2 倍  水路两栖艇、消防灭火机器人……这个展览“黑科技”抢眼  梦想实现!硬核科幻大片VR智能头盔即将问世  可按用户语气自动回复消息,Zoom 推出基于生成式 AI 的新功能  OpenAI高管:AI能创造新的就业机会 但也会淘汰一些  时隔 4 年:谷歌更新安卓机器人 LOGO,形象更立体  人工智能时代的科幻译者怎么办?“做好翻译工作的高端10%”|文化观察  第四范式“式说”大模型入选《2025年通用人工智能创新应用案例集》 

400 128 6709
E-mail

contact@tlftec.cn

扫一扫,添加微信

©  云南淘乐房科技有限公司 版权所有  滇ICP备2025071560号  

云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司 云南淘乐房科技有限公司