基于局部-全局融合进行多模态联邦学习
题目:基于局部-全局融合进行多模态联邦学习
作者: Zilin Xia∗,1, Min Tan∗,1, Zhigang Gao+,2,
Lingqiang Chu1, Tingting Han1
单位:
杭州电子科技大学计算机科学与技术学院(4人)与中国计量大学信息工程学院(1人)合作完成。
会议: 2024 IEEE International Conference on
Systems, Man, and Cybernetics (SMC)
会议时间地点:October 6-10, 2024. Sarawak,
Malaysia
摘要
物联网(IoT)设备在现代生活的各个领域广泛分布,成为收集和分析多模态数据的重要来源。然而,与IoT设备相关的数据所有权和隐私问题使得多设备间的数据共享变得不切实际。近年来,多模态联邦学习(MFL)
作为一种创新解决方案应运而生,使得每个设备客户端能够在无需交换本地数据的情况下,协作训练出性能良好的本地模型。然而,现有的大多数多模态联邦学习方法优先训练强大的全局服务器模型,却忽视了本地客户端模型的性能。本文提出
FedA ...
多模态学习
多模态学习
MultiModal
多模态学习(Multimodal
Learning)是一种利用来自不同感官或交互方式的数据进行学习的方法,这些数据模态可能包括文本、图像、音频、视频等。多模态学习通过融合多种数据模态来训练模型,从而提高模型的感知与理解能力,实现跨模态的信息交互与融合。
接下来分三部分:模态表示、多模态融合、跨模态对齐,一起来总结下多模型的核心:多模态学习
一、模态表示
什么是模态表示(Modal
Representation)?模态表示是将不同感官或交互方式的数据(如文本、图像、声音等)转换为计算机可理解和处理的形式,以便进行后续的计算、分析和融合。
文本模态的表示:文本模态的表示方法有多种,如独热表示、低维空间表示(如通过神经网络模型学习得到的转换矩阵将单词或字映射到语义空间中)、词袋表示及其衍生出的n-grams词袋表示等。目前,主流的文本表示方法是预训练文本模型,如BERT。
视觉模态的表示:视觉模态分为图像模态和视频模态。图像模态的表示主要通过卷积神经网络(CNN)实现,如LeNet-5、AlexNet、VGG、GoogLeNet、Res ...
SCAFFOLD-联邦学习的随机控制平均
SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
参考文章:ICML 2020 | SCAFFOLD:联邦学习的随机控制平均_scaffold论文-CSDN博客
详解SCAFFOLD:解决联邦学习中的客户端漂移问题 Scaffold: Stochastic controlled averaging for federated learning-CSDN博客
论文地址:SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
个人博客重启篇-联邦学习基础知识
个人博客重启篇
由于之前的一段时间忙于考研和毕业设计导致个人博客网站的更新停滞,从今天起就要开始在博客上面分享我的学习的内容和总结,由于网站没有购买相应的服务器和域名,只上传到了githubpage上面,所以有时候会出现访问加载缓慢和访问异常,目前正在想办法解决中。现有思路是主线路托管于
Netlify 与 Vercel
并配置域名以支持大陆境内访问,可以尝试一下是否行得通。
pytho中的Numpy库
在Python的第三方包中,numpy是个功能非常强大的扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。
### np.random.seed()函数的应用
np.random.seed()函数可以保证生成的随机数具有可预测性。
这里的可预测性是指相同的种子(seed值)所产生的随机数是相同的。如果不设置seed值,则系统根据时间来自己选择这个值,此时每次生成的随机数因时间差异而不同。
语法:
numpy.random.seed(seed=None) 输入:
—-seed参数默认为空,可选择整数或者数组,可选。
np.rando ...
FedAvg-联邦学习开山之作
因此,文章提出了一种名为联邦学习 (Federated Learning)
的新方法,将数据保留在本地设备上进行模型训练,而不是传输数据。只需将模型更新发送到中央服务器进行聚合,从而减少了隐私泄露的风险,这显著降低了通信开销。
精读:https://blog.csdn.net/chrnhao/article/details/142751006?ops_request_misc=%257B%2522request%255Fid%2522%253A%252235dda9f343e0c110dbacb19ffb23c3fa%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=35dda9f343e0c110dbacb19ffb23c3fa&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allfirst_rank_ecpm_v1~r ...
杨强-联邦学习综述
摘要
如今人工智能仍然存在两个重大挑战:
数据以孤岛的形式存在。
数据隐私和安全问题。
针对上述挑战提出可能的解决方法:
安全联邦学习(secure
federated learning)
全面介绍了安全联邦学习的框架,包括
1)横向联邦学习(horizontal
federated learning),
2)纵向联邦学习(vertical
federated learning),
3)联邦迁移学习(federated
transfer learning)
提供FL定义、架构、FL框架的应用,以及在这个学科领域已存在工作的全面调查研究;此外,提出基于联邦机制在各个组织者之间建立数据网络
作为一种有效方案使知识在不被侵害用户隐私情况下共享。
本文提出了可能的解决方案:一个更全面的安全联邦学习框架。该框架包括Horizontal(水平or横向)联邦学习、Vertical(垂直or纵向)联邦学习,以及Transfer(迁移)联邦学习。本文提供了联邦学习框架的定义、架构和应用程序,以及建立了基于联邦机制的组织之间建立数据网络,作为一种可以在不 ...
解决hexo引入图床,手机和web不显示图片的问题
解决hexo引入图床,手机和web不显示图片的问题1. 前言hexo引入图片的方式有很多种:
从本地文件加载。
使用图床,markdown中直接引用图床的链接。
2.问题描述Hexo使用图床的方式加载在blog中加载图片,会在非本人的电脑或者手机端报“html访问图片资源403问题(http referrer)”,导致采用图床方式加载的图片全部无法加载。
3.问题原因http请求体的header中有一个referrer字段,用来表示发起http请求的源地址信息,这个referrer信息是可以省略但是不可修改的,就是说你只能设置是否带上这个referrer信息,不能定制referrer里面的值。
服务器端在拿到这个referrer值后就可以进行相关的处理,比如图片资源,可以通过referrer值判断请求是否来自本站,若不是则返回403或者重定向返回其他信息,从而实现图片的防盗链。上面出现403就是因为,请求的是别人服务器上的资源,但把自己的referrer信息带过去了,被对方服务器拦截返回了403。
在前端可以通过meta来设置referrer policy(来源策略),具体可以设置 ...
C语言编程题
第三章12345678910#include<stdio.h>#include<math.h>int main(void){ double r=0.07 ,p; int n=10; p=pow((1+r),n); //乘方运算 printf("十年后我国国民生产总值与现在相比增长了:%f\n",p); return 0;}
存款利息计算12345678910111213141516171819#include<stdio.h>#include<math.h>int main(void){ //int m=1000; //钱数,年数 float p1,p2,p3,p4,p5,m=1000; //年利率,本息和 float r5=0.03,r3=0.0275,r2=0.021,r1=0.015,r0=0.0035; p1=m*(1+5*r5); //定期存5年 printf("定期存5年本息为:%f\n",p1); p2=m*(1+2*r2)*(1+3*r3) ...
新年快乐!
祝在新的一年里:一家和和睦睦,一年开开心心;一生快快乐乐,一世平平安安;天天精神百倍,月月喜气洋洋;年年财源广进,岁岁平安祥和!新年快乐!
元日王安石爆竹声中一岁除,春风送暖入屠苏。
千门万户曈曈日,总把新桃换旧符。
庆新年道平常鞭炮声声迎新年,妙联横生贴门前。
笑声处处传入耳,美味佳肴上餐桌。
谈天论地成一片,灯光通明照残夜。
稚童新衣相夸耀,旧去新来气象清。
Your browser does not support the video tag.
Your browser does not support the video tag.
Your browser does not support the video tag.
test1 1test1 2test1 3This is Tab 1.This is Tab 2.This is Tab 3.
新的一年
最重要的人,最重要的事,新年快乐🎉🎉🎉
愿望种子
新的一年许个愿吧
烟花
红红 ...
ChatGPT新一代人工智能
ChatGPT新一代人工智能
介绍ChatGPT
ChatGPT是由OpenAI开发的一种大型语言模型,它能够通过对语言的自然处理来回答问题、产生文本和执行其他的任务。
ChatGPT是基于GPT-3(Generative Pre-training Transformer
3)模型构建的,GPT-3是目前为止最大的自然语言处理模型。它使用了大量的训练数据和多层的神经网络架构,能够对自然语言进行高精度的处理。
ChatGPT可以进行自然语言对话,回答用户的问题,并能够产生自然语言文本。它可以用于各种应用场景,比如聊天机器人、客服系统、自然语言处理等。
在使用ChatGPT时,用户可以通过简单的API调用来使用它的功能。用户可以输入一个自然语言的问题或话语,ChatGPT会返回一个自然语言的答案或文本。用户还可以通过设置参数来调整ChatGPT的行为。
总的来说,ChatGPT是一种非常强大的自然语言处理工具,能够为用户提供高质量的自然语言对话和文本产生服务。它在当前的互联网行业中有广泛的应用前景,是一种值得关注的技术。
ChatGPT的功能
文本生成:可 ...