深度学习彻底改变了机器学习和人工智能,在几个标准基准上取得了超人的表现。众所周知,深度学习模型训练效率低;它们通过多次处理数以百万计的训练数据来学习,并且需要强大的计算资源来同时并行处理大量数据,而不是顺序处理。深度学习模型也存在非预期失效模式;他们可能会被愚弄,做出错误的预测。 在本文中,我们研究了提高深度学习模型训练效率和鲁棒性的方法。在学习视觉语义嵌入的背景下,我们发现优先学习更多的信息训练数据可以提高收敛速度和提高测试数据的泛化性能。我们形式化了一个简单的技巧,称为硬负挖掘,作为学习目标函数的修改,没有计算开销。接下来,我们在深度学习的通用优化方法中寻求优化速度的改进。我们展示了对训练数据采样的冗余感知修改提高了训练速度,并开发了一种检测训练信号多样性的有效方法,即梯度聚类。最后,我们研究了深度学习中的对抗鲁棒性,以及在不使用额外数据训练的情况下实现最大对抗鲁棒性的方法。对于线性模型,我们证明保证最大的鲁棒性实现只有通过适当的选择优化器,正则化,或架构。
2022-06-27 22:04:54 6.97MB 机器学习
1
自1948年引入信息论以来,信息论已被证明在分析与压缩、存储和传输数据有关的问题方面起着重要作用。例如,信息论允许分析数据通信和压缩的基本限制,并在几十年的实际通信系统设计中发挥了作用。近年来,在使用信息理论方法解决数据压缩、数据通信和网络之外的问题方面出现了复兴,例如压缩感知、数据获取、数据分析、机器学习、图挖掘、社区检测、隐私和公平。在这本书中,我们探索了信号处理、机器学习、学习理论和统计的接口上的一系列广泛的问题,其中源自信息论的工具和方法可以提供类似的好处。几十年来,信息论在这一界面上的作用确实得到了承认。一个突出的例子是在1980年代使用互信息、度量熵和容量等信息理论量来建立估计的极大极小率。在这里,我们打算探索这个界面的现代应用,这些应用正在塑造21世纪的数据科学。 当然,标准信息理论工具与信号处理或数据分析方法之间有一些显著的差异。从整体上说,信息论倾向于关注渐近极限,使用大的块长度,并假设数据是由有限的比特数表示,并通过一个噪声信道观看。标准结果不关心复杂性,而是更多地关注通过可实现性和反向结果表征的基本限制。另一方面,一些信号处理技术,如采样理论,专注于离散时间表示
2022-06-27 22:04:54 9.13MB 机器学习
图上的机器学习方法在许多应用中已经被证明是有用的,因为它们能够处理一般结构化数据。高斯马尔可夫随机场(GMRFs)框架提供了一种原则性的方法,利用图的稀疏性结构来定义高斯模型。本文在深度GMRF的多层结构基础上,针对一般图提出了一种灵活的GMRF模型,该模型最初只针对格点图提出。通过设计一种新型的层,我们使模型能够缩放到大的图。该层的构造允许使用变分推理和现有的软件框架的图神经网络进行有效的训练。对于高斯似然,潜在场可用接近精确的贝叶斯推断。这允许进行预测,并伴随不确定性估计。在大量的合成和真实数据集上的实验验证了所提出的模型的有效性,在这些实验中,它比其他贝叶斯和深度学习方法都要好。
2022-06-27 22:04:53 2.55MB 机器学习
1
使用VScode搭建ROS开发环境
2022-06-27 22:04:53 144KB ros vscode
1
机器学习模型,基于paddlepaddle训练的分类,120种狗狗分类,已经封装成web,支持一键部署,操作简单,只需按照paddlepaddle,和paddlex等Python用到的相关库,既可一键部署
2022-06-27 22:04:52 196.63MB 机器学习 分类 图像分类
机器学习基础知识点总计,面试知识点,机器学习面经
2022-06-27 22:04:51 2.97MB 机器学习
1
人工智能-基于BP神经网络的高填石路堤本构模型参数识别及应用研究.pdf
2022-06-27 19:10:36 18.9MB 人工智能-基于BP神经网络的高填
人工智能-基于BP神经网络的高校学费定价模型的建立.pdf
2022-06-27 19:10:35 1000KB 人工智能-基于BP神经网络的高校
人工智能-基于BP神经网络的机动车保有量预警模型研究.pdf
2022-06-27 19:10:35 2.87MB 人工智能-基于BP神经网络的机动
人工智能-基于BP神经网络的机架焊接用量优化研究.pdf
2022-06-27 19:10:34 1.82MB 人工智能-基于BP神经网络的机架
人工智能-基于BP神经网络的鸡蛋新鲜度识别方法的研究.pdf
2022-06-27 19:10:34 2.07MB 人工智能-基于BP神经网络的鸡蛋
人工智能-基于BP神经网络的集装箱箱号识别研究.pdf
2022-06-27 19:10:33 1.66MB 人工智能-基于BP神经网络的集装
人工智能-基于BP神经网络的技术创新扩散环境评价研究.pdf
2022-06-27 19:10:33 2.68MB 人工智能-基于BP神经网络的技术
人工智能-基于BP神经网络的加油站油品罐存量的预测研究及应用.pdf
2022-06-27 19:10:32 2.85MB 人工智能-基于BP神经网络的加油
人工智能-基于BP神经网络的健康保险欺诈识别研究.pdf
2022-06-27 19:10:32 1.97MB 人工智能-基于BP神经网络的健康