Information-Theoretic Methods in Data Science.pdf

自1948年引入信息论以来，信息论已被证明在分析与压缩、存储和传输数据有关的问题方面起着重要作用。例如，信息论允许分析数据通信和压缩的基本限制，并在几十年的实际通信系统设计中发挥了作用。近年来，在使用信息理论方法解决数据压缩、数据通信和网络之外的问题方面出现了复兴，例如压缩感知、数据获取、数据分析、机器学习、图挖掘、社区检测、隐私和公平。在这本书中，我们探索了信号处理、机器学习、学习理论和统计的接口上的一系列广泛的问题，其中源自信息论的工具和方法可以提供类似的好处。几十年来，信息论在这一界面上的作用确实得到了承认。一个突出的例子是在1980年代使用互信息、度量熵和容量等信息理论量来建立估计的极大极小率。在这里，我们打算探索这个界面的现代应用，这些应用正在塑造21世纪的数据科学。 当然，标准信息理论工具与信号处理或数据分析方法之间有一些显著的差异。从整体上说，信息论倾向于关注渐近极限，使用大的块长度，并假设数据是由有限的比特数表示，并通过一个噪声信道观看。标准结果不关心复杂性，而是更多地关注通过可实现性和反向结果表征的基本限制。另一方面，一些信号处理技术，如采样理论，专注于离散时间表示