用C++实现了梯度下降求多元函数极值的算法，有可能会陷入局部最优解。

Code demo for single-pixel imaging (SPI) with different reconstruction methods including [1] differential ghost imaging (DGI) [2] gradient descent (GD) [3] conjugate gradient descent (CGD) [4] Poisson maximum likelihood (Poisson) [5] alternating projection (AP) [6] sparse representation compressive sensing (Sparse) [7] total variation compressive sensing (TV)

梯度下降C++的简单实现，没有做优化，包含源码，可执行程序以及测试集、训练集和结果。

逻辑回归实战详细代码，含注释。逻辑回归利用最优化算法梯度下降来找最佳回归系数。用其做实战预测疝气病症的病马死亡率。

使用多项式拟合一个周期内、加入噪声的正弦曲线。 语言：MATLAB 求解方式：由于自己写的梯度下降函数收敛太慢，因此调用MATLAB梯度下降优化函数；后期用共轭梯度方法求解，收敛较快。代码都在里面，但是比较乱。

采用动量梯度下降算法训练 BP 网络。 训练样本定义如下： 输入矢量为 p =[-1 -2 3 1 -1 1 5 -3] 目标矢量为 t = [-1 -1 1 1] 有注释

test2: 一、 基本最小二乘法一次算法 二、 基本最小二乘法递推算法 三、 最小二乘遗忘因子一次完成算法 四、 最小二乘遗忘因子递推算法 五、 最小二乘限定记忆算法 六、 最小二乘偏差补偿算法 七、 增广最小二乘算法 八、 广义最小二乘算法 test3: 一、 辅助变量自适应滤波算法 二、 辅助变量纯滞后算法 三、 辅助变量Tally原理算法 四、 多级最小二乘算法 五、 各类改进最小二乘算法的特点 test4: 1、 第二类随机性辨识问题的梯度校正 2、 随机牛顿法 test5: 1、 递推的极大似然估计 2、 预报误差参数辨识 test6: 1、 根据Hankel矩阵秩估计模型阶次(弱噪声) 2、 根据Hankel矩阵秩估计模型阶次(强噪声) 3、 利用行列式比估计模型阶次（白噪声） 4、 利用行列式比估计模型阶次（有色噪声） 5、 利用残差的方差估计模型阶次（白噪声） 6、 利用残差的方差估计模型阶次（有色噪声） 7、 AIV定阶法（白噪声） 8、 AIV定阶法（有色噪声） test7: 1、 一阶惯性+纯滞后环节-----两点法 2、 面积法1 3、 levy法

LogiReg_data.txt 前两列为特征（成绩），第三列为录取与否