一.概述

梯度下降属于迭代法的一种,可以用于求解最小二乘问题。在求解机器学习算法的模型参数时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

• 随机梯度下降：随机选取一条训练数据作为训练样本计算最小化的损失函数和模型参数；
• 批量梯度下降：应用全部训练数据作为训练样本计算最小化的损失函数和模型参数；
• Mini-batch：应用小批量的训练数据；这是随机梯度下降和批量梯度下降的中间产物；

二.随机梯度下降算法代码实现

import numpy as np
import math

__author__ = 'aaa'
# 生成测试数据
x = 2 * np.random.rand(100, 1)  # 随机生成100*1的二维数组，值分别在0~2之间
y = 4 + 3 * x + np.random.randn(100, 1)  # 随机生成100*1的二维数组，值分别在4~11之间

x_b = np.c_[np.ones((100, 1)), x]
theta = np.random.randn(2, 1)

n_epochs = 100
t0, t1 = 1, 10
m = n_epochs

def learn_step(t):  # 模拟实现动态修改步长
    return t0 / (t + t1)

for epoch in range(n_epochs):
    for i in range(m):
        random_index = np.random.randint(m) # 生成随机下标，获取随机训练样本数据

        x_i = x_b[random_index:random_index+1]
        y_i = y[random_index:random_index+1]

        gradients = 2 * x_i.T.dot(x_i.dot(theta)-y_i)  # 调用解析解函数
        learning_rate = learn_step(epoch * m + i)
        theta = theta - learning_rate * gradients

print("最终结果：\n{}".format(theta))
# 计算误差
error = math.sqrt(math.pow((theta[0][0] - 4), 2) + math.pow((theta[1][0] - 3), 2))
print("误差：\n{}".format(error))

执行结果：

三.批量梯度下降算法代码实现

import numpy as np
import math

# 定义基础变量
learning_rate = 0.1
n_iterations = 1000
m = 100

x = 2 * np.random.rand(m, 1)  # 生成一组100*1的二维矩阵，该矩阵数据服从0~1均匀分布，下同
y = 4 + 3 * x + np.random.randn(m, 1)  # 正态分布
x_b = np.c_[np.ones((m, 1)), x]  # np.((100, 1)):表示生成100行1列的矩阵，内部填充为1

# 设置阈值
threshold = 0.2
# 初始化theta
theta = np.random.randn(2, 1)
count = 0
before_value = 1

# 设置阈值、超参数和迭代次数；迭代完次数或者满足阈值，就认为收敛
for iteration in range(n_iterations):
    count += 1
    # 求梯度gradient
    gradients = 1/m * x_b.T.dot(x_b.dot(theta)-y)  # 求平均梯度
    # 应用公式调整theta值
    theta = theta - learning_rate * gradients
    # 判断是否满足阈值
    mid = math.sqrt(math.pow((theta[0][0] - 4), 2) + math.pow((theta[1][0] - 3), 2))
    # 满足阈值，结束循环
    err = math.fabs(mid - before_value)
    if threshold >= mid: # 前后两次的计算结果差值极小时，可认为已经接近收敛
    	break
		else:
    	if err < 0.01:
            print('多次迭代仍不能满足阈值，请修改阈值或完善程序！')
            break

    before_value = mid # 暂时保存上一次的中间结果，用于计算差值
print('结果：\n x is : {}\n y is : {}\n 误差 : {}'.format(theta[0][0], theta[1][0], before_value))

执行结果：

四.总结

不管是随机梯度还是批量梯度，它们的区别在于每次迭代计算应用的数据多少；随机一条优点是计算快，但是容易造成抖动，且有很大的随机性【管中窥豹，可见一斑】；批量全部优点是计算准确，可以稳步下降，但每次迭代计算时间长，资源消耗大；中庸之道在算法领域也是一个很重要的思想，Mini-batch就是其中的产物，每次计算取一小批数据进行迭代计算，即减低了异常数据带来的抖动，也降低了每次迭代计算的数据计算量；对于一般的应用场景，Mini-batch会是一个比较好的选择！