隨機梯度下降法（SGD）的主要思路是什么？

將損失函數(shù)關(guān)于權(quán)重偏置參數(shù)的梯度作為線索，沿梯度方向更新參數(shù)，并重復(fù)步驟多次，逐漸靠近最優(yōu)參數(shù)。

隨機梯度下降法中有哪些求梯度的方法？

這里的梯度特指的是損失函數(shù)關(guān)于權(quán)重偏置參數(shù)的梯度。主要有兩種求梯度的方法：