如果分類的類別個數(shù)是2，softmax回歸等價于邏輯回歸嗎？

在邏輯回歸中，我們使用sigmoid函數(shù)，將線性輸出z轉(zhuǎn)化為一個概率。

這個概率表示樣本屬于正例的可能性。

在softmax回歸中，我們使用softmax函數(shù)將輸出值zk同樣轉(zhuǎn)化為概率。

這個概率表示樣本屬于第k個類別的可能性。

當(dāng)類別數(shù)為2時，softmax回歸和邏輯回歸的輸出等價的：

下面我們就來推導(dǎo)，當(dāng)類別個數(shù)為2時，softmax回歸等價于邏輯回歸，這一結(jié)論。

設(shè)有兩個類別，類別1和類別0，某樣本x屬于1或0的概率為p(y=1)和p(y=0)。

在邏輯回歸中，使用sigmoid函數(shù)來預(yù)測正例的概率，結(jié)果p(y=1)=sigmoid(z)。

在softmax回歸中，類別k的概率為，softmax(zk)。

根據(jù)softmax函數(shù)，類別0和類別1的概率分別是softmax(z0)、softmax(z1)。將這兩個等式相除，得到p(y=0)除以p(y=1)，等于e的z0次方除以e的z1次方。

接著將p(y=0)=1-p(y=1)，帶入這個式子，得到，(1 - p(y=1)) / p(y=1)= e的z0減z1次方。

將p(y=1)，表示出來，得到 1/ 1+e的z_0-z_1次方。

這時我們將z_0看做是0，或者將z_0-z_1看做是一個整體，對應(yīng)-z，就會得到邏輯回歸的形式了。

因此，可以得出結(jié)論，在處理二分類問題時，softmax回歸和邏輯回歸，實際上是完全等價的模型。