網(wǎng)上有很多關(guān)于lm智能pos機(jī),人工智能中的19 種損失函數(shù)的知識(shí)，也有很多人為大家解答關(guān)于lm智能pos機(jī)的問(wèn)題，今天pos機(jī)之家(m.mxllmx.com)為大家整理了關(guān)于這方面的知識(shí)，讓我們一起來(lái)看下吧!

本文目錄一覽：

1、lm智能pos機(jī)

lm智能pos機(jī)

作者：mingo_敏鏈接：https://blog.csdn.net/shanglianlm/article/details/85019768

tensorflow和pytorch很多都是相似的，這里以pytorch為例。

1. L1范數(shù)損失 L1Loss

計(jì)算 output 和 target 之差的絕對(duì)值。

torch.nn.L1Loss(reduction=\'mean\')

參數(shù)：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認(rèn)：mean。

計(jì)算 output 和 target 之差的均方差。

torch.nn.MSELoss(reduction=\'mean\')

參數(shù)：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認(rèn)：mean。

當(dāng)訓(xùn)練有 C 個(gè)類別的分類問(wèn)題時(shí)很有效. 可選參數(shù) weight 必須是一個(gè)1維 Tensor, 權(quán)重將被分配給各個(gè)類別. 對(duì)于不平衡的訓(xùn)練集非常有效。

在多分類任務(wù)中，經(jīng)常采用 softmax 激活函數(shù)+交叉熵?fù)p失函數(shù)，因?yàn)榻徊骒孛枋隽藘蓚€(gè)概率分布的差異，然而神經(jīng)網(wǎng)絡(luò)輸出的是向量，并不是概率分布的形式。所以需要 softmax激活函數(shù)將一個(gè)向量進(jìn)行“歸一化”成概率分布的形式，再采用交叉熵?fù)p失函數(shù)計(jì)算 loss。

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-100, reduction=\'mean\')

參數(shù)：

weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensorignore_index (int, optional) – 設(shè)置一個(gè)目標(biāo)值, 該目標(biāo)值會(huì)被忽略, 從而不會(huì)影響到 輸入的梯度。reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認(rèn)：mean。

計(jì)算 input 和 target 之間的KL散度。KL散度可用于衡量不同的連續(xù)分布之間的距離, 在連續(xù)的輸出分布的空間上(離散采樣)上進(jìn)行直接回歸時(shí)很有效.

torch.nn.KLDivLoss(reduction=\'mean\')

參數(shù)：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認(rèn)：mean。

二分類任務(wù)時(shí)的交叉熵計(jì)算函數(shù)。用于測(cè)量重構(gòu)的誤差, 例如自動(dòng)編碼機(jī). 注意目標(biāo)的值 t[i] 的范圍為0到1之間.

torch.nn.BCELoss(weight=None, reduction=\'mean\')

參數(shù)：

weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權(quán)重. 必須是一個(gè)長(zhǎng)度為 “nbatch” 的 的 Tensor

BCEWithLogitsLoss損失函數(shù)把 Sigmoid 層集成到了 BCELoss 類中. 該版比用一個(gè)簡(jiǎn)單的 Sigmoid 層和 BCELoss 在數(shù)值上更穩(wěn)定, 因?yàn)榘堰@兩個(gè)操作合并為一個(gè)層之后, 可以利用 log-sum-exp 的 技巧來(lái)實(shí)現(xiàn)數(shù)值穩(wěn)定.

torch.nn.BCEWithLogitsLoss(weight=None, reduction=\'mean\', pos_weight=None)

參數(shù)：

weight (Tensor, optional) – 自定義的每個(gè) batch 元素的 loss 的權(quán)重. 必須是一個(gè)長(zhǎng)度 為 “nbatch” 的 Tensor

torch.nn.MarginRankingLoss(margin=0.0, reduction=\'mean\')

criterion：計(jì)算輸入x1，x2（2個(gè)1D張量）與y（1或-1）的損失

計(jì)算兩個(gè)向量之間的相似度，當(dāng)兩個(gè)向量之間的距離大于 margin,則 loss 為正，小于margin，loss 為 0。這里y是label，當(dāng)label為1時(shí)，表示x1大于x2（x1排在x2前面）。

那么這個(gè)損失表達(dá)的函數(shù)就是x1至少比x2大margin，那么loss才為0(假設(shè)真實(shí)標(biāo)簽是x1大于x2)。

對(duì)于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數(shù)如下:

圖片描述(最多50字)

參數(shù)：

margin:默認(rèn)值0

torch.nn.HingeEmbeddingLoss(margin=1.0, reduction=\'mean\')

criterion：給定輸入張量x和標(biāo)簽張量y（1或-1）的損失

通常用于測(cè)量?jī)蓚€(gè)輸入是相似還是不相似，例如， 使用L1成對(duì)距離作為x，并且通常用于學(xué)習(xí)非線性嵌入或半監(jiān)督學(xué)習(xí)。

e.g:x是成對(duì)距離，y為1表示，這兩個(gè)對(duì)相似，否則不相似。所以當(dāng)y為1時(shí)，期望x越小越好，y為-1時(shí)，x越大越好。也就是下面l_n越小越好。

對(duì)于 mini-batch(小批量) 中每個(gè)實(shí)例的損失函數(shù)如下:

參數(shù)：

margin:默認(rèn)值1

torch.nn.MultiLabelMarginLoss(reduction=\'mean\')

criterion：用于一個(gè)樣本屬于多個(gè)類別時(shí)的分類任務(wù)

例如一個(gè)多分類任務(wù)，樣本 x 屬于第 0類，屬于第 1 類，不屬于第 2 類，不屬于第 3 類

對(duì)于mini-batch(小批量) 中的每個(gè)樣本按如下公式計(jì)算損失:

要看懂上面這個(gè)公式，我們需要先搞明白多分類的MarginLoss：

上面公式中，N代表這個(gè)問(wèn)題是N分類問(wèn)題，p一般取1，x_i表示這個(gè)樣本的對(duì)第i類的評(píng)分，x_y表示這個(gè)樣本的第y類的評(píng)分（也就是真實(shí)標(biāo)簽上的評(píng)分）。上面損失的意思是，模型對(duì)其他類別的評(píng)分要越小越好，最好是遠(yuǎn)遠(yuǎn)小于x_y。

接下來(lái)我們來(lái)看多標(biāo)簽的問(wèn)題，我們把上面原始公式規(guī)整成下面的樣子：

可以看到這個(gè)公式是多分類公式的推廣，這里結(jié)合一個(gè)例子幫助理解：

也被稱為 Huber 損失函數(shù)。

torch.nn.SmoothL1Loss(reduction=\'mean\')

其中

這個(gè)主要是拿來(lái)做回歸的，結(jié)合了mse和mae的優(yōu)點(diǎn)。

torch.nn.SoftMarginLoss(reduction=\'mean\')

criterion：用于優(yōu)化輸入張量x和目標(biāo)張量y（1或-1）之間的兩類分類邏輯損失

注意：這里解決的是多標(biāo)簽二分類問(wèn)題，每一個(gè)標(biāo)簽是1或者-1。

torch.nn.MultiLabelSoftMarginLoss(weight=None, reduction=\'mean\')

這里是多標(biāo)簽多分類問(wèn)題，是上面公式11的推廣。這里的標(biāo)簽是0或者1，所以用交叉熵。多分類用的是ova策略。

torch.nn.CosineEmbeddingLoss(margin=0.0, reduction=\'mean\')

參數(shù)：

margin:默認(rèn)值0

criterion：基于余弦距離，利用目標(biāo)張量y(1或-1)，度量輸入張量x1和x2之間相似度

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None, reduction=\'mean\')

參數(shù)：

p=1或者2 默認(rèn)值：1margin:默認(rèn)值1

和孿生網(wǎng)絡(luò)相似，具體例子：給一個(gè)A，然后再給B、C，看看B、C誰(shuí)和A更像。

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, reduction=\'mean\')

其中：

criterion：3元損失，度量輸入x1，x2，x3之間的相似度

triplet：a（anchor），p（positive），n（negative）

人臉驗(yàn)證中常常用到，它的目的就是讓p與a盡量相似（同一個(gè)人不同樣本），而n與a盡量不相似（不同人的樣本）

CTC連接時(shí)序分類損失，可以對(duì)沒(méi)有對(duì)齊的數(shù)據(jù)進(jìn)行自動(dòng)對(duì)齊，主要用在沒(méi)有事先對(duì)齊的序列化數(shù)據(jù)訓(xùn)練上。比如語(yǔ)音識(shí)別、ocr識(shí)別等等。

torch.nn.CTCLoss(blank=0, reduction=\'mean\')

參數(shù)：

reduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認(rèn)：mean。

負(fù)對(duì)數(shù)似然損失. 用于訓(xùn)練 C 個(gè)類別的分類問(wèn)題.

torch.nn.NLLLoss(weight=None, ignore_index=-100, reduction=\'mean\')

參數(shù)：

weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensorignore_index (int, optional) – 設(shè)置一個(gè)目標(biāo)值, 該目標(biāo)值會(huì)被忽略, 從而不會(huì)影響到 輸入的梯度.

對(duì)于圖片輸入的負(fù)對(duì)數(shù)似然損失. 它計(jì)算每個(gè)像素的負(fù)對(duì)數(shù)似然損失.

torch.nn.NLLLoss2d(weight=None, ignore_index=-100, reduction=\'mean\')

參數(shù)：

weight (Tensor, optional) – 自定義的每個(gè)類別的權(quán)重. 必須是一個(gè)長(zhǎng)度為 C 的 Tensorreduction-三個(gè)值，none: 不使用約簡(jiǎn)；mean:返回loss和的平均值；sum:返回loss的和。默認(rèn)：mean。

目標(biāo)值為泊松分布的負(fù)對(duì)數(shù)似然損失

torch.nn.PoissonNLLLoss(log_input=True, full=False, eps=1e-08, reduction=\'mean\')

參數(shù)：

log_input (bool, optional) – 如果設(shè)置為 True , loss 將會(huì)按照公 式 exp(input) - target * input 來(lái)計(jì)算, 如果設(shè)置為 False , loss 將會(huì)按照 input - target * log(input+eps) 計(jì)算.full (bool, optional) – 是否計(jì)算全部的 loss, i. e. 加上 Stirling 近似項(xiàng) target * log(target) - target + 0.5 * log(2 * pi * target).eps (float, optional) – 默認(rèn)值: 1e-8

參考資料：pytorch loss function 總結(jié)http://www.voidcn.com/article/p-rtzqgqkz-bpg.html

以上就是關(guān)于lm智能pos機(jī),人工智能中的19 種損失函數(shù)的知識(shí)，后面我們會(huì)繼續(xù)為大家整理關(guān)于lm智能pos機(jī)的知識(shí)，希望能夠幫助到大家！