深度估計(jì)(深度學(xué)習(xí)需要哪些)

1.深度學(xué)習(xí)需要哪些基礎(chǔ)知識(shí)

數(shù)學(xué)基礎(chǔ)

如果你能夠順暢地讀懂深度學(xué)習(xí)論文中的數(shù)學(xué)公式，可以獨(dú)立地推導(dǎo)新方法，則表明你已經(jīng)具備了必要的數(shù)學(xué)基礎(chǔ)。

掌握數(shù)學(xué)分析、線性代數(shù)、概率論和凸優(yōu)化四門(mén)數(shù)學(xué)課程包含的數(shù)學(xué)知識(shí)，熟知機(jī)器學(xué)習(xí)的基本理論和方法，是入門(mén)深度學(xué)習(xí)技術(shù)的前提。因?yàn)闊o(wú)論是理解深度網(wǎng)絡(luò)中各個(gè)層的運(yùn)算和梯度推導(dǎo)，還是進(jìn)行問(wèn)題的形式化或是推導(dǎo)損失函數(shù)，都離不開(kāi)扎實(shí)的數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ)。

數(shù)學(xué)分析

在工科專業(yè)所開(kāi)設(shè)的高等數(shù)學(xué)課程中，主要學(xué)習(xí)的內(nèi)容為微積分。對(duì)于一般的深度學(xué)習(xí)研究和應(yīng)用來(lái)說(shuō)，需要重點(diǎn)溫習(xí)函數(shù)與極限、導(dǎo)數(shù)（特別是復(fù)合函數(shù)求導(dǎo)）、微分、積分、冪級(jí)數(shù)展開(kāi)、微分方程等基礎(chǔ)知識(shí)。在深度學(xué)習(xí)的優(yōu)化過(guò)程中，求解函數(shù)的一階導(dǎo)數(shù)是最為基礎(chǔ)的工作。當(dāng)提到微分中值定理、Taylor公式和拉格朗日乘子的時(shí)候，你不應(yīng)該只是感到與它們似曾相識(shí)。

線性代數(shù)

深度學(xué)習(xí)中的運(yùn)算常常被表示成向量和矩陣運(yùn)算。線性代數(shù)正是這樣一門(mén)以向量和矩陣作為研究對(duì)象的數(shù)學(xué)分支。需要重點(diǎn)溫習(xí)的包括向量、線性空間、線性方程組、矩陣、矩陣運(yùn)算及其性質(zhì)、向量微積分。當(dāng)提到Jacobian矩陣和Hessian矩陣的時(shí)候，你需要知道確切的數(shù)學(xué)形式；當(dāng)給出一個(gè)矩陣形式的損失函數(shù)時(shí)，你可以很輕松的求解梯度。

概率論

概率論是研究隨機(jī)現(xiàn)象數(shù)量規(guī)律的數(shù)學(xué)分支，隨機(jī)變量在深度學(xué)習(xí)中有很多應(yīng)用，無(wú)論是隨機(jī)梯度下降、參數(shù)初始化方法（如Xavier），還是Dropout正則化算法，都離不開(kāi)概率論的理論支撐。除了掌握隨機(jī)現(xiàn)象的基本概念（如隨機(jī)試驗(yàn)、樣本空間、概率、條件概率等）、隨機(jī)變量及其分布之外，還需要對(duì)大數(shù)定律及中心極限定理、參數(shù)估計(jì)、假設(shè)檢驗(yàn)等內(nèi)容有所了解，進(jìn)一步還可以深入學(xué)習(xí)一點(diǎn)隨機(jī)過(guò)程、馬爾可夫隨機(jī)鏈的內(nèi)容。

凸優(yōu)化

結(jié)合以上三門(mén)基礎(chǔ)的數(shù)學(xué)課程，凸優(yōu)化可以說(shuō)是一門(mén)應(yīng)用課程。但對(duì)于深度學(xué)習(xí)而言，由于常用的深度學(xué)習(xí)優(yōu)化方法往往只利用了一階的梯度信息進(jìn)行隨機(jī)梯度下降，因而從業(yè)者事實(shí)上并不需要多少“高深”的凸優(yōu)化知識(shí)。理解凸集、凸函數(shù)、凸優(yōu)化的基本概念，掌握對(duì)偶問(wèn)題的一般概念，掌握常見(jiàn)的無(wú)約束優(yōu)化方法如梯度下降方法、隨機(jī)梯度下降方法、Newton方法，了解一點(diǎn)等式約束優(yōu)化和不等式約束優(yōu)化方法，即可滿足理解深度學(xué)習(xí)中優(yōu)化方法的理論要求。

機(jī)器學(xué)習(xí)

歸根結(jié)底，深度學(xué)習(xí)只是機(jī)器學(xué)習(xí)方法的一種，而統(tǒng)計(jì)機(jī)器學(xué)習(xí)則是機(jī)器學(xué)習(xí)領(lǐng)域事實(shí)上的方法論。以監(jiān)督學(xué)習(xí)為例，需要你掌握線性模型的回歸與分類(lèi)、支持向量機(jī)與核方法、隨機(jī)森林方法等具有代表性的機(jī)器學(xué)習(xí)技術(shù)，并了解模型選擇與模型推理、模型正則化技術(shù)、模型集成、Bootstrap方法、概率圖模型等。深入一步的話，還需要了解半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等專門(mén)技術(shù)。

2.深度學(xué)習(xí)的基礎(chǔ)概念

從一個(gè)輸入中產(chǎn)生一個(gè)輸出所涉及的計(jì)算可以通過(guò)一個(gè)流向圖（flow graph）來(lái)表示：流向圖是一種能夠表示計(jì)算的圖，在這種圖中每一個(gè)節(jié)點(diǎn)表示一個(gè)基本的計(jì)算并且一個(gè)計(jì)算的值（計(jì)算的結(jié)果被應(yīng)用到這個(gè)節(jié)點(diǎn)的孩子節(jié)點(diǎn)的值）?？紤]這樣一個(gè)計(jì)算集合，它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中，并定義了一個(gè)函數(shù)族。輸入節(jié)點(diǎn)沒(méi)有孩子，輸出節(jié)點(diǎn)沒(méi)有父親。

這種流向圖的一個(gè)特別屬性是深度（depth）：從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑的長(zhǎng)度。

傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度（比如對(duì)于輸出層為隱層數(shù)加1）。SVMs有深度2（一個(gè)對(duì)應(yīng)于核輸出或者特征空間，另一個(gè)對(duì)應(yīng)于所產(chǎn)生輸出的線性混合）。 需要使用深度學(xué)習(xí)解決的問(wèn)題有以下的特征：

深度不足會(huì)出現(xiàn)問(wèn)題。

人腦具有一個(gè)深度結(jié)構(gòu)。

認(rèn)知過(guò)程逐層進(jìn)行，逐步抽象。

深度不足會(huì)出現(xiàn)問(wèn)題

在許多情形中深度2就足夠表示任何一個(gè)帶有給定目標(biāo)精度的函數(shù)。但是其代價(jià)是：圖中所需要的節(jié)點(diǎn)數(shù)（比如計(jì)算和參數(shù)數(shù)量）可能變的非常大。理論結(jié)果證實(shí)那些事實(shí)上所需要的節(jié)點(diǎn)數(shù)隨著輸入的大小指數(shù)增長(zhǎng)的函數(shù)族是存在的。

我們可以將深度架構(gòu)看做一種因子分解。大部分隨機(jī)選擇的函數(shù)不能被有效地表示，無(wú)論是用深的或者淺的架構(gòu)。但是許多能夠有效地被深度架構(gòu)表示的卻不能被用淺的架構(gòu)高效表示。一個(gè)緊的和深度的表示的存在意味著在潛在的可被表示的函數(shù)中存在某種結(jié)構(gòu)。如果不存在任何結(jié)構(gòu)，那將不可能很好地泛化。

大腦有一個(gè)深度架構(gòu)

例如，視覺(jué)皮質(zhì)得到了很好的研究，并顯示出一系列的區(qū)域，在每一個(gè)這種區(qū)域中包含一個(gè)輸入的表示和從一個(gè)到另一個(gè)的信號(hào)流（這里忽略了在一些層次并行路徑上的關(guān)聯(lián)，因此更復(fù)雜）。這個(gè)特征層次的每一層表示在一個(gè)不同的抽象層上的輸入，并在層次的更上層有著更多的抽象特征，他們根據(jù)低層特征定義。

需要注意的是大腦中的表示是在中間緊密分布并且純局部：他們是稀疏的：1%的神經(jīng)元是同時(shí)活動(dòng)的。給定大量的神經(jīng)元，仍然有一個(gè)非常高效地（指數(shù)級(jí)高效）表示。

認(rèn)知過(guò)程逐層進(jìn)行，逐步抽象

人類(lèi)層次化地組織思想和概念；

人類(lèi)首先學(xué)習(xí)簡(jiǎn)單的概念，然后用他們?nèi)ケ硎靖橄蟮模?/p>

工程師將任務(wù)分解成多個(gè)抽象層次去處理；

學(xué)習(xí)/發(fā)現(xiàn)這些概念（知識(shí)工程由于沒(méi)有反省而失??？）是很美好的。對(duì)語(yǔ)言可表達(dá)的概念的反省也建議我們一個(gè)稀疏的表示：僅所有可能單詞/概念中的一個(gè)小的部分是可被應(yīng)用到一個(gè)特別的輸入（一個(gè)視覺(jué)場(chǎng)景）。

3.如何進(jìn)行燒傷深度估計(jì)

燒傷深度的分類(lèi)采用三度四分法，即表皮燒傷（I度），真皮淺層燒傷（淺n度），真皮深層燒傷（深n度）和全層皮膚、皮下脂肪甚至肌肉、骨骼等燒傷（m度）。

（1） I度燒傷：傷及表皮淺層，生發(fā)層存在。表現(xiàn)為皮膚灼紅，痛覺(jué)過(guò)敏，干燥無(wú)水皰，3?7天愈合，脫屑后初期有色素加深，后漸消退，不留痕跡。

（2） 淺n度燒傷：傷及表皮的生發(fā)層、真皮乳頭層。局部紅腫明顯，大小不一的水疤形成，劇痛，水疤大、皮薄，基底潮紅、明顯水腫。

創(chuàng)面由殘存的生發(fā)層及毛囊、汗腺等上皮細(xì)胞的增生修復(fù)，不留疤痕，1?2周后愈合，可留有不同程度的色素沉著，數(shù)月后自行恢復(fù)。 （3） 深n度燒傷：傷及皮膚的真皮層，感覺(jué)遲鈍、有拔毛痛。

水皰小、皰皮厚、基底蒼白。3?5周創(chuàng)面愈合，留下不同 程度的疤痕。

（4） m度燒傷：全皮層燒傷甚至達(dá)到皮下、肌肉或骨筋。痛覺(jué)消失，創(chuàng)面呈焦痂，表皮干燥、發(fā)涼，無(wú)水皰，觸如皮革，知覺(jué)喪失。

焦痂上的毛發(fā)易拔除，且拔除時(shí)無(wú)痛覺(jué)。痂下嚴(yán)重水腫。

創(chuàng)面的修復(fù)依賴于周?chē)】档纳掀は蛑行纳L(zhǎng)。較大的創(chuàng)面需植皮才能愈合，由于皮膚及其附件全部受損，創(chuàng)面無(wú)上皮生長(zhǎng)能力。

4.搞懂深度學(xué)習(xí)到底需要哪些數(shù)學(xué)知識(shí)

關(guān)于數(shù)學(xué)基礎(chǔ)有的同學(xué)有數(shù)學(xué)基礎(chǔ)，但是缺乏 C++/Python 編程語(yǔ)言；有的同學(xué)沒(méi)有數(shù)學(xué)基礎(chǔ)，是否可以學(xué)？數(shù)學(xué)基礎(chǔ)需要到什么程度？如果提前學(xué)習(xí)是否有資料推薦？【回答】首先學(xué)習(xí)本門(mén)課程并不需要特別高的數(shù)學(xué)基礎(chǔ)，只需要掌握大學(xué)本科階段學(xué)習(xí)的高等數(shù)學(xué)、線性代數(shù)和概率論等課程。

雖然從應(yīng)用角度上來(lái)看：如果想要深入研究深度學(xué)習(xí)，比如完全自己實(shí)現(xiàn)不同結(jié)構(gòu)的網(wǎng)絡(luò)，設(shè)計(jì)網(wǎng)絡(luò)的層與參數(shù)最好能夠熟練運(yùn)用矩陣?yán)碚撝械南嚓P(guān)工具，但是我相信如果職業(yè)道路規(guī)劃不是算法工程師，一般并不會(huì)深入到這一層面。對(duì)應(yīng)于不同應(yīng)用領(lǐng)域，還需要不同的數(shù)學(xué)工具，比如和圖像、信號(hào)識(shí)別相關(guān)的領(lǐng)域，圖形學(xué)等相關(guān)的基礎(chǔ)功底是必須要有的，但這個(gè)已經(jīng)是復(fù)雜的現(xiàn)實(shí)應(yīng)用問(wèn)題了，并不在本門(mén)課程的教學(xué)范圍之內(nèi)，本門(mén)課程的應(yīng)用領(lǐng)域還是相對(duì)較為簡(jiǎn)單的。

實(shí)際上，如果你是一個(gè)工科生，你會(huì)發(fā)現(xiàn)學(xué)習(xí)數(shù)學(xué)最難的地方就是不理解這些數(shù)學(xué)工具到底能幫助我們?nèi)ソ鉀Q什么問(wèn)題，因?yàn)榇髮W(xué)老師大多數(shù)都是數(shù)學(xué)專業(yè)老師，并不會(huì)從學(xué)生各自專業(yè)的角度來(lái)講解數(shù)學(xué)問(wèn)題。但是當(dāng)你知道你需要用數(shù)學(xué)工具做什么，有一個(gè)明確目標(biāo)后，你會(huì)發(fā)現(xiàn)你的動(dòng)力和學(xué)習(xí)能力將會(huì)有一個(gè)突破，你不會(huì)覺(jué)得這些數(shù)學(xué)知識(shí)是枯燥乏味的。

因此哪怕你的數(shù)學(xué)基礎(chǔ)相對(duì)薄弱，有一個(gè)明確的目的，再去補(bǔ)充這些數(shù)學(xué)知識(shí)，相信學(xué)員自己一定能解決這個(gè)問(wèn)題。數(shù)學(xué)也絕對(duì)不是學(xué)習(xí)這門(mén)課的障礙，但是如果你想以其作為職業(yè)，去打好這個(gè)數(shù)學(xué)的底子是不可或缺的。

最后，如果你是數(shù)學(xué)專業(yè)，或者覺(jué)得自己數(shù)學(xué)很好的學(xué)生，你們也更不用擔(dān)心不會(huì) 1、2 門(mén)語(yǔ)言，因?yàn)橛?jì)算機(jī)語(yǔ)言只是一種工具，最關(guān)鍵的還是訓(xùn)練自己的思維，這種思維的核心就是數(shù)學(xué)和算法。如果你數(shù)學(xué)很好，學(xué)習(xí)這些語(yǔ)言是很快的，而且本門(mén)課程中除了最后的 C++ 開(kāi)發(fā)，也不會(huì)應(yīng)用到什么特別的語(yǔ)法特性。

但是另一方面也不要忽視學(xué)習(xí)好這些工具的重要性，只是希望學(xué)生自己能夠權(quán)衡。對(duì)數(shù)學(xué)好的同學(xué)來(lái)說(shuō)，可能最致命的是一個(gè)誤區(qū)，因?yàn)橛?jì)算機(jī)的基礎(chǔ)是數(shù)學(xué)，所以完全使用數(shù)學(xué)思維去解決計(jì)算機(jī)問(wèn)題是沒(méi)問(wèn)題的，我這里只能說(shuō)計(jì)算機(jī)有自己的思維模式，哪怕是那些基于數(shù)學(xué)原理的算法問(wèn)題，所以數(shù)學(xué)專業(yè)的同學(xué)必須要學(xué)會(huì)認(rèn)識(shí)到這種思維的差異并學(xué)會(huì)使用計(jì)算機(jī)的思維來(lái)解決問(wèn)題，而機(jī)器學(xué)習(xí)則是計(jì)算機(jī)思維的一個(gè)典型代表，這個(gè)將會(huì)在課程中具體討論。

至于需要的數(shù)學(xué)基礎(chǔ)，肯定是希望同學(xué)能夠?qū)W習(xí)高等數(shù)學(xué)中的微積分，線性代數(shù)和概率論的相關(guān)知識(shí)，對(duì)于沒(méi)有實(shí)際編程經(jīng)驗(yàn)的學(xué)生則推薦深入學(xué)習(xí)一下離散數(shù)學(xué)（無(wú)關(guān)乎是否精于數(shù)學(xué)）。本門(mén)課程需要的數(shù)學(xué)基礎(chǔ)也就是這些了。

5.基礎(chǔ)埋置深度如何確定呢

(1)建筑物的功能和用途，有無(wú)地下室，設(shè)備層和地下設(shè)施，基礎(chǔ)型式和構(gòu)造； （2）作用在地基上的荷載大小和性質(zhì)例如高層建筑，豎向荷載大，又受風(fēng)力和地震水平荷載，采用筏形基礎(chǔ)和箱形基礎(chǔ)的埋置深度隨著高度增加應(yīng)適當(dāng)增大，不僅應(yīng)滿足地基承載力的要求，還要滿足變形和穩(wěn)定性的要求，除巖石地基外其埋置深度不宜小于建筑物高度的1/15，樁箱或樁筏基礎(chǔ)埋置深度（不計(jì)樁長(zhǎng)）不宜小于建筑物高度的1/18~1/20；位于巖石地基上的高層建筑，常需依靠側(cè)面巖土體來(lái)承擔(dān)水平荷載，其基礎(chǔ)埋置深度應(yīng)滿足搞滑要求。

（3）工程地質(zhì)和水文地質(zhì)條件根據(jù)場(chǎng)地巖土層分布情況，在滿足地基穩(wěn)定和變形要求的前提下，基礎(chǔ)應(yīng)座在工程地質(zhì)性質(zhì)較好的持力層上，當(dāng)存在軟弱下臥層時(shí)，基礎(chǔ)應(yīng)盡量淺埋，加大基底與軟弱下臥層頂板的距離；當(dāng)土層分布明顯不均勻或各部位荷載差別很大時(shí)，同一建筑物的基礎(chǔ)可以采用不同的埋深對(duì)不均勻沉降進(jìn)行調(diào)整。 除巖石地基外，基礎(chǔ)埋深不宜小于0。

5m?；A(chǔ)宜埋置在地下水位以上，當(dāng)必須埋在地下水位時(shí)，應(yīng)考慮施工中可能出現(xiàn)的涌土、流砂的可能，采取基坑排水、坑壁圍護(hù)等使地基土不受擾動(dòng)的措施，沿應(yīng)考慮基礎(chǔ)由于水浮力有可能上浮等問(wèn)題。

（4）相鄰建筑物基礎(chǔ)埋深相鄰建筑，由于附加應(yīng)力的擴(kuò)散和疊加，使得太近的兩幢新老建筑產(chǎn)生附加的不均勻沉降，有可能使建筑物開(kāi)裂或傾斜。 新建筑物的基礎(chǔ)埋深不宜超過(guò)原有建筑物基礎(chǔ)的底面，否則應(yīng)保持一定的距離，其數(shù)值應(yīng)根據(jù)原有建筑荷載大小、基礎(chǔ)形式和土質(zhì)情況確定，一般不小于相鄰基礎(chǔ)底面高差的1~2倍，不能滿足上述要求時(shí)，應(yīng)采取分段施工、設(shè)臨時(shí)加固支撐、打板樁、地下連續(xù)墻等施工措施，或加固原有建筑物地基等措施以保證已有建筑物的安全。

（5）地基土凍脹與融陷的影響當(dāng)凍土厚度較大，土溫比較穩(wěn)定，或不采暖建筑，基礎(chǔ)始終處于凍土層的“保持凍結(jié)法”設(shè)計(jì)原則。對(duì)上部結(jié)構(gòu)剛度較好或?qū)Σ痪鶆虺两挡幻舾械幕蚋邷剀?chē)間、浴室等，按允許融化原則設(shè)計(jì)較合理。