大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)

大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)

      大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)怎么樣的？2014年以后，整體大數(shù)據(jù)的技術(shù)棧已經(jīng)趨于穩(wěn)定，由于云計(jì)算、人工智能等技術(shù)發(fā)展，還有芯片、內(nèi)存端的變化，大數(shù)據(jù)技術(shù)也在發(fā)生相應(yīng)的變化�？偨Y(jié)來(lái)看主要有幾點(diǎn)大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)：

      一是流式架構(gòu)的更替，最早大數(shù)據(jù)生態(tài)沒(méi)有辦法統(tǒng)一批處理和流計(jì)算，只能采用Lambda架構(gòu)，批的任務(wù)用批計(jì)算引擎，流式任務(wù)采用流計(jì)算引擎，比如批處理采用MapReduce，流計(jì)算采用Storm。后來(lái)Spark試圖從批的角度統(tǒng)一處理和批次處理，Spark Streaming采用了micro-bach的思路來(lái)處理流數(shù)據(jù)。近年來(lái)純流架構(gòu)的Flink異軍突起，由于其架構(gòu)設(shè)計(jì)合理，生態(tài)健康，近年來(lái)發(fā)展特別快。而Spark近期也拋棄了自身微批處理的架構(gòu)，轉(zhuǎn)向了純流架構(gòu)Structure Streaming，流計(jì)算的未來(lái)霸主還未見(jiàn)分曉。

      二是大數(shù)據(jù)技術(shù)的云化，一方面是公有云業(yè)務(wù)的成熟，眾多大數(shù)據(jù)技術(shù)都被搬到了云上，其運(yùn)維方式和運(yùn)行環(huán)境都發(fā)生了較大變化，帶來(lái)計(jì)算和存儲(chǔ)資源更加的彈性變化，另一方面，私有部署的大數(shù)據(jù)技術(shù)也逐漸采用容器、虛擬化等技術(shù)，期望更加精細(xì)化地利用計(jì)算資源。

      三是異構(gòu)計(jì)算的需求，近年來(lái)在通用CPU之外，GPU、FPGA、ASIC等芯片發(fā)展迅猛，不同芯片擅長(zhǎng)不同的計(jì)算任務(wù)，例如GPU擅長(zhǎng)圖像數(shù)據(jù)的處理，大數(shù)據(jù)技術(shù)開(kāi)始嘗試根據(jù)不同任務(wù)來(lái)調(diào)用不同的芯片，提升數(shù)據(jù)處理的效率。

      四是兼容智能類的應(yīng)用，隨著深度學(xué)習(xí)的崛起，AI類的應(yīng)用越來(lái)越廣泛，大數(shù)據(jù)的技術(shù)棧在努力兼容AI的能力，通過(guò)一站式的能力來(lái)做數(shù)據(jù)分析和AI應(yīng)用，這樣開(kāi)發(fā)者就能在一個(gè)工具站中編寫SQL任務(wù)，調(diào)用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的算法來(lái)訓(xùn)練模型，完成各類數(shù)據(jù)分析的任務(wù)。

      注：尊重原創(chuàng)文章,轉(zhuǎn)載請(qǐng)注明出處和鏈接 http://www.elsolbar.com/news-id-44949.html 違者必究！部分文章來(lái)源于網(wǎng)絡(luò)由培訓(xùn)無(wú)憂網(wǎng)編輯部人員整理發(fā)布,內(nèi)容真實(shí)性請(qǐng)自行核實(shí)或聯(lián)系我們，了解更多相關(guān)資訊請(qǐng)關(guān)注數(shù)據(jù)庫(kù)工程師頻道查看更多，了解相關(guān)專業(yè)課程信息您可在線咨詢也可免費(fèi)申請(qǐng)?jiān)囌n。關(guān)注官方微信了解更多：150 3333 6050