大數(shù)據(jù)管理(楊柳)

《大數(shù)據(jù)管理》既包括了大數(shù)據(jù)管理的相關(guān)技術(shù)知識，也涵蓋了大數(shù)據(jù)管理在多個行業(yè)的應(yīng)用與案例分析，包括： 大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)融合、大數(shù)據(jù)隱私、大數(shù)據(jù)可視化、大數(shù)據(jù)前沿、醫(yī)療大數(shù)據(jù)、教育大數(shù)據(jù)、金融大數(shù)據(jù)、交通大數(shù)據(jù)。通過本書，讀者能夠全方位地認(rèn)識和掌握大數(shù)據(jù)管理的相關(guān)知識，深入了解大數(shù)據(jù)的應(yīng)用價值。
本書可作為高等學(xué)校大數(shù)據(jù)管理與應(yīng)用、信息管理與信息系統(tǒng)等管理類、信息類以及智能建造、智能制造、智慧交通等新工科專業(yè)的本科生、研究生教材，還可作為大數(shù)據(jù)相關(guān)企業(yè)的管理者與實踐者的培訓(xùn)用書和參考讀物。

何慶，貴州大學(xué)，教授，主要研究領(lǐng)域與方向大數(shù)據(jù)技術(shù)應(yīng)用、機器學(xué)習(xí)、自然語言處理。貴州省大數(shù)據(jù)專家?guī)鞂＜遥袊形男畔W(xué)會理事，中國民族醫(yī)藥學(xué)會信息與大數(shù)據(jù)分會理事

大數(shù)據(jù)時代已經(jīng)來臨，它為我們帶來了前所未有的機遇和挑戰(zhàn)。在這個數(shù)字化、互聯(lián)網(wǎng)化的世界中，數(shù)據(jù)不僅是生產(chǎn)力的源泉，更是洞察、決策和創(chuàng)新的關(guān)鍵。大數(shù)據(jù)是指數(shù)據(jù)的規(guī)模龐大，而且數(shù)據(jù)內(nèi)容多樣、處理速度快和利用價值高。數(shù)據(jù)的來源很多，包括社交媒體、傳感器、移動設(shè)備和互聯(lián)網(wǎng)等，如何有效地捕捉、傳輸、存儲、處理和分析這些數(shù)據(jù)，已經(jīng)成為各行各業(yè)迫切需要解決的問題。
本書的目標(biāo)是為讀者提供關(guān)于大數(shù)據(jù)的全方位介紹，將引導(dǎo)讀者深入了解大數(shù)據(jù)的核心概念，包括： 分布式存儲和計算、數(shù)據(jù)采集和處理、數(shù)據(jù)可視化和數(shù)據(jù)分析、數(shù)據(jù)隱私安全等多個方面的內(nèi)容；還將對大數(shù)據(jù)在醫(yī)療、教育、金融和交通四個領(lǐng)域的應(yīng)用案例進行深入分析。大數(shù)據(jù)是一個不斷演進的領(lǐng)域，希望本書能夠激發(fā)讀者對大數(shù)據(jù)相關(guān)領(lǐng)域的興趣，深入研究，并在實際工作中應(yīng)用這些知識，為未來的數(shù)據(jù)驅(qū)動世界做出貢獻。
本書共分為12章。第1章介紹了大數(shù)據(jù)的基礎(chǔ)概念和意義；第2章介紹了大數(shù)據(jù)采集流程和技術(shù)；第3章介紹了大數(shù)據(jù)存儲技術(shù)與應(yīng)用；第4章介紹了大數(shù)據(jù)分析的核心算法；第5章介紹了大數(shù)據(jù)融合的概念及融合技術(shù)；第6章介紹了大數(shù)據(jù)隱私的基礎(chǔ)概念和保護技術(shù)；第7章介紹了大數(shù)據(jù)可視化的理論、流程和框架；第8章介紹了大數(shù)據(jù)前沿關(guān)鍵技術(shù)。第9章至第12章分別從醫(yī)療、教育、金融、交通領(lǐng)域介紹了相關(guān)概念、應(yīng)用現(xiàn)狀以及發(fā)展趨勢。
本書具有如下鮮明特色。
（1） 本書全面地介紹了大數(shù)據(jù)管理中涉及的概念和技術(shù)。書中詳細(xì)闡述大數(shù)據(jù)管理相關(guān)知識和技術(shù)方面的定義、特征和范圍，讓讀者能清楚地理解大數(shù)據(jù)管理的本質(zhì)。同時，本書深入淺出地介紹了大數(shù)據(jù)管理的各種技術(shù)，包括大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)融合、大數(shù)據(jù)隱私、大數(shù)據(jù)可視化等方面的概念、內(nèi)容及趨勢。通過本書的閱讀，讀者將深入了解大數(shù)據(jù)管理相關(guān)的基本概念和技術(shù)，學(xué)習(xí)各種工具和技術(shù)在大數(shù)據(jù)管理中的使用。
（2） 本書不僅關(guān)注技術(shù)層面，還從實踐的角度介紹了大數(shù)據(jù)管理的實踐。書中通過大量的案例，生動地展示了大數(shù)據(jù)管理在醫(yī)療、教育、金融、交通四個領(lǐng)域的應(yīng)用實例，使得讀者可以更好地理解大數(shù)據(jù)管理的實用價值。通過本書的閱讀，讀者將學(xué)習(xí)到大數(shù)據(jù)管理相關(guān)技術(shù)的實踐，了解并學(xué)習(xí)如何將這些實踐應(yīng)用于實際場景中。
（3） 本書還注重培養(yǎng)讀者的探索思維和創(chuàng)新能力。書中通過思考題，引導(dǎo)讀者深入探索大數(shù)據(jù)管理相關(guān)知識的本質(zhì)和應(yīng)用價值，鼓勵讀者發(fā)揮自己的創(chuàng)造力和想象力，探索新的大數(shù)據(jù)管理技術(shù)和應(yīng)用，為未來在大數(shù)據(jù)領(lǐng)域進一步學(xué)習(xí)奠定堅實的基礎(chǔ)。
本書的編寫得到了國家自然科學(xué)基金“面向偵查文書的證據(jù)鏈構(gòu)建關(guān)鍵技術(shù)研究(編號：62166006) ”，國家自然科學(xué)基金“空間公平性視角下貴州貧困山區(qū)鄉(xiāng)村聚落空間重構(gòu)研究——以滇黔桂石漠化區(qū)為例(編號： 41861038) ” 的資助。本書由貴州大學(xué)公共管理學(xué)院、貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院、貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)用研究院的4 名教師協(xié)同編寫完成，是貴州大學(xué)物聯(lián)網(wǎng)工程專業(yè)省級一流本科專業(yè)建設(shè)成果教材。何慶博士負(fù)責(zé)本書的整體設(shè)計、指導(dǎo)編寫、統(tǒng)稿、校對，以及第1章的撰寫等工作；楊柳博士負(fù)責(zé)第2章，第5章，第7章的第1、2節(jié)，第8章的第5、6節(jié)及第12章的編寫；杜逆索博士編寫第3章、第4章、第6章和第8章的第1、2、4節(jié)；張欣博士負(fù)責(zé)第7章的第3、4、5節(jié)，第8章的第3節(jié)，第9章、第10章和第11章的編寫。在撰寫本書的過程中，貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應(yīng)用研究院龍劍老師與貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院的袁暢、汪鈺姬、李言博、范夢云、代文卓、鄭萌、陸順意等碩士生做了大量輔助性工作，在此一并表示衷心感謝。
由于編者的水平有限，加之時間倉促，書中難免存在不足之處，敬請讀者批評指正，提出寶貴建議。

編者
2024年4月

第1章　緒論001 
1.1　大數(shù)據(jù)的基本概念001
1.2　數(shù)據(jù)生命周期002
1.3　大數(shù)據(jù)的意義003
1.4　大數(shù)據(jù)的相關(guān)技術(shù)及作用003
1.5　大數(shù)據(jù)的應(yīng)用領(lǐng)域004
1.6　大數(shù)據(jù)面臨的挑戰(zhàn)006
本章小結(jié)006
習(xí)題006
參考文獻007

第2章　大數(shù)據(jù)采集008 
【本章導(dǎo)讀】008
【學(xué)習(xí)目標(biāo)】008
2.1　大數(shù)據(jù)采集概述008
2.1.1　基本概念008
2.1.2　數(shù)據(jù)采集與大數(shù)據(jù)采集009
2.2　數(shù)據(jù)質(zhì)量和數(shù)據(jù)預(yù)處理009
2.2.1　數(shù)據(jù)預(yù)處理010
2.2.2　數(shù)據(jù)清洗010
2.2.3　數(shù)據(jù)轉(zhuǎn)換011
2.2.4　數(shù)據(jù)消減012
2.3　互聯(lián)網(wǎng)采集013
2.3.1　互聯(lián)網(wǎng)數(shù)據(jù)特點013
2.3.2　互聯(lián)網(wǎng)采集技術(shù)014
2.3.3　互聯(lián)網(wǎng)采集策略015
2.3.4　互聯(lián)網(wǎng)采集現(xiàn)狀016
2.4　物聯(lián)網(wǎng)采集017
2.4.1　物聯(lián)網(wǎng)體系結(jié)構(gòu)018
2.4.2　物聯(lián)網(wǎng)協(xié)議018
2.4.3　物聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)020
本章小結(jié)021
習(xí)題022
參考文獻022

第3章　大數(shù)據(jù)存儲023 
【本章導(dǎo)讀】023
【學(xué)習(xí)目標(biāo)】023
3.1　數(shù)據(jù)庫管理技術(shù)023
3.1.1　關(guān)系數(shù)據(jù)庫與非關(guān)系數(shù)據(jù)庫023
3.1.2　SQL 數(shù)據(jù)庫025
3.1.3　NoSQL 數(shù)據(jù)庫025
3.1.4　NewSQL 數(shù)據(jù)庫027
3.2　分布式文件系統(tǒng)027
3.2.1　計算機集群的結(jié)構(gòu)027
3.2.2　分布式文件系統(tǒng)的結(jié)構(gòu)028
3.2.3　分布式文件系統(tǒng)的設(shè)計需求029
3.2.4　分布式文件系統(tǒng)的存儲原理029
3.3　大數(shù)據(jù)存儲管理032
3.3.1　大數(shù)據(jù)存儲管理概念032
3.3.2　大數(shù)據(jù)存儲數(shù)據(jù)容災(zāi)技術(shù)033
3.3.3　大數(shù)據(jù)存儲數(shù)據(jù)冗余去除技術(shù)034
3.3.4　大數(shù)據(jù)存儲糾刪碼技術(shù)與優(yōu)化035
本章小結(jié)040
習(xí)題040
參考文獻040

第4章　大數(shù)據(jù)分析042 
【本章導(dǎo)讀】042
【學(xué)習(xí)目標(biāo)】042
4.1　機器學(xué)習(xí)042
4.1.1　基礎(chǔ)概念042
4.1.2　監(jiān)督算法043
4.1.3　無監(jiān)督算法048
4.1.4　集成學(xué)習(xí)050
4.2　深度學(xué)習(xí)——神經(jīng)網(wǎng)絡(luò)054
4.2.1　基本概念054
4.2.2　前饋神經(jīng)網(wǎng)絡(luò)054
4.2.3　卷積神經(jīng)網(wǎng)絡(luò)055
4.2.4　循環(huán)神經(jīng)網(wǎng)絡(luò)060
4.3　模型評估063
本章小結(jié)064
習(xí)題065
參考文獻065

第5章　大數(shù)據(jù)融合067 
【本章導(dǎo)讀】067
【學(xué)習(xí)目標(biāo)】067
5.1　多源數(shù)據(jù)067
5.1.1　數(shù)據(jù)孤島067
5.1.2　多來源與多模態(tài)068
5.1.3　數(shù)據(jù)溯源069
5.2　數(shù)據(jù)集成069
5.2.1　聯(lián)邦數(shù)據(jù)庫與數(shù)據(jù)聯(lián)邦070
5.2.2　中間件071
5.2.3　數(shù)據(jù)倉庫072
5.2.4　數(shù)據(jù)湖072
5.3　數(shù)據(jù)融合技術(shù)073
5.3.1　數(shù)據(jù)融合073
5.3.2　知識融合076
本章小結(jié)078
習(xí)題079
參考文獻079

第6章　大數(shù)據(jù)隱私080 
【本章導(dǎo)讀】080
【學(xué)習(xí)目標(biāo)】080
6.1　基本概念080
6.1.1　隱私080
6.1.2　大數(shù)據(jù)隱私的挑戰(zhàn)081
6.2　大數(shù)據(jù)安全技術(shù)082
6.2.1　訪問控制082
6.2.2　同態(tài)加密084
6.2.3　可信執(zhí)行環(huán)境086
6.2.4　密文搜索088
6.3　大數(shù)據(jù)隱私保護技術(shù)089
6.3.1　數(shù)據(jù)脫敏089
6.3.2　信息混淆090
6.3.3　差分隱私091
6.3.4　多媒體數(shù)據(jù)隱私保護092
6.4　聯(lián)邦學(xué)習(xí)093
6.4.1　聯(lián)邦學(xué)習(xí)架構(gòu)093
6.4.2　聯(lián)邦學(xué)習(xí)分類095
6.4.3　聯(lián)邦學(xué)習(xí)開源平臺096
本章小結(jié)099
習(xí)題099
參考文獻099

第7章　大數(shù)據(jù)可視化101 
【本章導(dǎo)讀】101
【學(xué)習(xí)目標(biāo)】101
7.1　大數(shù)據(jù)可視化的概念和發(fā)展歷程101
7.1.1　大數(shù)據(jù)可視化的基本概念101
7.1.2　大數(shù)據(jù)可視化的發(fā)展歷程102
7.1.3　大數(shù)據(jù)可視化的基本特征103
7.1.4　大數(shù)據(jù)可視化的類型104
7.2　大數(shù)據(jù)可視化基礎(chǔ)106
7.2.1　設(shè)計步驟106
7.2.2　視覺編碼106
7.2.3　大數(shù)據(jù)可視化設(shè)計原則107
7.2.4　統(tǒng)計圖表可視化108
7.2.5　大數(shù)據(jù)可視化工具111
7.3　大數(shù)據(jù)可視化分析的方法112
7.3.1　網(wǎng)絡(luò)數(shù)據(jù)可視化技術(shù)112
7.3.2　時間數(shù)據(jù)可視化技術(shù)113
7.3.3　多維數(shù)據(jù)可視化技術(shù)114
7.3.4　文本可視化技術(shù)115
7.3.5　交互可視化技術(shù)115
本章小結(jié)116
習(xí)題116
參考文獻116

第8章　大數(shù)據(jù)前沿118 
【本章導(dǎo)讀】118
【學(xué)習(xí)目標(biāo)】118
8.1　關(guān)鍵技術(shù)118
8.1.1　虛擬現(xiàn)實118
8.1.2　增強現(xiàn)實120
8.1.3　混合現(xiàn)實120
8.1.4　人工智能121
8.1.5　云計算122
8.1.6　區(qū)塊鏈123
8.2　Web 3.0 124
8.2.1　發(fā)展過程125
8.2.2　發(fā)展趨勢127
8.3　工業(yè)4.0 128
8.3.1　發(fā)展歷程129
8.3.2　發(fā)展趨勢130
8.4　智慧城市131
8.4.1　發(fā)展過程131
8.4.2　發(fā)展趨勢132
本章小結(jié)133
習(xí)題134
參考文獻134

第9章　醫(yī)療大數(shù)據(jù)135 
【本章導(dǎo)讀】135
【學(xué)習(xí)目標(biāo)】135
9.1　問題與挑戰(zhàn)135
9.2　基本概念與發(fā)展歷程136
9.2.1　基本概念136
9.2.2　發(fā)展歷程137
9.3　具體案例分析137
9.3.1　電子健康檔案137
9.3.2　智慧居家護理及遠程醫(yī)療142
9.4　未來趨勢147
本章小結(jié)148
習(xí)題148
參考文獻148

第10章　教育大數(shù)據(jù)150 
【本章導(dǎo)讀】150
【學(xué)習(xí)目標(biāo)】150
10.1　問題與挑戰(zhàn)150
10.2　基本概念與發(fā)展歷程151
10.2.1　基本概念151
10.2.2　發(fā)展歷程151
10.3　具體案例分析153
10.3.1　智能技術(shù)助力語言學(xué)習(xí)153
10.3.2　智慧教育的實踐探索154
10.3.3　智能技術(shù)助力學(xué)校數(shù)字轉(zhuǎn)型155
10.3.4　課程信號大數(shù)據(jù)教育應(yīng)用155
10.3.5　學(xué)位羅盤大數(shù)據(jù)教育應(yīng)用158
10.4　未來趨勢159
本章小結(jié)160
習(xí)題161
參考文獻161

第11章　金融大數(shù)據(jù)162 
【本章導(dǎo)讀】162
【學(xué)習(xí)目標(biāo)】162
11.1　機遇與挑戰(zhàn)163
11.1.1　金融業(yè)發(fā)展面臨的機遇163
11.1.2　金融業(yè)發(fā)展面臨的挑戰(zhàn)164
11.2　基本概念與發(fā)展歷程164
11.2.1　基本概念164
11.2.2　發(fā)展歷程167
11.3　具體案例分析169
11.3.1　精準(zhǔn)營銷169
11.3.2　風(fēng)險控制172
11.4　未來趨勢175
本章小結(jié)176
習(xí)題176
參考文獻176

第12章　交通大數(shù)據(jù)178 
【本章導(dǎo)讀】178
【學(xué)習(xí)目標(biāo)】179
12.1　問題與挑戰(zhàn)179
12.2　基本概念與發(fā)展歷程180
12.2.1　基本概念180
12.2.2　發(fā)展歷程182
12.2.3　交通大數(shù)據(jù)分類182
12.3　具體案例分析185
12.3.1　路面異?！爸悄苎策墶?185
12.3.2　“公交優(yōu)先”特色的上海智慧交通云服務(wù)188
12.3.3　貴州交廣“互聯(lián)網(wǎng)+ 智慧交通云平臺” 191
12.4　未來趨勢192
本章小結(jié)194
習(xí)題194
參考文獻195