SQL Server索引的原理深入解析

前言

此文是我之前的筆記整理而來，以索引為入口進(jìn)行探討相關(guān)數(shù)據(jù)庫知識（又做了修改以讓人更好消化）。SQL Server接觸不久的朋友可以只看以下藍(lán)色字體字，簡單有用節(jié)省時間；如果是數(shù)據(jù)庫基礎(chǔ)不錯的朋友，可以全看，歡迎探討。

索引的概念

索引的用途：我們對數(shù)據(jù)查詢及處理速度已成為衡量應(yīng)用系統(tǒng)成敗的標(biāo)準(zhǔn)，而采用索引來加快數(shù)據(jù)處理速度通常是最普遍采用的優(yōu)化方法。

索引是什么：數(shù)據(jù)庫中的索引類似于一本書的目錄，在一本書中使用目錄可以快速找到你想要的信息，而不需要讀完全書。在數(shù)據(jù)庫中，數(shù)據(jù)庫程序使用索引可以重啊到表中的數(shù)據(jù)，而不必掃描整個表。書中的目錄是一個字詞以及各字詞所在的頁碼列表，數(shù)據(jù)庫中的索引是表中的值以及各值存儲位置的列表。

索引的利弊：查詢執(zhí)行的大部分開銷是I/O，使用索引提高性能的一個主要目標(biāo)是避免全表掃描，因為全表掃描需要從磁盤上讀取表的每一個數(shù)據(jù)頁，如果有索引指向數(shù)據(jù)值，則查詢只需要讀少數(shù)次的磁盤就行啦。所以合理的使用索引能加速數(shù)據(jù)的查詢。但是索引并不總是提高系統(tǒng)的性能，帶索引的表需要在數(shù)據(jù)庫中占用更多的存儲空間，同樣用來增刪數(shù)據(jù)的命令運行時間以及維護(hù)索引所需的處理時間會更長。所以我們要合理使用索引，及時更新去除次優(yōu)索引。

1.聚集索引和非聚集索引

索引分為聚集索引和非聚集索引

1.1 聚集索引

表的數(shù)據(jù)是存儲在數(shù)據(jù)頁中（數(shù)據(jù)頁的PageType標(biāo)記為1），SqlServer一頁是8k，存滿一頁就開辟下一頁存儲。如果表有聚集索引，那么一筆一筆物理數(shù)據(jù)就是按聚集索引字段的大小升/降排序存儲在頁中。當(dāng)對聚集索引字段更新或中間插入/刪除數(shù)據(jù)時，都會導(dǎo)致表數(shù)據(jù)移動（造成性能一定影響），因為它要保持升/降排序。

注意，主鍵只是默認(rèn)是聚集索引，它也可以設(shè)置為非聚集索引，也可以在非主鍵字段上設(shè)置為聚集索引，全表只能有一個聚集索引。

一個優(yōu)秀的聚集索引字段一般包含以下4個特性：

(A).自增長

總是在末尾增加記錄，減少分頁和索引碎片。

(B).不被更改

減少數(shù)據(jù)移動。

(C).唯一性

唯一性是任何索引最理想的特性，可以明確索引鍵值在排序中的位置。

更重要的是，索引鍵指唯一的話，它在每條記錄里才可以正確指向源數(shù)據(jù)行RID。如果聚集索引鍵值不唯一，SqlServer就需要內(nèi)部生成uniquifier 列組合當(dāng)作聚集鍵保證“鍵值”唯一性；如果非聚集索引鍵值不唯一，就會增加RID列（聚集索引鍵或者堆表中的行指針）保證“鍵值”唯一性。

思考（可略過）：索引“鍵值”在非葉子節(jié)點也有保證唯一性，原因應(yīng)該是為了明確索引記錄在非葉子節(jié)點中的位置。比如有個非聚集索引字段Name2，表中有很多Name2='a'的記錄，導(dǎo)致Name2='a'在非葉子節(jié)點上有多條索引記錄（節(jié)點），這時候再insert一筆Name2=‘a(chǎn)'的記錄時，就可以根據(jù)非葉子節(jié)點的RID和新增記錄的RID很快確定要insert到哪個索引記錄（節(jié)點）上，如果沒有非葉子節(jié)點的RID，那得遍歷到所有Name2='a'的葉子節(jié)點才能確定位置。另外，當(dāng)我們select * from Table1 where Name2='a'時，返回的數(shù)據(jù)是按非聚集索引Name2和RID排序的，很好理解返回的數(shù)據(jù)就是按這邊索引存儲的順序排序的。這是這條sql查詢時有用到Name2索引的結(jié)果，如果數(shù)據(jù)庫查詢計劃因“臨界點”問題選擇直接表數(shù)據(jù)掃描，那返回的數(shù)據(jù)默認(rèn)就是按表數(shù)據(jù)的順序排序的。

為了“鍵值”唯一性，對于聚集索引，uniquifier 列只在索引值重復(fù)時增加。對于非聚集索引，如果創(chuàng)建索引時沒定義唯一，RID會在所有記錄增加，就算索引值是唯一的；如果創(chuàng)建索引時定義唯一，RID只在葉子層增加，用于查找源數(shù)據(jù)行，即書簽查找操作。

(D).字段長度小

聚集索引鍵長度越小，一頁索引頁就可以容納更多索引記錄，進(jìn)而減少索引B樹結(jié)構(gòu)的深度。例如，一個百萬記錄的表有一個int聚集索引，可能只需要3層的B樹結(jié)構(gòu)。如果把聚集索引定義在更寬的列（比如uniqueidentifier列需要16 字節(jié)），那么索引的深度會增加到4層。任何聚集索引查找需要4個I/O操作（確切的說是4個邏輯讀），原先只要3個I/O操作。
同樣，非聚集索引里會包含聚集索引鍵值，聚集索引鍵長度越小非聚集索引記錄也就越小，一頁索引頁就可以容納更多索引記錄。

1.2 非聚集索引

也是存儲在頁中（PageType標(biāo)記為2的頁，叫索引頁)。比如表T建立了一個非聚集索引Index_A，那么表T有100條數(shù)據(jù)的話，那么索引Index_A也就有100條數(shù)據(jù)（準(zhǔn)確的說是100條葉子節(jié)點數(shù)據(jù)，索引是B樹結(jié)構(gòu)，如果樹的高度大于0，那么就有根節(jié)點頁或中間節(jié)點頁數(shù)據(jù)，這時索引數(shù)據(jù)就超過100條），如果表T還有非聚集索引Index_B，那么Index_B也是至少100條數(shù)據(jù)，所以索引建越多開銷越大。

更新索引字段、插入一條數(shù)據(jù)、刪除一條數(shù)據(jù)都會造成索引的維護(hù)從而造成性能的一定影響。在不同情況下，性能影響是不同的。比如當(dāng)你有一個聚集索引，插入的數(shù)據(jù)又都是在末尾，這樣幾乎是不會造成數(shù)據(jù)移動，影響較??；如果插入的數(shù)據(jù)在中間位置，一般會導(dǎo)致數(shù)據(jù)移動，而且可能產(chǎn)生分頁和頁碎片，影響就會稍大一點（如果插入到的中間頁有足夠的剩余空間容納插入的數(shù)據(jù)，而且位置是在頁末，也是不會造成數(shù)據(jù)移動）

2.索引的結(jié)構(gòu)

都說SqlServer的索引是B樹結(jié)構(gòu)（這邊假定你對B樹結(jié)構(gòu)有一定了解），那它到底長什么個模樣呢，可以用Sql語句來查看它的邏輯呈現(xiàn)。

新建查詢執(zhí)行語法： DBCC IND(Test,OrderBo,-1) --其中Test庫的OrderBo表有1萬筆數(shù)據(jù)，有聚集索引Id主鍵字段
（不妨自己動手建個表，有聚集索引字段，插入1萬表數(shù)據(jù)，然后執(zhí)行這個語法看看，會收獲很多，百聞不如一見）

執(zhí)行結(jié)果：

如上圖，看到一個IndexLevel=2的索引頁2112（這邊它就是B樹的根節(jié)點，IndexLevel最大的就是根節(jié)點，往下就是子級、子子級...只有一個根頁作為B樹結(jié)構(gòu)的訪問入口點），說明一定還有IndexLevel=1的索引頁和IndexLevel=0的葉子頁。由于這邊是聚集索引，因此當(dāng)IndexLevel=0的葉子頁就是數(shù)據(jù)頁，存儲的是一筆一筆的物理數(shù)據(jù)。如上圖也可以看到，IndexLevel=0的行的PageType等于1，就是代表數(shù)據(jù)頁，上面1.1章節(jié)講到聚集索引時，也有提到PageType=1；而如果是非聚集索引，IndexLevel=0的葉子頁，PageType是等于 2，仍然是索引頁。

同樣，我們用Sql命令DBCC PAGE看一看

-- DBCC TRACEON(3604,-1) 
DBCC PAGE(Test,1,2112,3) 
 --根節(jié)點2112，可以查出它的兩個子節(jié)點2280和2448，然后對這兩個子節(jié)點再作DBCC PAGE查詢
DBCC PAGE(Test,1,2280,3) 
DBCC PAGE(Test,1,2448,3)

如上圖，IndexLevel=2的2112頁有兩個IndexLevel=1的子節(jié)點2280和2448，子節(jié)點下又有子節(jié)點，每個節(jié)點負(fù)責(zé)不同的索引鍵值的區(qū)間（即上圖的“Id(key)”欄位，第一行值是Null，表示最小值或倒序時的最大值）。這樣的層級關(guān)系是不是就是一棵B樹結(jié)構(gòu)，其中IndexLevel其實就是B樹結(jié)構(gòu)中的高度Height。

SqlServer在索引中查找某一筆記錄時，是從根節(jié)點往下找到葉子節(jié)點，因為所有數(shù)據(jù)地址都有存在葉子節(jié)點，這其實是B+樹的特點之一（B樹特點是如果查找的值在非葉子節(jié)點就找到，則就能直接返回，顯然SqlServer不是這么做，要驗證這一點你可以set statistics io on把統(tǒng)計開起來，然后select看下邏輯讀的次數(shù)）。

既然一定會找到葉子節(jié)點，那么索引包含列只要在葉子節(jié)點記錄就可以了，即非葉子節(jié)點沒有記錄包含列，“索引包含列”見下文第3章節(jié)。

B+樹這個特點（所有數(shù)據(jù)地址都有存在葉子節(jié)點）也利于between value1 and value2 區(qū)間查詢，只要找到value1和value2（在葉子節(jié)點），然后把中間串起來就是要的結(jié)果了。

SqlServer索引結(jié)構(gòu)更像是B+樹，最終是B樹和B+樹的混合版，數(shù)據(jù)結(jié)構(gòu)都是人定的，不一定就是純粹的B樹或者單純的B+樹。

3.索引包含列和書簽查找

談到索引，這邊再講一個SqlServer2005開始增加的“索引包含列”功能，很實用。

比如，在大報表查詢數(shù)據(jù)時，where條件用到索引字段Name2，但是要select的字段是Name1，這時候可以使用“索引包含列”把Name1包含在索引字段Name2中，大大提高查詢性能。

語法： Create [UNIQUE]  Nonclustered/Clustered Index IndexName On dbo.Table1(Name2) Include(Name1);

接下來分析為什么索引包含列可以大大提高性能。仍然使用DBCC PAGE命令，查看一個非聚集索引并有包含列的索引數(shù)據(jù)情況：

由上圖可知，包含列Name1也存儲在索引數(shù)據(jù)中。因此，當(dāng)數(shù)據(jù)庫用索引字段Name2定位到要查找的某一行時，就可以直接把Name1的值返回了，而不用再根據(jù)RID（上圖是【HEAP RID(Key)】列）定位到數(shù)據(jù)頁中去取值，即減少了書簽查找。當(dāng)查詢只返回一條數(shù)據(jù)，只有一次書簽查找時當(dāng)然沒什么，如果查詢返回的數(shù)據(jù)很大，每一筆都要去數(shù)據(jù)頁找數(shù)據(jù)取出來，1000筆就是1000次書簽查找，可想而知性能消耗很大，這時候“索引包含列”價值就大大體現(xiàn)出來了。

關(guān)于一次書簽查找，表有聚集索引（比如Id）時就是類似執(zhí)行了一次 select Name1 from Table1 where Id=1 ，利用聚集索引鍵Id查找（查找方式就是索引Id的B樹結(jié)構(gòu)查找），而如果表沒有聚集索引，則是根據(jù)數(shù)據(jù)行指針（由“文件號2byte：頁號4byte：槽號2byte”組成）查找。聚集索引鍵和行指針一般統(tǒng)稱為RID（Row ID）指針。從這里我們可以想到，如果你的表沒有很好的聚集索引字段，建議自增長的Id字段做聚集索引主鍵（冗余出Id字段也行），它符合自增長、不被更改、唯一性、長度小的特性，是聚集索引的很好選擇。

自增長Id絕大部分情況下是適用的，特殊的情況看具體需求而定吧。還有自增長Id要考慮一個缺陷，當(dāng)對表大數(shù)據(jù)量的并發(fā)insert記錄時，可以想象每個線程都是要insert到末尾那個頁，就會發(fā)生競爭和等待。解決這種情況你可以用uniqueidentifier類型字段（16字節(jié)，我是不建議使用）或者哈希分區(qū)（就是一個表分成多個表，大數(shù)據(jù)處理中分庫分表是正常的）等。但是我建議先優(yōu)化你的insert效率（insert性能本身是很快的），測試每秒并發(fā)insert數(shù)是否滿足生產(chǎn)環(huán)境，以保留簡單穩(wěn)定高效的自增長Id作法。

自增長Id不一定就是用數(shù)據(jù)庫提供的自增長，你也可以自己寫算法生成一個并發(fā)情況下也能唯一的Id（這時候一般長度是bitint，8字節(jié)整形），這種情況適合場景是分布式數(shù)據(jù)庫中主從復(fù)制時Id欄位是要求一定不能出錯的情況（主從復(fù)制的一般模式下，主庫的Id是按主庫增長，從庫Id也是按從庫自己的增長，如果遇到死鎖等原因?qū)е轮鲝膹?fù)制不同步時，那從庫的Id就和主庫的Id自增長就對不上號了）。如果自增長Id是冗余出的主鍵，那主從庫Id對不上號也就無影響。

另外，上圖最后一列【Row Size】還告訴我們，索引列或索引包含列的size不要太長，否則一頁容不了幾筆記錄，這樣大大增加了索引頁數(shù)量，而且索引數(shù)據(jù)所占的空間也大大增加了。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。