大话存储 2 存储系统架构与底层原理极限剖析2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大话存储 2 存储系统架构与底层原理极限剖析PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 混沌初开—存储系统的前世今生1

1.1存储历史2

1.2信息、数据和数据存储4

1.2.1信息4

1.2.2什么是数据6

1.2.3数据存储6

1.3用计算机来处理信息、保存数据7

第2章IO大法—走进计算机IO世界9

2.1 IO的通路—总线10

2.2计算机内部通信11

2.2.1 IO总线是否可以看作网络12

2.2.2 CPU、内存和磁盘之间通过网络来通信13

2.3网中之网14

第3章 磁盘大挪移—磁盘原理与技术详解15

3.1硬盘结构16

3.1.1盘片上的数据组织17

3.1.2硬盘控制电路简介22

3.1.3磁盘的IO单位23

3.2磁盘的通俗演绎25

3.3磁盘相关高层技术27

3.3.1磁盘中的队列技术27

3.3.2无序传输技术27

3.3.3几种可控磁头扫描方式概论28

3.3.4关于磁盘缓存29

3.3.5影响磁盘性能的因素31

3.4硬盘接口技术31

3.4.1 IDE硬盘接口32

3.4.2 SATA硬盘接口34

3.5 SCSI硬盘接口37

3.6磁盘控制器、驱动器控制电路和磁盘控制器驱动程序43

3.6.1磁盘控制器43

3.6.2驱动器控制电路44

3.6.3磁盘控制器驱动程序44

3.7内部传输速率和外部传输速率45

3.7.1内部传输速率45

3.7.2外部传输速率46

3.8并行传输和串行传输46

3.8.1并行传输46

3.8.2串行传输48

3.9磁盘的Iops和传输带宽（吞吐量）48

3.9.1 Iops48

3.9.2传输带宽49

3.10固态存储介质和固态硬盘50

3.10.1 SSD固态硬盘的硬件组成50

3.10.2从Flash芯片读取数据的过程53

3.10.3向Flash芯片中写入数据的过程54

3.10.4 Flash芯片的通病55

3.10.5 SSD给自己开的五剂良药，药到是否病除57

3.10.6 SSD如何处理Cell损坏59

3.10.7 SSD的前景60

3.11小结：网中有网，网中之网61

第4章 七星北斗—大话/详解七种RAID63

4.1大话七种RAID武器64

4.1.1 RAID 0阵式64

4.1.2 RAID 1阵式66

4.1.3 RAID 2阵式68

4.1.4 RAID 3阵式70

4.1.5 RAID 4阵式74

4.1.6 RAID 5阵式75

4.1.7 RAID 6阵式79

4.2七种RAID技术详解81

4.2.1 RAID 0技术详析83

4.2.2 RAID 1技术详析85

4.2.3 RAID 2技术详析86

4.2.4 RAID 3技术详析88

4.2.5 RAID 4技术详析90

4.2.6 RAID 5技术详析93

4.2.7 RAID 6技术详析96

第5章 降龙传说—RAID、虚拟磁盘、卷和文件系统实战99

5.1操作系统中RAID的实现和配置100

5.1.1 Windows Server 2003高级磁盘管理100

5.1.2 Linux下软RAID配置示例105

5.2 RAID卡107

5.3磁盘阵列118

5.3.1 RAID 50119

5.3.2 RAID 10和RAID 01119

5.4虚拟磁盘120

5.4.1 RAID组的再划分121

5.4.2同一通道存在多种类型的RAID组121

5.4.3操作系统如何看待逻辑磁盘121

5.4.4 RAID控制器如何管理逻辑磁盘121

5.5卷管理层123

5.5.1有了逻辑盘就万事大吉123

5.5.2深入卷管理层124

5.5.3 Linux下配置LVM实例125

5.5.4卷管理软件的实现127

5.5.5低级VM和高级VM129

5.5.6 VxVM卷管理软件配置简介130

5.6大话文件系统133

5.6.1成何体统—没有规矩的仓库133

5.6.2慧眼识人—交给下一代去设计134

5.6.3无孔不入—不浪费一点空间134

5.6.4一箭双雕—一张图解决两个难题135

5.6.5宽容似海—设计也要像心胸一样宽137

5.6.6老将出马—权威发布137

5.6.7一统江湖—所有操作系统都在用138

5.7文件系统中的IO方式138

第6章 阵列之行—大话磁盘阵列141

6.1初露端倪—外置磁盘柜应用探索142

6.2精益求精—结合RAID卡实现外置磁盘阵列143

6.3独立宣言—独立的外部磁盘阵列144

6.4双龙戏珠—双控制器的高安全性磁盘阵列146

6.5龙头凤尾—连接多个扩展柜148

6.6锦上添花—完整功能的模块化磁盘阵列149

6.7一脉相承—主机和磁盘阵列本是一家150

6.8天罗地网—SAN151

第7章 熟读宝典—系统与系统之间的语言OSI153

7.1人类模型与计算机模型的对比剖析154

7.1.1人类模型154

7.1.2计算机模型155

7.1.3个体间交流是群体进化的动力156

7.2系统与系统之间的语言—OSI初步156

7.3 OSI模型的七个层次157

7.3.1应用层157

7.3.2表示层158

7.3.3会话层158

7.3.4传输层158

7.3.5网络层159

7.3.6数据链路层160

7.3.7物理层162

7.4 OSI与网络163

第8章 勇破难关—Fibre Channel 协议详解167

8.1 FC网络—极佳的候选角色168

8.1.1物理层168

8.1.2链路层168

8.1.3网络层170

8.1.4传输层175

8.1.5上三层176

8.1.6小结176

8.2 FC协议中的七种端口类型177

8.2.1 N端口和F端口177

8.2.2 L端口177

8.2.3 NL端口和FL端口178

8.2.4 E端口180

8.2.5 G端口180

8.3 FC适配器181

8.4改造盘阵前端通路—SCSI迁移到FC182

8.5引入FC之后183

8.6多路径访问目标186

第9章 天翻地覆—FC协议的巨大力量191

9.1 FC交换网络替代并行SCSI总线的必然性192

9.1.1面向连接与面向无连接192

9.1.2串行和并行193

9.2不甘示弱—后端也升级换代为FC193

9.3 FC革命—完整的盘阵解决方案195

9.3.1 FC磁盘接口结构195

9.3.2一个磁盘同时连入两个控制器的Loop中196

9.3.3共享环路还是交换— SBOD芯片级详解196

9.4 SAS大革命206

9.4.1 SAS物理层206

9.4.2 SAS链路层208

9.4.3 SAS网络层209

9.4.4 SAS传输层和应用层211

9.4.5 SAS的应用设计和实际应用示例213

9.4.6 SAS目前的优势和面临的挑战214

9.5中高端磁盘阵列整体架构简析215

9.5.1 IBM DS4800和DS5000 控制器架构简析217

9.5.2 NetApp FAS系列磁盘阵列控制器简析223

9.5.3 IBM DS8000简介225

9.5.4富士通 ETERNUS DX8000磁盘阵列控制器结构简析225

9.5.5 EMC公司Clariion CX/CX3及DMX系列盘阵介绍228

9.5.6 HDS公司AMS2000和USP系列盘阵介绍232

9.5.7 HP公司MSA2000和EVA8000存储系统架构简介235

9.5.8传统磁盘阵列架构总结236

9.6磁盘阵列配置实践236

9.6.1基于IBM的DS4500盘阵的配置实例236

9.6.2基于EMC的CX700磁盘阵列配置实例242

9.7 HBA卡逻辑架构详析与SAN Boot示例245

9.7.1 HBA卡逻辑架构245

9.7.2支持Boot的HBA卡访问流程247

9.8国产中高端磁盘阵列250

9.9小结251

第10章 三足鼎立—DAS、 SAN和NAS253

10.1 NAS也疯狂254

10.1.1另辟蹊径—乱谈NAS的起家254

10.1.2双管齐下—两种方式访问的后端存储网络256

10.1.3万物归一—网络文件系统256

10.1.4美其名曰—NAS263

10.2龙争虎斗—NAS与SAN之争265

10.2.1 SAN快还是NAS快265

10.2.2 SAN好还是NAS好266

10.2.3与SAN设备的通信过程267

10.2.4与NAS设备的通信过程267

10.2.5文件提供者268

10.2.6 NAS的本质269

10.3 DAS、 SAN和NAS269

10.4最终幻想—将文件系统语言承载于FC网络传输270

10.5长路漫漫—存储系统架构演化过程270

10.5.1第一阶段：全整合阶段271

10.5.2第二阶段：磁盘外置阶段271

10.5.3第三阶段：外部独立磁盘阵列阶段271

10.5.4第四阶段：网络化独立磁盘阵列阶段271

10.5.5第五阶段：瘦服务器主机、独立NAS阶段272

10.5.6第六阶段：全分离式阶段272

10.5.7第七阶段：统一整合阶段272

10.5.8第八阶段：迅速膨胀阶段273

10.5.9第九阶段：收缩阶段273

10.5.10第十阶段：强烈坍缩阶段274

10.6泰山北斗—NetApp的NAS产品274

10.6.1 WAFL配合RAID 4275

10.6.2 Data ONTAP利用了数据库管理系统的设计275

10.6.3利用NVRAM来记录操作日志276

10.6.4 WAFL从不覆写数据276

10.7初露锋芒—B1ueArc公司的NAS产品277

第11章 大师之作—大话以太网和TCP/IP协议279

11.1共享总线式以太网280

11.1.1连起来280

11.1.2找目标280

11.1.3发数据280

11.2网桥式以太网282

11.3交换式以太网283

11.4 TCP/IP协议283

11.4.1 TCP/IP协议中的IP284

11.4.2 IP的另外一个作用284

11.4.3 TCP/IP协议中的TCP和 UDP285

11.5 TCP/IP和以太网的关系287

第12章 异军突起—存储网络的新军 IP SAN289

12.1横眉冷对—TCP/IP与FC290

12.2自叹不如—为何不是以太网+TCP/IP290

12.3天生我才必有用—攻陷Disk SAN阵地291

12.4 ISCSI交互过程简析291

12.4.1实例一：初始化磁盘过程291

12.4.2实例二：新建一个文本文档294

12.4.3实例三：文件系统位图296

12.5 ISCSI磁盘阵列298

12.6 IP SAN299

12.7增强以太网和TCP/IP的性能300

12.8 FC SAN节节败退301

12.9 ISCSI配置应用实例301

12.9.1第一步：在存储设备上创建LUN302

12.9.2第二步：在主机端挂载LUN304

12.10 ISCSI卡Boot配置示例306

12.11 l0Gb以太网的威力初显307

12.12小结308

第13章 握手言和—IP与FC融合的结果309

13.1 FC的窘境310

13.2协议融合的迫切性311

13.3网络通信协议的四级结构314

13.4协议融合的三种方式315

13.5 Tunnel和Map融合方式各论316

13.5.1 Tunnel方式317

13.5.2 Map方式318

13.6 FC与IP协议之间的融合320

13.7无处不在的协议融合321

13.8交叉融合321

13.9 IFCP和FCIP的具体实现322

13.10局部隔离/全局共享的存储网络324

13.11多协议混杂的存储网络325

13.12 IP Over FC326

13.13 FCoE328

13.13.1 FCoE的由来328

13.13.2 FcoE的设计框架328

13.13.3 FcoE卡329

13.13.4 FCoE交换机329

13.13.5解剖FCoE交换机331

13.13.6存储阵列设备端的改动332

13.13.7 FCoE与iSCSI332

13.13.8 FcoE的前景333

13.13.9 Open FCoE333

第14章 变幻莫测—虚拟化335

14.1操作系统对硬件的虚拟化336

14.2计算机存储子系统的虚拟化337

14.3带内虚拟化和带外虚拟化341

14.4硬网络与软网络344

14.5用多台独立的计算机模拟成一台虚拟计算机344

14.6用一台独立的计算机模拟出多台虚拟计算机345

14.7用磁盘阵列来虚拟磁带库345

14.8用控制器来虚拟其他磁盘阵列353

第15章 众志成城—存储集群357

15.1集群概述358

15.1.1高可用性集群（HAC）358

15.1.2负载均衡集群（LBC）358

15.1.3高性能集群（HPC）358

15.2集群的适用范围359

15.3系统路径上的集群各论359

15.3.1硬件层面的集群359

15.3.2软件层面的集群361

15.4实例：Microsoft MSCS软件实现应用集群361

15.4.1在Microsoft Windows Server 2003上安装MSCS362

15.4.2配置心跳网络363

15.4.3测试安装364

15.4.4测试故障转移364

15.5实例：SQL Server集群安装配置364

15.5.1安装SQL Server364

15.5.2验证SQL数据库集群功能367

15.6块级集群存储系统368

15.6.1 IBM XIV集群存储系统370

15.6.2 SPAR公司Inserv-T800集群存储系统379

15.6.3 EMC公司SymmetrixV-MAX集群存储系统382

15.7集群NAS系统和集群文件系统389

15.7.1 HP公司的Ibrix集群NAS系统389

15.7.2 Panasas和pNFS392

15.7.3此“文件系统”非彼“文件系统”393

15.7.4什么是Single Name Space393

15.7.5 Single Filesystem Image与Single Path Image394

15.7.6集群中的分布式锁机制395

15.7.7集群文件系统的缓存一致性397

15.7.8集群NAS的本质397

15.7.9块级集群与NAS集群的融合猜想398

15.8对象存储系统398

15.9当前主流的集群文件系统架构分类与对比404

15.9.1共享与非共享存储型集群404

15.9.2对称式与非对称式集群405

15.9.3自助型与服务型集群406

15.9.4 SPI与SFI型集群407

15.9.5串行与并行集群407

15.9.6集群/并行/分布式/共享文件系统各论409

15.9.7集群NAS系统的三层架构409

15.9.8实际中的各种集群拓扑一览409

15.10蓝鲸集群文件系统（BWFS）—国产的骄傲412

15.10.1 SAN共享文件系统412

15.10.2针对NAS和SAN文件系统的并行化改造414

15.10.3目无全鲸—中科蓝鲸公司BWFS系统底层架构剖析414

15.10.4基于BWFS的产品形态417

15.10.5中科蓝鲸BWFS的其他技术优势417

15.10.6中科蓝鲸BWFS的未来419

15.10.7国产化的重要性419

15.11集群的本质—一种自组自控轮回的Raid420

15.11.1三统理论421

15.11.2并行的不仅可以是文件423

15.11.3集群底层与上层解耦424

15.11.4云基础架构425

15.12互联网运营商的特殊集群— NoSQL425

第16章 未雨绸缪—数据保护和备份技术429

16.1数据保护430

16.1.1文件级备份430

16.1.2块级备份431

16.2高级数据保护方法431

16.2.1远程文件复制431

16.2.2远程磁盘（卷）镜像431

16.2.3快（块）照数据保护432

16.2.4卷Clone460

16.2.5 Continuous Data Protect（CDP，连续数据保护）465

16.2.6 VSS公共快照服务509

16.2.7快照、克隆、CDP与平行宇宙511

16.3数据备份系统的基本要件511

16.3.1备份目标512

16.3.2备份通路515

16.3.3备份引擎517

16.3.4三种备份方式521

16.3.5数据备份系统案例一522

16.3.6数据备份系统案例二523

16.3.7 NetBackup配置指南524

16.3.8配置DB2数据库备份534

16.4与业务应用相结合的快照备份和容灾540

第17章 愚公移山—大话数据容灾543

17.1容灾概述544

17.2生产资料容灾—原始数据的容灾545

17.2.1通过主机软件实现前端专用网络或者前端公用网络同步546

17.2.2案例：DB2数据的HADR组件容灾548

17.2.3通过主机软件实现后端专用网络同步555

17.2.4通过数据存储设备软件实现专用网络同步559

17.2.5案例：IBM公司Remote Mirror容灾实施560

17.2.6小结563

17.3容灾中数据的同步复制和异步复制563

17.3.1同步复制例解563

17.3.2异步复制例解564

17.4容灾系统数据一致性保证与故障恢复机制565

17.4.1数据一致性问题的产生565

17.4.2对异步数据复制过程中一致性保证的实现方式567

17.4.3灾难后的切换与回切同步过程577

17.4.4周期性异步复制与连续异步复制578

17.5四大厂商的数据容灾系统方案概述579

17.5.1 IBM公司的PPRC579

17.5.2 EMC公司的MirrorView、SanCopy和SRDF580

17.5.3 HDS公司的Truecopy582

17.5.4 NetApp公司的Snapmirror582

17.6生产者的容灾—服务器应用程序的容灾583

17.6.1生产者容灾概述583

17.6.2案例一：基于Symantec公司的应用容灾产品VCS587

17.6.3案例二：基于Symantec公司的应用容灾产品VCS590

17.7虚拟容灾技术592

17.8一体化先行军—爱数一体化备份存储柜592

17.8.1爱数备份存储柜3.5产品架构分析593

17.8.2爱数备份存储柜v3.5独特技术595

17.8.3国产存储的方向597

17.9带宽、延迟及其影响597

第18章 鬼斧神工—数据前处理与后处理601

18.1数据存储和数据管理602

18.2存储系统之虚实阴阳论602

18.3 Data Cooker各论603

18.3.1 Thin Provision/over Allocation603

18.3.2 LUN Space Reclaiming （Unprovision/Deprovision，Get Thin）610

18.3.3 Tier（分级）/Migrating（迁移）613

18.3.4 Deduplication（重复数据删除）644

18.3.5磁盘数据一致性保护及错误恢复659

第19章 过关斩将—系统10路径及优化667

19.1理解并记忆主机端IO路径架构图669

19.1.1应用程序层670

19.1.2文件系统层711

19.1.3卷管理层718

19.1.4层与层之间的调度员：IO Manager729

19.1.5底层设备驱动层736

19.2理解并记忆存储端IO路径架构图764

19.2.1物理磁盘层764

19.2.2物理磁盘组织层765

19.2.3后端磁盘控制器/适配器层766

19.2.4 RAID管理层766

19.2.5 LUN管理层769

19.2.6前端接口设备及驱动层777

19.2.7缓存管理层777

19.2.8数据前处理和后处理层785

19.2.9存储系统处理一个IO的一般典型流程786

19.3 IO性能问题诊断总论786

19.3.1所谓“优化”的含义787

19.3.2如何发现系统症状788

19.3.3六剂良药治愈IO性能低下788

19.3.4面向SSD的IO处理过程优化793

19.4小结：再论机器世界与人类世界794

第20章 腾云驾雾—大话云存储795

20.1太始之初—“云”的由来796

20.1.1观点1：云即设备796

20.1.2观点2：云即集群797

20.1.3观点3：云即IT系统797

20.1.4观点4：云即服务797

20.1.5云目前最主流的定义798

20.2混沌初开—是谁催生了云798

20.2.1一切皆以需求为导向798

20.2.2云对外表现为一种商业模式799

20.3落地生根—以需求为导向的系统架构变化800

20.3.1云对内表现为一种技术架构800

20.3.2云到底是模式还是技术802

20.3.3公有云和私有云803

20.4拨云见日—云系统架构及其组成部分805

20.4.1物理支撑层805

20.4.2基础IT架构层805

20.4.3基础架构/集群管理层806

20.4.4资源部署层806

20.4.5中间件层806

20.4.6应用引擎层807

20.4.7业务展现与运营层807

20.5真相大白—实例说云809

20.5.1 3Tera Applogic809

20.5.2 IBM Blue Could818

20.6乘风破浪—困难还是非常多的822

20.6.1云的优点822

20.6.2云目前存在的问题823

20.7千年之梦—云今后的发展824

20.7.1云本质思考824

20.7.2身边的各种云服务826

20.7.3进化还是退化826

20.7.4云发展展望827

20.7.5 Micro、Mini、Normal、Huge、Gird弹性数据中心828

20.7.6弹性层的出现将会让数据中心拥有两套性能指标829

20.8尘埃落定—云所体现出来的哲学思想829

20.8.1轮回往复—云的哲学形态829

20.8.2智慧之云—云的最终境界830

20.8.3云在哲学上所具有的性质830

20.8.4云基础架构的艺术与哲学意境831

20.8.5纵观存储发展时代—云发展预测832

20.9结束语835

附录1837

后记894