数据分析与决策技术丛书 ELK Stack权威指南 第2版2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

数据分析与决策技术丛书 ELK Stack权威指南 第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分Logstash3

第1章 入门示例3

1.1下载安装3

1.2 Hello World4

1.3配置语法8

1.3.1语法8

1.3.2命令行参数10

1.3.3设置文件示例11

1.4插件安装12

1.5长期运行方式13

第2章 插件配置15

2.1输入插件15

2.1.1标准输入16

2.1.2文件输入17

2.1.3 TCP输入18

2.1.4 syslog输入19

2.1.5 http-poller抓取21

2.2编解码配置22

2.2.1 JSON编解码23

2.2.2多行事件编码24

2.2.3网络流编码26

2.2.4 collectd输入27

2.3过滤器配置30

2.3.1 date时间处理30

2.3.2 grok正则捕获33

2.3.3 dissect解析35

2.3.4 GeoIP地址查询36

2.3.5 JSON编解码38

2.3.6 key-value切分38

2.3.7 metrics数值统计40

2.3.8 mutate数据修改41

2.3.9随心所欲的Ruby处理45

2.3.10 split拆分事件47

2.3.11交叉日志合并48

2.4输出插件49

2.4.1输出到Elasticsearch49

2.4.2发送email54

2.4.3调用系统命令执行54

2.4.4保存成文件55

2.4.5报警发送到Nagios56

2.4.6 statsd58

2.4.7标准输出stdout61

2.4.8 TCP发送数据62

2.4.9输出到HDFS62

第3章 场景示例64

3.1 Nginx访问日志64

3.1.1 grok处理方式64

3.1.2 split处理方式65

3.1.3 JSON格式68

3.1.4 syslog方式发送69

3.2 Nginx错误日志69

3.3 Postfix日志71

3.4 Ossec日志72

3.4.1配置所有Ossee agent采用syslog输出72

3.4.2配置Logstash72

3.4.3推荐Kibana仪表盘73

3.5 Windows系统日志73

3.5.1采集端配置73

3.5.2接收解析端配置75

3.6 Java日志77

3.6.1 Log4J配置77

3.6.2 Logstash配置78

3.6.3异常堆栈测试验证78

3.6.4 JSON Event layout79

3.7 MySQL慢查询日志80

3.8 Docker日志82

3.8.1记录到主机磁盘82

3.8.2通过logspout收集83

第4章 性能与监控85

4.1性能测试85

4.1.1配置示例85

4.1.2使用方式86

4.1.3额外的话87

4.2监控方案87

4.2.1 logstash-input-heartbeat心跳检测方式88

4.2.2 JMX启动参数方式89

4.2.3 API方式90

第5章 扩展方案94

5.1通过Redis队列扩展95

5.1.1读取Redis数据95

5.1.2采用list类型扩展Logstash96

5.1.3输出到Redis97

5.2通过Kafka队列扩展98

5.2.1 Kafka基础概念99

5.2.2 Input配置100

5.2.3 Output配置101

5.2.4性能103

5.3 logstash-forwarder103

5.3.1 Indexer端配置104

5.3.2 Shipper端配置104

5.3.3 AIX上的logstash-forwarder-java106

5.4 Rsyslog107

5.4.1常用模块介绍107

5.4.2与Logstash合作109

5.4.3 Mmexternal模块109

5.5 Nxlog112

5.6 Heka114

5.7 Fluentd115

5.7.1配置示例115

5.7.2 Fluentd插件117

5.8 Message：：Passing117

第6章Logstash源码解析119

6.1 Pipeline120

6.2 Plugins122

第7章 插件开发125

7.1插件格式125

7.2插件的关键方法126

7.3插件打包127

7.4 Filter插件开发示例128

7.4.1 mmdb数据库的生成方法129

7.4.2 LogStash：：Filters：：Mmdb实现130

7.4.3 logstash-filter-mmdb打包131

7.5 Input插件开发示例132

7.5.1 FileWatch模块原理132

7.5.2 LogStash：：Inputs：：Utmp实现133

7.6 Output插件开发示例136

第8章Beats138

8.1 libbeat的通用配置138

8.1.1过滤器配置138

8.1.2输出配置139

8.1.3 shipper网络配置142

8.1.4日志配置142

8.1.5运行配置142

8.2 Filebeat142

8.2.1安装部署143

8.2.2配置144

8.2.3生成的可用字段145

8.3 packetbeat抓包分析145

8.3.1安装部署146

8.3.2配置示例146

8.3.3 dashboard效果147

8.3.4 Kibana 3拓扑图148

8.4 metricbeat150

8.4.1配置示例152

8.4.2各模块输出指标示例152

8.4.3采集Docker中的指标164

8.5 winlogbeat164

第二部分Elasticsearch169

第9章 架构原理169

9.1准实时索引的实现169

9.1.1动态更新的Lucene索引169

9.1.2利用磁盘缓存实现的准实时检索170

9.1.3 translog提供的磁盘同步控制171

9.2 segment merge的影响172

9.2.1归并线程配置173

9.2.2归并策略174

9.2.3 forcemerge接口174

9.3 routing和replica的读写过程174

9.3.1路由计算175

9.3.2副本一致性175

9.4 shard的allocate控制176

9.4.1 reroute接口178

9.4.2分配失败原因179

9.4.3节点下线180

9.4.4冷热数据的读写分离180

9.5自动发现的配置181

第10章 数据接口用例183

10.1增删改查操作183

10.2搜索请求185

10.2.1全文搜索185

10.2.2聚合请求187

10.2.3 pipeline聚合189

10.2.4搜索请求参数191

10.3脚本192

10.3.1动态提交192

10.3.2固定文件193

10.3.3其他语言194

10.4重建索引194

10.4.1 Perl客户端194

10.4.2用Logstash重建索引195

10.4.3新reindex接口的应用195

10.5 Spark Streaming交互197

第11章 性能优化199

11.1 bulk提交199

11.1.1 bulk大小200

11.1.2 UDP方式200

11.2 gateway配置201

11.3集群状态维护202

11.4缓存206

11.4.1 filter缓存206

11.4.2 shard reguest缓存207

11.4.3 field stats接口208

11.5字段数据209

11.5.1 Circuit Breaker209

11.5.2 doc values210

11.6 curator工具212

11.6.1参数介绍213

11.6.2常用示例214

11.7 profiiler调试接口214

第12章 测试和扩展方案217

12.1测试方案217

12.2多集群互联220

12.3 puppet-elasticsearch模块的使用223

12.3.1安装和配置示例223

12.3.2配置解释224

12.4计划内停机升级的操作流程224

12.5 Shield权限管理227

12.5.1 Shield架构227

12.5.2安装部署227

12.6 searchguard权限管理229

12.6.1安装229

12.6.2权限角色配置231

12.6.3其他组件配置方式233

12.7别名的应用234

12.7.1索引更名时的无缝切换234

12.7.2限制索引数据部分可读236

12.8快照与恢复237

12.8.1 HDFS插件安装配置237

12.8.2 Hadoop配置238

12.8.3备份操作240

12.9 rollover和shrink管理240

12.9.1 rollover管理240

12.9.2 shrink缩容241

12.10 ingest节点243

12.10.1创建管道流243

12.10.2测试管道流243

12.10.3处理器244

第13章 映射与模板的定制246

13.1映射的增删改查246

13.2 Elasticsearch的核心类型248

13.3自定义字段映射249

13.3.1精确索引249

13.3.2时间格式249

13.3.3多重索引250

13.4特殊字段250

13.5动态模板映射251

13.6索引模板252

第14章 监控方案254

14.1监控相关接口254

14.1.1集群健康状态254

14.1.2节点状态257

14.1.3热线程状态264

14.1.4索引状态265

14.1.5任务管理266

14.1.6 cat接口的命令行使用268

14.2日志记录271

14.3实时bigdesk方案272

14.4 cerebro274

14.5 Zabbix trapper方案275

14.5.1安装配置275

14.5.2模板应用276

第15章Elasticsearch在运维监控领域的其他应用278

15.1 Percolator接口278

15.2 Watcher报警281

15.3 ElastAlert284

15.3.1安装284

15.3.2配置结构284

15.3.3扩展286

15.4时序数据库288

15.5 Etsy的Kale异常检测290

15.6 Grafana可视化291

15.6.1安装291

15.6.2配置数据源292

15.6.3生成第一个图表293

15.6.4模板功能295

15.6.5在线资源300

15.7 Juttle可视化301

15.7.1安装部署302

15.7.2命令行运行示例302

15.7.3可视化界面304

15.7.4可视化相关指令介绍304

第三部分Kibana309

第16章Kibana的产品对比309

16.1 Kibana 3的设计思路和功能309

16.2 Kibana 5的设计思路和功能310

16.3与Hadoop体系的区别310

16.4 Splunk场景参考311

第17章Kibana 5312

17.1安装、配置和运行313

17.2生产环境部署314

17.2.1 Nginx代理配置316

17.2.2开启SSL317

17.3 Discover功能318

17.3.1设置时间过滤器318

17.3.2搜索数据319

17.3.3按字段过滤321

17.3.4过滤器的协同工作方式321

17.3.5查看文档数据323

17.4各种可视化功能324

17.4.1 area326

17.4.2 table329

17.4.3 line330

17.4.4 Markdown331

17.4.5 metric331

17.4.6 pie332

17.4.7 tile map332

17.4.8 vertical bar334

17.4.9 tagcloud335

17.5仪表盘功能335

17.5.1开始336

17.5.2容器功能336

17.5.3修改可视化337

17.5.4修改主题风格339

17.6 management功能339

17.6.1创建一个连接到Elasticsearch的索引模式339

17.6.2字段格式342

17.6.3创建一个脚本化字段344

17.6.4设置高级参数345

17.6.5管理已保存的搜索、可视化和仪表盘345

17.7设置Kibana服务器属性346

17.8常用sub agg示例347

17.8.1函数堆栈链分析347

17.8.2分图统计349

17.8.3 TopN的时序趋势图350

17.8.4响应时间的百分占比趋势图352

17.8.5响应时间的概率分布在不同时段的相似度对比353

17.9 Kibana报表的快速实现354

17.10 timelion应用355

17.11 console应用357

第18章Kibana 5源码解析359

18.1 Kibana索引的数据结构360

18.2主页入口361

18.2.1 Kibana App362

18.2.2 Courier类367

18.2.3路径记忆功能的实现370

18.3 Discover解析370

18.4 Visualize解析374

18.4.1 vis_tyPes实现375

18.4.2 savedVisualizations实现382

18.4.3 Visualize实现382

18.4.4 VisEditorSidebar实现383

18.5 Dashboard解析384

第19章Kibana插件开发示例388

19.1 Kibana插件388

19.1.1部署命令388

19.1.2默认插件389

19.2可视化插件示例390

19.2.1插件目录生成390

19.2.2主文件及解释391

19.3服务器端插件示例394

19.4完整应用开发示例398

19.4.1 App模块的index.js结构398

19.4.2服务器端部分399

19.4.3前台界面的app.js399

19.4.4页面模板401