资源名称:《深入理解Nginx 模块开发与架构解析》PDF 下载

内容简介:

本书是阿里巴巴资深Nginx技术专家呕心沥血之作,是作者多年的经验结晶,也是目前市场上唯一一本通过还原Nginx设计思想,剖析Nginx架构来帮助读者快速高效开发HTTP模块的图书。

本书首先通过介绍官方Nginx的基本用法和配置规则,帮助读者了解一般Nginx模块的用法,然后重点介绍如何开发HTTP模块(含HTTP过滤模块)来得到定制的Nginx,其中包括开发一个功能复杂的模块所需要了解的各种知识,如Nginx的基础数据结构、配置项的解析、记录日志的工具以及upstream、subrequest的使用方法等。在此基础上,综合Nginx框架代码分析Nginx的架构,介绍其设计理念和技巧,进一步帮助读者自由、有效地开发出功能丰富、性能一流的Nginx模块。

作者简介:

陶辉,毕业于西安交通大学计算机科学与技术专业,曾就职于华为中央软件部、腾讯QQ空间、思科中国CRDC等公司,目前在阿里巴巴云计算公司的飞天团队工作,研究方向为介于IaaS和PaaS间的弹性计算,多年以来专注于Nginx的定制化应用,对Nginx的设计与特性有深刻认识,实战经验丰富,编写过许多优秀的Nginx模块并应用于企业级产品中,同时撰写了大量关于Nginx的技术文章。擅长Linux环境下高性能服务器的开发,以及分布式环境下海量数据存储的设计开发。

资源目录:

前 言

第一部分 Nginx能帮我们做什么

第1章 研究Nginx前的准备工作 / 2

1.1 Nginx是什么 / 2

1.2 为什么选择Nginx / 4

1.3 准备工作 / 7

1.3.1 Linux操作系统 / 7

1.3.2 使用Nginx的必备软件 / 7

1.3.3 磁盘目录 / 8

1.3.4 Linux内核参数的优化 / 9

1.3.5 获取Nginx源码 / 11

1.4 编译安装Nginx / 11

1.5 configure详解 / 11

1.5.1 configure的命令参数 / 12

1.5.2 configure执行流程 / 18

1.5.3 configure生成的文件 / 22

1.6 Nginx的命令行控制 / 24

1.7 小结 / 27

第2章 Nginx的配置 / 28

2.1 运行中的Nginx进程间的关系 / 28

2.2 Nginx配置的通用语法 / 31

2.2.1 块配置项 / 31

2.2.2 配置项的语法格式 / 32

2.2.3 配置项的注释 / 33

2.2.4 配置项的单位 / 33

2.2.5 在配置中使用变量 / 33

2.3 Nginx服务的基本配置 / 34

2.3.1 用于调试进程和定位问题的配置项 / 34

2.3.2 正常运行的配置项 / 36

2.3.3 优化性能的配置项 / 38

2.3.4 事件类配置项 / 39

2.4 用HTTP核心模块配置一个静态Web服务器 / 41

2.4.1 虚拟主机与请求的分发 / 42

2.4.2 文件路径的定义 / 45

2.4.3 内存及磁盘资源的分配 / 48

2.4.4 网络连接的设置 / 50

2.4.5 MIME类型的设置 / 53

2.4.6 对客户端请求的限制 / 54

2.4.7 文件操作的优化 / 55

2.4.8 对客户端请求的特殊处理 / 57

2.4.9 ngx_http_core_module模块提供的变量 / 59

2.5 用HTTP proxy module配置一个反向代理服务器 / 60

2.5.1 负载均衡的基本配置 / 62

2.5.2 反向代理的基本配置 / 64

2.6 小结 / 68

第二部分 如何编写HTTP模块

第3章 开发一个简单的HTTP模块 / 70

3.1 如何调用HTTP模块 / 70

3.2 准备工作 / 72

3.2.1 整型的封装 / 72

3.2.2 ngx_str_t数据结构 / 73

3.2.3 ngx_list_t数据结构 / 73

3.2.4 ngx_table_elt_t数据结构 / 77

3.2.5 ngx_buf_t数据结构 / 77

3.2.6 ngx_chain_t数据结构 / 79

3.3 如何将自己的HTTP模块编译进Nginx / 79

3.3.1 config文件的写法 / 80

3.3.2 利用configure脚本将定制的模块加入到Nginx中 / 80

3.3.3 直接修改Makefile文件 / 84

3.4 HTTP模块的数据结构 / 85

3.5 定义自己的HTTP模块 / 88

3.6 处理用户请求 / 92

3.6.1 处理方法的返回值 / 92

3.6.2 获取URI和参数 / 95

3.6.3 获取HTTP头部 / 98

3.6.4 获取HTTP包体 / 101

3.7 发送响应 / 102

3.7.1 发送HTTP头部 / 102

3.7.2 将内存中的字符串作为包体发送 / 104

3.7.3 经典的“Hello World”示例 / 106

3.8 将磁盘文件作为包体发送 / 107

3.8.1 如何发送磁盘中的文件 / 107

3.8.2 清理文件句柄 / 110

3.8.3 支持用户多线程下载和断点续传 / 111

3.9 用C++语言编写HTTP模块 / 112

3.9.1 编译方式的修改 / 112

3.9.2 程序中的符号转换 / 114

3.10 小结 / 114

第4章 配置、error日志和请求上下文 / 115

4.1 http配置项的使用场景 / 115

4.2 怎样使用http配置 / 117

4.2.1 分配用于保存配置参数的数据结构 / 117

4.2.2 设定配置项的解析方式 / 119

4.2.3 使用14种预设方法解析配置项 / 125

4.2.4 自定义配置项处理方法 / 136

4.2.5 合并配置项 / 137

4.3 HTTP配置模型 / 140

4.3.1 解析HTTP配置的流程 / 141

4.3.2 HTTP配置模型的内存布局 / 144

4.3.3 如何合并配置项 / 147

4.3.4 预设配置项处理方法的工作原理 / 149

4.4 error日志的用法 / 150

4.5 请求的上下文 / 155

4.5.1 上下文与全异步Web服务器的关系 / 155

4.5.2 如何使用HTTP上下文 / 156

4.5.3 HTTP框架如何维护上下文结构 / 157

4.6 小结 / 158

第5章 访问第三方服务 / 159

5.1 upstream的使用方式 / 160

5.1.1 ngx_http_upstream_t结构体 / 163

5.1.2 设置upstream的限制性参数 / 164

5.1.3 设置需要访问的第三方服务器地址 / 165

5.1.4 设置回调方法 / 166

5.1.5 如何启动upstream机制 / 166

5.2 回调方法的执行场景 / 167

5.2.1 create_request回调方法 / 167

5.2.2 reinit_request回调方法 / 169

5.2.3 finalize_request回调方法 / 170

5.2.4 process_header回调方法 / 171

5.2.5 rewrite_redirect回调方法 / 172

5.2.6 input_filter_init与input_filter回调方法 / 172

5.3 使用upstream的示例 / 173

5.3.1 upstream的各种配置参数 / 174

5.3.2 请求上下文 / 175

5.3.3 在create_request方法中构造请求 / 176

5.3.4 在process_header方法中解析包头 / 177

5.3.5 在finalize_request方法中释放资源 / 180

5.3.6 在ngx_http_mytest_handler方法中启动upstream / 181

5.4 subrequest的使用方式 / 183

5.4.1 配置子请求的处理方式 / 183

5.4.2 实现子请求处理完毕时的回调方法 / 184

5.4.3 处理父请求被重新激活后的回调方法 / 185

5.4.4 启动subrequest子请求 / 185

5.5 subrequest执行过程中的主要场景 / 186

5.5.1 如何启动subrequest / 186

5.5.2 如何转发多个子请求的响应包体 / 188

5.5.3 子请求如何激活父请求 / 192

5.6 subrequest使用的例子 / 193

5.6.1 配置文件中子请求的设置 / 194

5.6.2 请求上下文 / 194

5.6.3 子请求结束时的处理方法 / 195

5.6.4 父请求的回调方法 / 196

5.6.5 启动subrequest / 197

5.7 小结 / 198

第6章 开发一个简单的HTTP过滤模块 / 199

6.1 过滤模块的意义 / 199

6.2 过滤模块的调用顺序 / 200

6.2.1 过滤链表是如何构成的 / 200

6.2.2 过滤链表的顺序 / 203

6.2.3 官方默认HTTP过滤模块的功能简介 / 204

6.3 HTTP过滤模块的开发步骤 / 206

6.4 HTTP过滤模块的简单例子 / 207

6.4.1 如何编写config文件 / 208

6.4.2 配置项和上下文 / 208

6.4.3 定义HTTP过滤模块 / 210

6.4.4 初始化HTTP过滤模块 / 211

6.4.5 处理请求中的HTTP头部 / 212

6.4.6 处理请求中的HTTP包体 / 213

6.5 小结 / 214

第7章 Nginx提供的高级数据结构 / 215

7.1 Nginx提供的高级数据结构概述 / 215

7.2 ngx_queue_t双向链表 / 217

7.2.1 为什么设计ngx_queue_t双向链表 / 217

7.2.2 双向链表的使用方法 / 217

7.2.3 使用双向链表排序的例子 / 219

7.2.4 双向链表是如何实现的 / 221

7.3 ngx_array_t动态数组 / 222

7.3.1 为什么设计ngx_array_t动态数组 / 223

7.3.2 动态数组的使用方法 / 223

7.3.3  使用动态数组的例子 / 225

7.3.4 动态数组的扩容方式 / 226

7.4 ngx_list_t单向链表 / 226

7.5 ngx_rbtree_t红黑树 / 227

7.5.1 为什么设计ngx_rbtree_t红黑树 / 227

7.5.2 红黑树的特性 / 228

7.5.3 红黑树的使用方法 / 230

7.5.4 使用红黑树的简单例子 / 233

7.5.5 如何自定义添加成员方法 / 234

7.6 ngx_radix_tree_t基数树 / 236

7.6.1 ngx_radix_tree_t基数树的原理 / 236

7.6.2 基数树的使用方法 / 238

7.6.3 使用基数树的例子 / 239

7.7 支持通配符的散列表 / 240

7.7.1 ngx_hash_t基本散列表 / 240

7.7.2 支持通配符的散列表 / 243

7.7.3 带通配符散列表的使用例子 / 250

7.8 小结 / 254

第三部分 深入Nginx

第8章 Nginx基础架构 / 256

8.1 Web服务器设计中的关键约束 / 256

8.2 Nginx的架构设计 / 259

8.2.1 优秀的模块化设计 / 259

8.2.2 事件驱动架构 / 263

8.2.3 请求的多阶段异步处理 / 264

8.2.4 管理进程、多工作进程设计 / 267

8.2.5 平台无关的代码实现 / 268

8.2.6 内存池的设计 / 268

8.2.7 使用统一管道过滤器模式的HTTP过滤模块 / 268

8.2.8 其他一些用户模块 / 269

8.3 Nginx框架中的核心结构体ngx_cycle_t / 269

8.3.1 ngx_listening_t结构体 / 269

8.3.2 ngx_cycle_t结构体 / 271

8.3.3 ngx_cycle_t支持的方法 / 273

8.4 Nginx启动时框架的处理流程 / 275

8.5 worker进程是如何工作的 / 278

8.6 master进程是如何工作的 / 281

8.7 小结 / 286

第9章 事件模块 / 287

9.1 事件处理框架概述 / 287

9.2 Nginx事件的定义 / 290

9.3 Nginx连接的定义 / 293

9.3.1 被动连接 / 294

9.3.2 主动连接 / 297

9.3.3 ngx_connection_t连接池 / 298

9.4 ngx_events_module核心模块 / 300

9.4.1 如何管理所有事件模块的配置项 / 301

9.4.2 管理事件模块 / 303

9.5 ngx_event_core_module事件模块 / 305

9.6 epoll事件驱动模块 / 310

9.6.1 epoll的原理和用法 / 311

9.6.2 如何使用epoll / 313

9.6.3 ngx_epoll_module模块的实现 / 315

9.7 定时器事件 / 323

9.7.1 缓存时间的管理 / 324

9.7.2 缓存时间的精度 / 326

9.7.3 定时器的实现 / 327

9.8 事件驱动框架的处理流程 / 328

9.8.1 如何建立新连接 / 329

9.8.2 如何解决“惊群”问题 / 330

9.8.3 如何实现负载均衡 / 333

9.8.4 post事件队列 / 334

9.8.5 ngx_process_events_and_timers流程 / 335

9.9 文件的异步I/O / 338

9.9.1 Linux内核提供的文件异步I/O / 339

9.9.2 ngx_epoll_module模块中实现的针对文件的异步I/O / 342

9.10 小结 / 346

第10章 HTTP框架的初始化 / 347

10.1 HTTP框架概述 / 348

10.2 管理HTTP模块的配置项 / 351

10.2.1 管理main级别下的配置项 / 352

10.2.2 管理server级别下的配置项 / 354

10.2.3 管理location级别下的配置项 / 357

10.2.4 不同级别配置项的合并 / 362

10.3 监听端口的管理 / 367

10.4 server的快速检索 / 369

10.5 location的快速检索 / 371

10.6 HTTP请求的11个处理阶段 / 372

10.6.1 HTTP处理阶段的普适规则 / 374

10.6.2 NGX_HTTP_POST_READ_PHASE阶段 / 376

10.6.3 NGX_HTTP_SERVER_REWRITE_PHASE阶段 / 378

10.6.4 NGX_HTTP_FIND_CONFIG_PHASE阶段 / 379

10.6.5 NGX_HTTP_REWRITE_PHASE阶段 / 379

10.6.6 NGX_HTTP_POST_REWRITE_PHASE阶段 / 379

10.6.7 NGX_HTTP_PREACCESS_PHASE阶段 / 379

10.6.8 NGX_HTTP_ACCESS_PHASE阶段 / 380

10.6.9 NGX_HTTP_POST_ACCESS_PHASE阶段 / 380

10.6.10 NGX_HTTP_TRY_FILES_PHASE阶段 / 381

10.6.11 NGX_HTTP_CONTENT_PHASE阶段 / 381

10.6.12 NGX_HTTP_LOG_PHASE阶段 / 382

10.7 HTTP框架的初始化流程 / 383

10.8 小结 / 385

第11章 HTTP框架的执行流程 / 386

11.1 HTTP框架执行流程概述 / 387

11.2 新连接建立时的行为 / 388

11.3 第一次可读事件的处理 / 390

11.4 接收HTTP请求行 / 396

11.5 接收HTTP头部 / 399

11.6 处理HTTP请求 / 403

11.6.1 ngx_http_core_generic_phase / 409

11.6.2 ngx_http_core_rewrite_phase / 411

11.6.3 ngx_http_core_access_phase / 412

11.6.4 ngx_http_core_content_phase / 415

11.7 subrequest与post请求 / 419

11.8 处理HTTP包体 / 421

11.8.1 接收包体 / 422

11.8.2 放弃接收包体 / 429

11.9 发送HTTP响应 / 433

11.9.1 ngx_http_send_header / 434

11.9.2 ngx_http_output_filter / 436

11.9.3 ngx_http_writer / 440

11.10 结束HTTP请求 / 442

11.10.1 ngx_http_close_connection / 443

11.10.2 ngx_http_free_request / 444

11.10.3 ngx_http_close_request / 446

11.10.4 ngx_http_finalize_connection / 447

11.10.5 ngx_http_terminate_request / 447

11.10.6 ngx_http_finalize_request / 448

11.11 小结 / 452

第12章 upstream机制的设计与实现 / 453

12.1 upstream机制概述 / 453

12.1.1 设计目的 / 454

12.1.2 ngx_http_upstream_t数据结构的意义 / 456

12.1.3 ngx_http_upstream_conf_t配置结构体 / 459

12.2 启动upstream / 462

12.3 与上游服务器建立连接 / 464

12.4 发送请求到上游服务器 / 467

12.5 接收上游服务器的响应头部 / 470

12.5.1 应用层协议的两段划分方式 / 470

12.5.2 处理包体的3种方式 / 471

12.5.3 接收响应头部的流程 / 473

12.6 不转发响应时的处理流程 / 476

12.6.1 input_filter方法的设计 / 477

12.6.2 默认的input_filter方法 / 478

12.6.3 接收包体的流程 / 479

12.7 以下游网速优先来转发响应 / 481

12.7.1 转发响应的包头 / 482

12.7.2 转发响应的包体 / 484

12.8 以上游网速优先来转发响应 / 489

12.8.1 ngx_event_pipe_t结构体的意义 / 489

12.8.2 转发响应的包头 / 493

12.8.3 转发响应的包体 / 495

12.8.4 ngx_event_pipe_read_upstream方法 / 498

12.8.5 ngx_event_pipe_write_to_downstream方法 / 502

12.9 结束upstream请求 / 504

12.10 小结 / 508

第13章 邮件代理模块 / 509

13.1 邮件代理服务器的功能 / 509

13.2 邮件模块的处理框架 / 512

13.2.1 一个请求的8个独立处理阶段 / 512

13.2.2 邮件类模块的定义 / 514

13.2.3 邮件框架的初始化 / 516

13.3 初始化请求 / 517

13.3.1 描述邮件请求的ngx_mail_session_t结构体 / 517

13.3.2 初始化邮件请求的流程 / 519

13.4 接收并解析客户端请求 / 520

13.5 邮件认证 / 520

13.5.1 ngx_mail_auth_http_ctx_t结构体 / 520

13.5.2 与认证服务器建立连接 / 522

13.5.3 发送请求到认证服务器 / 522

13.5.4 接收并解析响应 / 525

13.6 与上游邮件服务器间的认证交互 / 526

13.6.1 ngx_mail_proxy_ctx_t结构体 / 526

13.6.2 向上游邮件服务器发起连接 / 527

13.6.3 与邮件服务器认证交互的过程 / 528

13.7 透传上游邮件服务器与客户端间的流 / 530

13.8 小结 / 535

第14章 进程间的通信机制 / 536

14.1 概述 / 536

14.2 共享内存 / 536

14.3 原子操作 / 541

14.3.1 不支持原子库下的原子操作 / 541

14.3.2 x86架构下的原子操作 / 542

14.3.3 自旋锁 / 545

14.4 Nginx频道 / 546

14.5 信号 / 549

14.6 信号量 / 551

14.7 文件锁 / 553

14.8 互斥锁 / 556

14.8.1 文件锁实现的ngx_shmtx_t锁 / 558

14.8.2 原子变量实现的ngx_shmtx_t锁 / 560

14.9 小结 / 565