NGINX源码阅读指南

一、前言

• 源码版本：2018-10-02 nginx-1.15.5
• 环境说明：主要描述Darwin环境下的流程，与Linux环境下类似，Win32环境下可能会减少部分流程
• 运行模式：
  • Darwin/Linux等*nix类系统使用多进程方式运行
  • Win32使用多线程方式运行
• 命名规范：ngx_开头的变量多为全局变量
• 模块命名：ngx_model_name.c多为处理nginx配置中相应模块的配置处理，ngx_model_name_core_module.c多为该模块的核心（通用）处理逻辑

二、NGINX架构

1. 进程工作模式

1.1 多进程模式

• master进程

  • 接收外部信号发送给worker进程（如stop、restart、reload等）
  • 监控worker进程运行状态，worker异常退出后重新启动新的worker进程
  • 缓存管理

• worker进程

  • 处理基本网络事件，如http、mail请求等

1.2 单进程模式

• 调试情况下使用，直接使用单进程处理网络事件

1.3 核心配置参数

2. 启动阶段

2.1 master处理流程

1. 初始化阶段

   • 日志初始化（初始化日志格式，打开日志文件）
   • SSL初始化
   • 保存启动参数
   • 解析配置文件路径
   • 运行环境系统初始化（获取CPU缓存块大小、内存页大小、CPU核数）

2. 配置加载阶段

   • 压缩表初始化
   • 模块预初始化（将所需加载的模块信息加入全局变量）
   • 轮训初始化（加载配置、加载模块、创建共享内存、关闭无用socket）

3. 启动管理阶段

   • 检查配置文件错误
   • 处理外部信号
   • 注册信号处理器
   • 守护进程模式下fork子进程
   • 创建pid文件
   • 启动worker进程循环

2.2 worker处理流程

1. 初始化

   • 设置进程执行优先级
   • 设置进程可打开的最大文件描述符
   • 根据nginx.conf设置进程运行的用户、用户组
   • 设置CPU亲缘性
   • 解除阻塞系统信号
   • 执行各模块init_process
   • 设置通道读事件回调

2. 事件循环

   • 从定时事件红黑树中查找最近定时器
   • 检查worker是否繁忙，尝试获取事件监听锁
   • 等待I/O事件唤起
   • 处理accept事件
   • 释放事件监听锁
   • 处理时间到达的定时器
   • 处理普通事件

3. 信号处理

   • ngx_exiting：检查定时器中是否仍有未处理事件
   • ngx_terminate：直接退出worker
   • ngx_quit：关闭定时器、socket监听、闲置连接
   • ngx_reopen：轮转日志

2.3 缓存管理处理流程

• 设置进程类型为helper
• 关闭socket监听
• 重置最大连接数为512
• 初始化（设置优先级、文件描述符、用户组等）
• 设置定时器
• 循环处理事件及定时器

3. 事件模块

3.1 加载流程

graph TD
    A[ngx_init_cycle] --> B[create_conf]
    A --> C[command->set]
    A --> D[init_conf]
    A --> E[init_module]
    F[ngx_event_process_init] --> G[init_event]
    F --> H[init_process]
    F --> I[add_event]
    F --> J[process_events]
    F --> K[event_handle]
    L[ngx_worker_process_exit] --> M[exit_process]
    N[ngx_master_process_exit] --> O[exit_master]

3.2 主要函数解析

事件结构

static ngx_event_module_t ngx_kqueue_module_ctx = {
    &kqueue_name,
    ngx_kqueue_create_conf,                /* create configuration */
    ngx_kqueue_init_conf,                  /* init configuration */

    {
        ngx_kqueue_add_event,              /* add an event */
        ngx_kqueue_del_event,              /* delete an event */
        ngx_kqueue_add_event,              /* enable an event */
        ngx_kqueue_del_event,              /* disable an event */
        NULL,                              /* add an connection */
        NULL,                              /* delete an connection */
#ifdef EVFILT_USER
        ngx_kqueue_notify,                 /* trigger a notify */
#else
        NULL,                              /* trigger a notify */
#endif
        ngx_kqueue_process_events,         /* process the events */
        ngx_kqueue_init,                   /* init the events */
        ngx_kqueue_done                    /* done the events */
    }
};

模块结构

ngx_module_t ngx_event_core_module = {
    NGX_MODULE_V1,
    &ngx_event_core_module_ctx,            /* module context */
    ngx_event_core_commands,               /* module directives */
    NGX_EVENT_MODULE,                      /* module type */
    NULL,                                  /* init master */
    ngx_event_module_init,                 /* init module */
    ngx_event_process_init,                /* init process */
    NULL,                                  /* init thread */
    NULL,                                  /* exit thread */
    NULL,                                  /* exit process */
    NULL,                                  /* exit master */
    NGX_MODULE_V1_PADDING
};

关键函数

3.3 事件配置

三、HTTP服务

1. 初始化流程

create_main_conf
create_srv_conf
create_loc_conf
preconfiguration
init_main_conf
merge_srv_conf
merge_loc_conf
ngx_http_init_static_location_trees
ngx_http_init_phases
postconfiguration
ngx_http_optimize_servers

优化server信息列表：

• 添加各server所需地址的监听
• 设置监听参数（backlog、reuseport等）
• 将监听处理器设置为ngx_http_init_connection

2. 建立连接流程

1. 查找请求对应的server配置
2. 设置当前server的读控制器（ssl、http2、http）
3. 如果读事件未就绪，将连接放回队列并添加读事件
4. 如果读事件已就绪，执行对应读控制器

2.1 HTTPS处理流程

1. 尝试从socket读取数据
2. 创建ssl连接并完成握手
3. 如果客户端使用http2，进入http2处理流程
4. 否则进入http处理流程

2.2 HTTP2处理流程

1. 发送http2的headers frame
2. 设置单个stream的流量控制
3. 接收客户端请求数据
4. 处理HEADERS frame（检查错误、处理优先级等）
5. 添加读事件
6. 处理输出队列
7. 处理已建立的连接

2.3 HTTP处理流程

1. 读取socket中已接收信息
2. 从复用连接池中移除当前连接
3. 处理header相关信息
4. 进入请求处理流程
5. 添加输出写事件

3. 请求处理流程

NGINX采用阶段式处理请求，共8个阶段：

4. HTTP配置详解

4.1 核心配置参数

4.2 HTTP核心配置

5. HTTP状态码详解

四、MAIL服务

1. 初始化流程

create_main_conf
create_srv_conf
init_main_conf
merge_srv_conf
ngx_mail_add_ports
ngx_mail_optimize_servers

优化监听列表：

• 如果相同端口有泛IP监听则忽略其他指定IP地址的监听
• 添加各server所需地址的监听
• 设置监听参数（backlog、rcvbuf等）
• 将监听处理器设置为ngx_mail_init_connection

2. 建立连接流程

1. 查找请求对应的server配置
2. 设置当前server的读控制器（ssl、非ssl）
3. 执行对应读控制器

2.1 SSL处理流程

1. 创建ssl连接并完成握手
2. 检查客户端证书
3. 如果server配置中STARTTLS未关闭，执行对应协议的init_protocol
4. 否则进入session初始化流程

2.2 非SSL处理流程

• 直接进入session初始化流程

3. session初始化流程

4. 协议初始化流程

1. 检查请求是否超时
2. 创建临时缓冲区
3. 读取客户端请求命令
4. 解析命令并提取鉴权信息
5. 发送至上游身份验证服务
6. 根据返回结果处理
7. 将结果发送给客户端

五、STREAM服务

1. 初始化流程

create_main_conf
create_srv_conf
preconfiguration
init_main_conf
merge_srv_conf
postconfiguration
ngx_stream_init_phase_handlers
ngx_stream_add_ports
ngx_stream_optimize_servers

优化监听列表：

• 相同端口有泛IP监听则忽略其他指定IP
• 添加各server所需地址的监听
• 设置监听参数（backlog、keepalive等）

2. 请求处理流程

六、参考文档

• Nginx开发从入门到精通
• CPU缓存 - 维基百科
• Page (computer memory)
• OpenEvent
• Linux管道编程技术
• Nginx Caching
• 红黑树
• nginx documentation
• HTTP/2 Specification
• HTTP响应代码
• Configuring NGINX as a Mail Proxy Server

本文由佐柱撰写，转载请注明出处。欢迎访问我的小站。