使用云压测回放 GoReplay 录制的请求

请在此添加图片描述

柯开

腾讯云高级工程师，腾讯云压测 OTeam 发起人，目前主要负责腾讯云可观测系统的开发与设计。

GoReplay 简介

GoReplay 是一个开源的流量录制回放工具。主要用于捕获实时流量并将其复制到测试环境中。这样做可以帮助开发者和测试人员在不影响实际用户的情况下，对软件进行压力测试和问题排查。GoReplay 是用 Go 语言编写的，因此它非常高效且易于部署。

GoReplay 的工作原理是监听服务器的网络接口，捕获进出的 HTTP 流量，并选择性地重新发送这些请求到另一个服务器。这对于模拟真实用户行为、测试服务器的负载能力、查找并修复 bug、以及监控服务的稳定性都非常有用。

由于 GoReplay 本身并不提供一个分布式运行方案，只能在单机上运行。在流量录制完成后，受限于单机资源瓶颈，我们很难大规模的重放录制的流量，无法有效的模拟真实用户流量的压测行为以及极限测试。同时也缺乏压测时的监控图表，无法观测系统实时状况：比如请求成功率，响应延时，QPS 等。

腾讯云云压测是一款分布式性能测试服务，支持百万级别的高并发压测，可模拟海量用户的真实业务场景。因此我们可以引入云压测，使用云压测来回放 GoReplay 录制的真实流量。通过云压测我们可以在非常多的节点上回放用户流量并产生实时报告，帮助我们判断系统实时状况，找出性能瓶颈。

本文将通过一个实例演示：使用 GoReplay 录制网关接收到的请求，将请求各个字段保存成 CSV 文件。在云压测中，通过上传CSV 参数文件，指定期望的并发数，分布式回放请求到用户指定的地址。

常用 GoReplay 使用场景

性能测试：通过复制生产环境的流量到测试环境，可以在不影响真实用户的情况下对应用程序进行压力测试和性能评估。
故障排除和调试：当生产环境出现问题时，可以捕获相关的流量并在一个隔离的环境中重放，以便开发人员可以安全地调试问题而不会影响实际服务。
回归测试：在发布新版本之前，可以使用 GoReplay 捕获的流量来验证更改是否会引入新的错误或性能问题。
A/B 测试：可以将流量同时发送到两个服务版本，比较它们的表现，以便做出数据驱动的决策。
流量回放测试：通过在回放时候，加大回放请求的倍数，模拟高流量情况，可以帮助确定在不同负载下所需的资源量。

GoRepaly 流量录制原理

如果你用过 tcpdump, 你会发现 tcpdump 跟 GoReplay 使用场景很接近，都是监听网络流量，再做后续处理。

tcpdump 一般被用来捕获网络流量，并打印出来，用来排查疑难的网络问题。

比如监听目标端口8080的网络包，并写入到 mypackets.pcap 文件中：

sudo tcpdump dest port 8080 -w mypackets.pcap

GoReplay 流量录制也是监听指定端口流量，录制成 gor 文件（或者发送到其他目的端），方便后续回放：

sudo gor --input-raw :8080 --output-file requests.gor

tcpdump 和 GoReplay 都是依赖 BPF 组件来进行网络流量捕获。那么 BPF 是什么，它又是如何工作的呢？

BPF 全名为 BSD Packet Filter, 被广泛应用于网络监测。BPF 运行在内核态，根据用户定义的规则直接过滤收到的包，拷贝到用户态程序可以拿到的 buffer 中。

BPF 基本结构图如下：

请在此添加图片描述

BPF 主要包含两个组件：

the network tap:

tap 主要负责从指定的网络设备中拷贝数据包，并发送到监听的应用程序。由于每个数据包间隔时间很短，且都要经过 filter 过滤。tap 不可能对每个数据包都调用一次 read 系统，那样效率很低。tap 解决方案是一次读取多个数据包数据，并包一层 header, 用来区分各个数据包直接的边界，通过这种方式来加快数据处理效率。

the packet filter:

filter 主要就是用来过滤包。BPF 会根据不同的 filter 就地进行过滤，而不会拷贝到内核其他 buffer 中，整体处理相当高效。

我们使用的 GoReplay 和 tcpdump 都是基于 BPF 技术。

值得一提的是，Linux 内核现在默认使用 EBPF, EBPF 是 BPF 的增强版，提供更多的功能和灵活性。我们一般叫 BPF 称做 cBPF（classic bpf）, 以与 EBPF 做区分。EBPF 可参考：https://ebpf.io/what-is-ebpf/

EBPF 完全向前兼容 BPF，用户无需关注底层实现上的变化。Linux 通过这种方式来确保 tcpdump, GoReplay 这些程序在新的 Linux 系统上也能正常运行。

对于 GoReplay 来说，在基于 EBPF 实现的系统上监听网络流量后台流程如下：

filter 编译：GoReplay 使用编译器将 filter 表达式转换成 BPF bytecode。这些 bytecode 是一系列指令告知内核如何将包发送给 GoReplay;
cBPF 翻译到 EBPF: 当 cBPF bytecode 加载进内核时，内核自动将 cBPF bytecode 转化成 EBPF bytecode;
执行：EBPF bytecode 将在 Verifier 层进行安全性校验，在 JIT Compiler 进一步编译成机器码，当数据穿过网络堆栈时，被内核执行：过滤数据包并转发到 GoReplay。

请在此添加图片描述

使用云压测录制回放用户网关

本文以录制回放 Nginx 网关为例，其他所有类型的网关都可以按照相同的方式来录制请求，再使用云压测来回放用户请求。

1.环境准备

整个实验需要以下组件：

Nginx 网关：Nginx 网关上有源源不断的用户请求，我们需要在 Nginx 网关录制下这些请求；
GoReplay: 请求录制回放工具；
CSV 生成服务：接收 HTTP 请求，将接收到的请求各个字段写入 CSV 文件中；
云压测：基于用户上传的 CSV 文件，回放用户录制的所有请求。

安装 GoReplay 到你的网关所在机器上

如果网关所在机器是 Linux 或 macOS，可以使用以下命令：

# 从官方GitHub仓库下载最新的二进制文件
curl -L https://github.com/buger/goreplay/releases/download/1.3.3/gor_1.3.3_x64.tar.gz | tar xz

# 将二进制文件移动到你的PATH目录中，例如/usr/local/bin
mv gor /usr/local/bin/

确保替换上的URL 中的版本号为最新的版本，仓库地址：https://github.com/buger/goreplay。

2.实验流程

2.1 将 Nginx 上的请求录制成 Gor 文件

本节参与组件（其他组件仅做完整场景展示）：

Nginx 网关：Nginx 网关上有源源不断的用户请求，我们需要在 Nginx 网关录制下这些请求；
GoReplay: 请求录制工具。

整体架构图如下：

请在此添加图片描述

要开始录制流量，你需要在网关所在服务器上运行 GoReplay。以下是一个基本的命令示例，它会监听网关上的80端口，并将捕获的流量保存到一个文件中：

sudo gor --input-raw :80 --output-file requests.gor

这个命令会捕获所有通过端口80的流量，并将其保存到当前目录下的 requests.gor 文件中。请注意，你可能需要 sudo 权限来监听80端口。

2.2 将 Gor 文件转换成 CSV 参数文件

本节参与组件：

GoReplay: 请求录制工具。本节使用 GoReplay 回放Gor 文件中记录的请求到 CSV 生成服务；
CSV 生成服务：接收 HTTP 请求，将接收到的请求各个字段写入 CSV 文件中。

整体架构如下

请在此添加图片描述

在 CSV 文件中我们记录下请求各个字段, 比如 scheme, host, uri, method, base64Body。

下面是一个简单 CSV 文件样例：

scheme	host	uri	method	jsonHeaders	base64Body
http	mockhttpbin.pts.svc.cluster.local	/get?page=1	get
http	mockhttpbin.pts.svc.cluster.local	/post	post		dGhpcyBpcyBnb29kCg==

scheme,host,uri,method,jsonHeaders,base64Body
http,mockhttpbin.pts.svc.cluster.local,/get?page=1,get,{"name":"kk"},
http,mockhttpbin.pts.svc.cluster.local,/post,post,{"hello":"world"},dGhpcyBpcyBnb29kCg==

为什么使用 base64Body,而不是直接记录 body呢?

由于有些请求的 body 发送的二进制文件，直接写入 CSV 文件会展示成乱码。写成 base64后，可以方便后续转换成原来的结构体。

a. CSV 生成服务代码

package main

import (
  "encoding/base64"
  "encoding/csv"
  "encoding/json"
  "fmt"
  "io/ioutil"
  "log"
  "net/http"
  "os"
)

func main() {
  http.HandleFunc("/", requestHandler) // 设置处理函数
  log.Println("Server starting on port 8080...")
  log.Fatal(http.ListenAndServe(":8080", nil))
}

func requestHandler(w http.ResponseWriter, r *http.Request) {
  // 获取请求信息
  scheme := "http" // 默认为http，因为Go的http包不支持直接获取scheme
  if r.TLS != nil {
    scheme = "https"
  }
  host := r.Host
  uri := r.RequestURI
  method := r.Method

  // 将headers转换为JSON格式
  headersJson, err := json.Marshal(r.Header)
  if err != nil {
    http.Error(w, "Error converting headers to JSON", http.StatusInternalServerError)
    return
  }

  // 读取请求体
  body, err := ioutil.ReadAll(r.Body)
  if err != nil {
    http.Error(w, "Error reading request body", http.StatusInternalServerError)
    return
  }
  defer r.Body.Close()

  // Base64编码请求体
  base64Body := base64.StdEncoding.EncodeToString(body)

  // 写入CSV文件
  record := []string{scheme, host, uri, method, string(headersJson), base64Body}
  err = writeToCSV(record)
  if err != nil {
    http.Error(w, "Error writing to CSV", http.StatusInternalServerError)
    return
  }

  // 发送响应
  fmt.Fprintf(w, "Request logged")
}

func writeToCSV(record []string) error {
  file, err := os.OpenFile("requests.csv", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666)
  if err != nil {
    return err
  }
  defer file.Close()

  writer := csv.NewWriter(file)
  defer writer.Flush()

  return writer.Write(record)
}

b. 编译并运行 CSV 生成服务

将上述文件保存成 main.go文件，直接运行代码。

go run main.go

c. 回放流量到 CSV 生成服务上，用来生成 CSV 文件。

gor --input-file requests.gor --output-http "http://csv-server-address:8080" --http-original-host true

这个命令会读取 requests.gor 文件中的流量，并将其回放到 CSV 生成服务上， CSV 生成服务默认会将接收到的请求写成 requests.csv 文件里；且生成的流量 host 为请求原本的 host 而非 CSV 服务的地址。

2.3 在云压测上使用 CSV 参数文件回放请求

云压测支持用户上传 CSV 文件作为参数文件。您可以动态引用其中的测试数据，供脚本里的变量使用。这样，当施压机并发执行这段代码，每条请求能动态、逐行获取 CSV 里的每行数据，作为请求参数使用。

a. 登录腾讯云云压测，云压测对于首次使用的用户提供一个免费的压测资源包。

b. 测试场景-> 新建场景 → 创建脚本模式

云压测脚本模式支持原生 JavaScript ES2015(ES6)+ 语法，并提供额外函数，帮助您在脚本模式下，快速编排压测场景。

您可在控制台的在线编辑器里，用 JavaScript 代码描述您的压测场景所需的请求编排、变量定义、结果断言、通用函数等逻辑。

请在此添加图片描述

c. 指定压测并发数，从上海，广州两个地域分布式发起压测。

请在此添加图片描述

d. 上传之前录制的 CSV 文件，作为参数文件。

请在此添加图片描述

e. 编写压测脚本，施压机每次执行压测脚本时候，读取 CSV 文件中下一行，利用CSV 文件中记录的字段重新构造出原始请求。

请在此添加图片描述

压测脚本如下：

// Send a http get request
import http from 'pts/http';
import { check, sleep } from 'pts';
import util from 'pts/util';
import dataset from 'pts/dataset';


export default function () {
  // 读取csv文件各个字段
  var method = dataset.get("method")
  var scheme = dataset.get("scheme")
  var host = dataset.get("host")
  var uri = dataset.get("uri")
  var jsonHeaders = dataset.get("jsonHeaders")
  var base64Body = dataset.get("base64Body")

  var headers = JSON.parse(jsonHeaders)
  var body = util.base64Decoding(base64Body, "std", "b")

  // 构造请求
  var req = {
    method: method,
    url: scheme + "://" + host + uri,
    headers: headers,
    body: body
  }

  // 发送请求
  var resp = http.do(req)

  // simple get request
  console.log(resp.body);
  check('status is 200', () => resp.statusCode === 200, resp);
  // sleep 1 second
  sleep(1);
}

f. 保存并运行，即可运行压测脚本，回放流量。查看压测报告及请求采样，观察请求是否符合预期。

请在此添加图片描述