BenchmarkSQL安装配置

系列文档:

BenchmarkSQL安装配置
BenchmarkSQL postgresql的TPC-C测试
BenchmarkSQL oracle的TPC-C测试
Benchmarksql MySQL的TPC-C测试

一,环境准备

2.1,java环境安装

自己安装java 1.8.0 环境下测试通过。

2.2 安装ant工具。

$ yum install ant

 

二,架构描述

项目地址:

下载地址:https://sourceforge.net/projects/benchmarksql/

Git仓库:https://bitbucket.org/openscg/benchmarksql

 

压力测试是指在MySQL上线前,需要进行大量的压力测试,从而达到交付的标准。压力测试不仅可以测试MySQL服务的稳定性,还可以测试出MySQL和系统的瓶颈。

TPCC测试:Transaction Processing Performance Council,要熟练使用

TPC是一系列事务处理和数据库基准测试的规范。其中TPC-C是针对OLTP的基准测试模型,一方面可以衡量数据库的性能,另一方面可以衡量硬件性价比,也是广泛应用并关注的一种测试模型。

TPC-C模型是以一个在线零售业为例,设计的一种模型。具体架构如下所示:

BenchmarkSQL安装配置

 

 

二,props配置文件

props.pg配置文件在benchmarksql-5.0/run/下,改配置文件主要用于配置测试数据库连接以及测试数据加载量,以及其他测试参数,详情看以下备注

配置文件详解:

  • db=postgres //数据库类型,postgres代表我们对PG数据库进行测试
  • driver=org.postgresql.Driver //jdbc驱动
  • conn=jdbc:postgresql://localhost:5432/postgres //PG数据库连接字符串,正常情况下,需要更改localhost为对应PG服务IP、5432位对应PG服务端口、postgres为对应测试数据库名
  • user=benchmarksql //数据库用户名,通常建议用默认,这就需要我们提前在数据库中建立benchmarksql用户
  • password=PWbmsql //如上用户密码
  • warehouses=1 //仓库数量,数量根据实际服务器内存配置,BenchmarkSQL数据库每个warehouse大小大概是100MB,如果该参数设置为10,那整个数据库的大小大概在1000MB。建议将数据库的大小设置为服务器物理内存的2-5倍,如果服务器内存为16GB,那么warehouse设置建议在328~819之间。
  • loadWorkers=4 //用于在数据库中初始化数据的加载进程数量,默认为4,实际使用过程中可以根据实际情况调整,加载速度会随worker数量的增加而有所提升
  • terminals=1 //终端数,即并发客户端数量,通常设置为CPU线程总数的2~6倍,如果服务器为双核16线程(单核8线程),那么建议配置在32~96之间。
  • runTxnsPerTerminal=10 //每个终端(terminal)运行的固定事务数量,例如:如果该值设置为10,意味着每个terminal运行10个事务,如果有32个终端,那整体运行320个事务后,测试结束。该参数配置为非0值时,下面的runMins参数必须设置为0
  • runMins=0 //要测试的整体时间,单位为分钟,如果runMins设置为60,那么测试持续1小时候结束。该值设置为非0值时,runTxnsPerTerminal参数必须设置为0。这两个参数不能同时设置为正整数,如果设置其中一个,另一个必须为0,主要区别是runMins定义时间长度来控制测试时间;runTxnsPerTerminal定义事务总数来控制时间。
  • limitTxnsPerMin=300 //每分钟事务总数限制,该参数主要控制每分钟处理的事务数,事务数受terminals参数的影响,如果terminals数量大于limitTxnsPerMin值,意味着并发数大于每分钟事务总数,该参数会失效,想想也是如此,如果有1000个并发同时发起,那每分钟事务数设置为300就没意义了,上来就是1000个并发,所以要让该参数有效,可以设置数量大于并发数,或者让其失效,测试过程中目前采用的是默认300。
  • terminalWarehouseFixed=true //终端和仓库的绑定模式,设置为true时可以运行4.x兼容模式,意思为每个终端都有一个固定的仓库。设置为false时可以均匀的使用数据库整体配置。TPCC规定每个终端都必须有一个绑定的仓库,所以一般使用默认值true。
  • 下面五个值的总和必须等于100,默认值为:45, 43, 4, 4,4 ,与TPC-C测试定义的比例一致,实际操作过程中,可以调整比重来适应各种场景。

    newOrderWeight=45

    paymentWeight=43

    orderStatusWeight=4

    deliveryWeight=4

    stockLevelWeight=4

  • resultDirectory=my_result_%tY-%tm-%td_%tH%tM%tS //测试数据生成目录,默认无需修改,默认生成在run目录下面,名字形如my_result_xxxx的文件夹。
  • osCollectorScript=./misc/os_collector_linux.py //操作系统性能收集脚本,默认无需修改,需要操作系统具备有python环境
  • osCollectorInterval=1 //操作系统收集操作间隔,默认为1秒
  • [email protected] //操作系统收集所对应的主机,如果对本机数据库进行测试,该参数保持注销即可,如果要对远程服务器进行测试,请填写用户名和主机名。
  • osCollectorDevices=net_eth0 blk_sda //操作系统中被收集服务器的网卡名称和磁盘名称,例如:使用ifconfig查看操作系统网卡名称,找到测试所走的网卡,名称为ens32,那么下面网卡名设置为net_ens32(net_前缀固定),使用df -h查看数据库数据目录,名称为(/dev/sdb                33T   18T   16T   54% /hgdata),那么下面磁盘名设置为blk_sdb(blk_前缀固定)

 

测试过程中的整体逻辑通过一个例子来说明:假如limitTxnsPerMin参数使用默认300,termnals终端数量设置为150并发,实际会计算一个值A=limitTxnsPerMin/terminals=2(此处需要注意,A为int类型,如果terminals的值大于limitTxnsPerMin,得到的A值必然为0,为0时该参数失效),此处记住A=2;接下来,在整个测试运行过程中,软件会记录一个事务的开始时间和结束时间,假设为B=2000毫秒;然后用60000(毫秒,代表1分钟)除以A得到一个值C=60000/2=30000,假如事务运行时间B<C,那么该事务执行完后,sleep C-B秒再开启下一个事务;假如B>C,意味着事务超过了预期时间,那么马上进行下一个事务。在本例子中,每分钟300个事务,设置了150个并发,每分钟执行2个并发,每个并发执行2秒钟完成,每个并发sleep 28秒,这样可以保证一分钟有两个并发,反推回来整体并发数为300/分钟。

 

  • runTxnsPerTerminal:参数用于指定每个终端提交事务数,这个参数与runMins只能选择设置其中一个,另一个必须设置为0
    runTxnsPerTerminal=100
    runMins=0
  • runMins:参数用于指定运行时间,单位是分钟,这个参数与runTxnsPerTerminal只能选择设置其中一个,另一个必须设置为0
    runTxnsPerTerminal=0
    runMins=12
  • limitTxnsPerMin:参数用于指定每分钟提交事务数限制,设置太小,压力会不够,如果测试结果不能接近该值就代表压力足够,limitTxnsPerMin=100000

 

三,脚本描述

3.1,runDatabaseBuild.sh

建立数据库表,插入数据。

 

3.2,runBenchmark.sh

benchmarkSQL的压力测试,执行TPCC事务

 

3.3,runDatabaseDestroy.sh

清空数据

 

四,参考资料

BenchmarkSQL介绍

来自 <https://blog.****.net/msdnchina/article/details/81167888>

Benchmarksql基于Oracle安装与使用

来自 <https://www.jianshu.com/p/7954bdddc358>

使用benchmarkSQL测试数据库的TPCC

来自 <https://www.cnblogs.com/qiumingcheng/p/11135379.html>