TPC-H和TPC-DS

TPC-H和TPC-DS
1、TPC-H

商业智能计算测试TPC-H 是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集.目前,在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能. 这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( [email protected]),其中 H 表示每小时系统执行复杂查询的平均次数,size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。

  1. TPC-DS

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。

TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘,也包含交互式联机查询和统计报表类应用,同时大数据的数据质量也较低,数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个基准测试有以下几个主要特点:

一共99个测试案例,遵循SQL’99和SQL 2003的语法标准,SQL案例比较复杂
分析的数据量大,并且测试案例是在回答真实的商业问题
测试案例中包含各种业务模型(如分析报告型,迭代式的联机分析型,数据挖掘型等)
几乎所有的测试案例都有很高的IO负载和CPU计算需求

U2FsdGVkX1+LbUnRCFrpxJa8cTIDfQF43BQCl+5A0XuMVYv61wxK1zC7P0JCwSA6
U/3DspIlYbDcmHInSi0UF1O5mlPTEjOuB8isWKndt788PxyCtAVEQWiBU0OHVIxk
ZsuMJAIjHjw200MuTN15ya2Xt9LA3rZqexrrSSDtAUSY0wD28riuedRCjDEChccD
ANVzps8mYI2WW2Tv17VSjbABLU4QicELcUsV9+pZVO5tj3kEkfnkaMyLxFuaGXrY
YfnIO+eezEHGofDTr1Ow9JbOqS7mNg2iA83q+8ltkH3K0sPorSCyP2wmOFaAsY21
IQUyLx8UxUsv0CKA6csqm1DLDjO97iRl/e1+NQo68HRobWKmW/UzhxpMLCdYYK/5
wPTXwisW0AXhyEmtkbZEREYYX44UndOB7P3wvZRaheReenifRIh+XzTqGMVK+Ta/
mpv+gD2tW/+YtipTZuwteWrNLdK4R2W5ev9XYO/cVbZBPev2/oxw/Ew19Cdn8wp9
X/rM5VnFlSX5HCuUT30i6JjVKgY2aqdx6YtjJNKiQCHWck/I+KBtGjfuzaM9w+WV
xg/SeoKG/nD9WoYbSQsrFjcz0BfPV2n6UE5hr1vQZzdNnndKr35teFgsQ1sdrsLO
5Ncq8h3omB4qtwi/7nidDG3EFV55laKw3JDRD0Zi1ibilg/ifbiHLUJc8IDaLYqU
Vp8iNzB75yOHrXmyZ1Eu9haCJpgT2AMJTJC0g+mIUTIuI1lqdmnOaSF+IBHm+7QN
bFpC5ribK1JlCq/Tfzi5TeU+RcyUkgx8Uoy4fU34J5igaASKzXsur9YUCk32KbFQ
OL7pDVNqksdPuXYmHil8ZIKOxXZmxRADvLTcxbcJO1pR2n2o2mFrqC5RLDDQr6gf
g75OPBcTyIcat4K6qpsYWI4+Qz8OukDU8Q+CVBKmzFyptYCeU8as/6jqhDn+l/Gh
MDM24HI4pvUZoD4L+3aMA5Ch5cUVBs+ZyHWtPAHq8tw+G9x3Lvt4vRqZb/V37PP7
ROtadKchuWwphJLArHRRm22GVW2NfM0FdNkbEYlfL0Czf8W5l5rMuvyR6lyj9AKr
Uoj5SlE0huOgw9nhjQvMhA0BALNU0XoCQk9r098mrjNzr+9iQ4o9wl9w2Cs9c0/A
Wp25YgUN14ik2YC9UDYxVPeUla22F/fU29CENJR+qpQbo1yDdjxF/WMr/JiZEQdp
KfUgOB0E61tPxYuo+1s2Gcp0QnbxCZXRUkKhCZKfUyGNSXYKfNrJG29HMKfw5Yx0
iwh8Y0PCzqdqQL+gQPbA4WIlapCPhYkphr/qzerax9J8bKaiHq702CyRTjYo3bA8
QsvDQ+lZGxhbn2F/OuMBbEZV6yc/ZqsZh8VzU4Um2EP04HfpfoB3ewIfFK/N0QcC
6FGngymH++TvXoXaWdwXqp7PzWkRMvneknCLSowOncVZ0OgiaY2GzczGi7L8gixb
+z4QD6eNyk/aNAydhyKdPWWpvx8tWOuLWlCRh1Gml7XqrIok6CkGPwUxHq5wU4js
qtbm9yztI2RSKozE5tIKwTDgRkwkPBW188peIW6IuA/zdfeQrDt93DH1bxiEH+PF
kfiCA1s0DYDeXtruJNivBFn+XlroFrw4gZmup8W3wHmFSZmaxhKk4C5a+aWYb86p
aJse4xZ8vjpH4v2zMYTppm9epnWm1Qsfp3dVgtsjjBOl0PmjgcouYWc1ogNpPkN4
q3A4FsdpXgy1xRfbjI34Sl3nRmn1RyE27grktsUwKIEt9cXg4Dt3dyBuFd4zOSMJ
sQFpe03/KEhYoWZxGyBUrJZWKkjDYB8RaHKRYQ9E4gWmgY5XaCWkhVzLSHc9snj3
Max+hxlFWTQQf9Zl57HuuRhFpS9jrjKrfHP6TciXNXT44NUUUE2Ly1OV9+XJ87ey
jJb/xYo1hfclvvUYR9KcjA5vBMMuWwMShyXjblqXmlrIB6aLbt+w5hiG7BCy2rKA
gU6hlu14aZM5PmMLkKdhTEBPzlsXlyDTVNtzk8y8CddqJkYmTzeumR6X4kklEY9w
buqJ8qz/Ao5ylvpw3nAJ37WWT81WVfdqB3qpIQxidZkVnrRT3GgTuZpXBlyCqGU2
GoSAIu0eGhDYlBbROw7B7k7HOwyU47iRlKDoQoM9mYeV6xhxW5eKWTE6ADyAU0Ga
T04jI2blSfF0ldRPSkzoRGZe4poVl6sHgKQB8oeSseIMvQhfizGCi41UBJArg+K8
s2NB5bXS5kDtUa74zh3hs5vvkdyql/okGKIiu4efgfh/f99rvI4pD6LgvuYjB+XK
cQRF+sXRUqf33UCdK1p9K+FTswrPxdBEedJvY48yOlRQWMlN+MxAval+zUPQsFMB
+Q4TKHy3Xr7/Rx6j0MLX9DBcadNx/vMMdHXzwWCP8WVI4lKvyfiVBLnudlT5ghKU
nZWEacrbWcqxkd//iDxcFp32sol0Ks/DfWfqAFmAu5X0TuENthF919lvR53Tm07R
PaivPIcwH8hkd4qN2avOclJhFB/GWeUDovnVfuoeObDh2+g02Op4djrEfhPAZYbK
5Ssbo+sMRNQV2RnJ+yvsqnF2btCz8VgVxjEhPoSNj0t1Pka5tPDRg8qbLJnfH6bV
2kgVSOHfs2BPyXKCyT8R86kDoyYNkEecJUAXnRIQ2esjbX9U7NBWEn+W/nDFnCzK
CRGUTFytBwQRL8pl+E1bqV6UjL2MSB8t0aEToshAn8aphI5FHoQbyMvbpr3pHBZo
a3mE2qFBUuFthVimmevFJG2fRsvvoRujepmk6LQb4jluHo5Mt0D6Zxu0L8d1xL20
xZDtbQBWPyJZxAssk5FDR0B3eFngAIMnNP4xZfV9zJ+TGwyzKzLKCEHHMC0QVPWW
B2ZvObaJvaQ4sA8MZEAh3EvBYg0ITIbVrbYhZhQWtLTYhvhoo1QaPFx9cLeIBHZG
clA1WHTuWnOXW53+xz0vUgq/hJvoIyXv3V7p0YPVeRtWtOl6cceTtyOAHWUSvLvR
s9qk3xIBiZOxAqsp8kFFMi+GmQeZJaEd/+18Sq4Wdq5ypgFLRV/UendJG/hznQew
sEn2W+ndtnaGMei2FhyelOQgXqgxPx0B0PYMhq4mD8O8HJVV20uQoRze36kcwwQe
TLkadKHlRTNXxhLlOHYZOg4VBUeKbd2ee/6iHzpg0bU5RmSD66MUqKpIhto/Y0Rl
+BjSy19f/5PUHqgcRkeA7KihfnnZUQA9/Bjba297vBnNpO5UwRGSJ+FlJw8p6E5I
C33toEU2LJiOLU+2e6I8yeRCphtcdXsHfyf/so9zTdyLuoUWAy1XgVnJ/Gk3s/bO
dtNjMaB7SGVuIMRsvkzyxjtypGMO8iz1ghVCIZ4WlqD7BAK644hVeTmqXHdflHAa
wrPYtHPRsqjKG1NXdY3LCrP8O9aqz1r+2/p9OqHxgLHxCMLFew1I9N2Av4P3yDlF
e8YXsn5qZv4GuuuC7QNQrW1NiLteP5/x3EbmYQrt1QTPFu0A74BMwg3tmozgmXGx
xeWa+4pFuQteH9lwhgFr0R5yZy4AKBCjzMsfvH8iX/kOLnQ06XFdPg3jz8ImYJEj
TJmsumM38xIPveLPfCCe4UH7wIOXRvkMzDH4DI477QN/1Y2FtXsqHh5tHBsXr2ZC
wqcmuTufiaDcl1x62R4CsEFFlOFA+2Ff79BwCjK+V2DQzs4tgr+3r7UfDF9eHZ3K
R0rjQ036PgDd2tcxwHyTeHDLLEcyntb3QSwc7o7B36/iZu9T7/LX2yFDZTNJBimM
Uw0M6gSCfRAhMTrLOhWjO60ybwzI2y3mJrhC5kJsHxdW4fU5Cn+ztWnTsAMLIhWA
mjWL5T+iyUnkbnn/goEqJ2wfyIrva7zZRstMwoIwzSWjjB5O1OCAFCtOFcnRsfwa