您的位置: 首页  >  文章  >  【es】cardinality 计算不准确问题

【es】cardinality 计算不准确问题

分类: 文章 • 2024-07-06 08:55:52

遇到问题：

两个结果不一样，按说是一样的

结果一：



    

  1. {
    2. 

  2.  "query": {
    3. 

  3.  "bool": {
    4. 

  4.  "must_not": [
    5. 

  5.  {
    6. 

  6.  "match_phrase": {
    7. 

  7.  "reqUA": "Jakarta Commons-HttpClient/3.1"
    8. 

  8.  }
    9. 

  9.  },
    10. 

  10.  {
    11. 

  11.  "match_phrase": {
    12. 

  12.  "reqReferer": "http://www.baidu.com/s?wd=www"
    13. 

  13.  }
    14. 

  14.  }
    15. 

  15.  ],
    16. 

  16.  "must": [
    17. 

  17.  {
    18. 

  18.  "range": {
    19. 

  19.  "reqTime": {
    20. 

  20.  "gte": "2016-09-25 22:00:00",
    21. 

  21.  "lte": "2016-09-26 22:00:00"
    22. 

  22.  }
    23. 

  23.  }
    24. 

  24.  },
    25. 

  25.  {
    26. 

  26.  "range": {
    27. 

  27.  "operateBeforeObj.sendTime": {
    28. 

  28.  "gte": "2016-09-25 22:00:00",
    29. 

  29.  "lte": "2016-09-26 22:00:00"
    30. 

  30.  }
    31. 

  31.  }
    32. 

  32.  },
    33. 

  33.  {
    34. 

  34.  "terms": {
    35. 

  35.  "productPageCode": [
    36. 

  36.  "10001",
    37. 

  37.  "33002"
    38. 

  38.  ]
    39. 

  39.  }
    40. 

  40.  }
    41. 

  41.  ]
    42. 

  42.  }
    43. 

  43.  },
    44. 

  44.  "from": 0,
    45. 

  45.  "aggs": {
    46. 

  46.  "channelTag": {
    47. 

  47.  "terms": {
    48. 

  48.  "field": "channelTag",
    49. 

  49.  "size": 0
    50. 

  50.  },
    51. 

  51.  "aggs": {
    52. 

  52.  "userId": {
    53. 

  53.  "cardinality": {
    54. 

  54.  "field": "user.userId"
    55. 

  55.  }
    56. 

  56.  }
    57. 

  57.  }
    58. 

  58.  }
    59. 

  59.  },
    60. 

  60.  "size": 0
    61. 

  61. }
    62. 






【es】cardinality 计算不准确问题









结果二：








    

  1. {
    2. 

  2.  "query": {
    3. 

  3.  "bool": {
    4. 

  4.  "must_not": [
    5. 

  5.  {
    6. 

  6.  "match_phrase": {
    7. 

  7.  "reqUA": "Jakarta Commons-HttpClient/3.1"
    8. 

  8.  }
    9. 

  9.  },
    10. 

  10.  {
    11. 

  11.  "match_phrase": {
    12. 

  12.  "reqReferer": "http://www.baidu.com/s?wd=www"
    13. 

  13.  }
    14. 

  14.  }
    15. 

  15.  ],
    16. 

  16.  "must": [
    17. 

  17.  {
    18. 

  18.  "range": {
    19. 

  19.  "reqTime": {
    20. 

  20.  "gte": "2016-09-25 22:00:00",
    21. 

  21.  "lte": "2016-09-26 22:00:00"
    22. 

  22.  }
    23. 

  23.  }
    24. 

  24.  },
    25. 

  25.  {
    26. 

  26.  "range": {
    27. 

  27.  "operateBeforeObj.sendTime": {
    28. 

  28.  "gte": "2016-09-25 22:00:00",
    29. 

  29.  "lte": "2016-09-26 22:00:00"
    30. 

  30.  }
    31. 

  31.  }
    32. 

  32.  },
    33. 

  33.  {
    34. 

  34.  "terms": {
    35. 

  35.  "productPageCode": [
    36. 

  36.  "10001",
    37. 

  37.  "33002"
    38. 

  38.  ]
    39. 

  39.  }
    40. 

  40.  }
    41. 

  41.  ]
    42. 

  42.  }
    43. 

  43.  },
    44. 

  44.  "from": 0,
    45. 

  45.  "aggs": {
    46. 

  46.  "userId": {
    47. 

  47.  "cardinality": {
    48. 

  48.  "field": "user.userId"
    49. 

  49.  }
    50. 

  50.  }
    51. 

  51.  },
    52. 

  52.  "size": 0
    53. 

  53. }
    54. 






【es】cardinality 计算不准确问题









分析问题：


问题应该在cardinality上，cardinality有个参数 "precision_threshold": 100 ，100是个预设值，你的真实值小于100计算出来的值就是正确的，真实值大于100计算出来的值就是模糊的，100可以自定义。





解决问题：










    

  1. {
    2. 

  2.  "aggs":{
    3. 

  3.  "author_count":{
    4. 

  4.  "cardinality":{
    5. 

  5.  "field":"author_hash",
    6. 

  6.  "precision_threshold":100
    7. 

  7.  }
    8. 

  8.  }
    9. 

  9.  }
    10. 

  10. }
    11. 





【es】cardinality 计算不准确问题


															

																					

								

									相关推荐