千万级模糊搜索算法讨论研究

实现:搜索partnumber列，用 02606 这样的字符模糊搜索，快速出结果

杭州 雪花 2020/4/14 17:02:33
有何 实行方案

杭州 雪花 2020/4/14 17:03:01
@curl 大牛如果的如果

杭州 雪花 2020/4/14 17:03:41
代码实现哦，不想安装其他搜索插件

Zjmainstay 2020/4/14 17:20:56
db搜索不香么

Ares 2020/4/14 17:23:36
回答不知道就完事

杭州 雪花 2020/4/14 17:26:43
db哪种搜索能实现呢

杭州 雪花 2020/4/14 17:26:47
貌似不行啊

杭州 雪花 2020/4/14 17:26:54
like性能太慢

杭州 雪花 2020/4/14 17:27:09
全文索引 好像也不行啊

Zjmainstay 2020/4/14 17:28:55
如果是在文件里的话，grep可以试下

杭州 雪花 2020/4/14 17:29:19
我可以跑到文件的

百夫长统计-centcount.com 2020/4/14 17:29:25
将这一列全部读入Redis，看看Redis查找是否快点？毕竟是在缓存中操作

Zjmainstay 2020/4/14 17:29:37
redis怎么查

Zjmainstay 2020/4/14 17:29:44
他要搞内容的模糊搜索

杭州 雪花 2020/4/14 17:29:51
是的

百夫长统计-centcount.com 2020/4/14 17:29:54
keys

Zjmainstay 2020/4/14 17:30:02
。。。

杭州 雪花 2020/4/14 17:30:13
搞内容的模糊搜索 ，你们都用第三方的么

Zjmainstay 2020/4/14 17:30:14
这个关键词叫“卡死”

杭州 雪花 2020/4/14 17:30:44
第三方 搭建维护成本很高

杭州 雪花 2020/4/14 17:30:56
不想用，实在搞不定，也只能用了

百夫长统计-centcount.com 2020/4/14 17:31:36
keys1000万数据几秒内

杭州 雪花 2020/4/14 17:31:57
我要300毫秒内出结果

unhan 2020/4/14 17:33:14
昨晚喝的假酒还没醒？

unhan 2020/4/14 17:33:21

笨笨 2020/4/14 17:34:32
阿里云有个大数据分析服务 不知道你这个需求能不能满足.

百夫长统计-centcount.com 2020/4/14 17:34:41
太湖之光也许能做到，只能拼硬件了

不点 2020/4/14 17:34:53
拼算力

杭州 雪花 2020/4/14 17:35:20
自己写算法，有思路么

不点 2020/4/14 17:35:21
cpu超频，内存条超频

小韵子 2020/4/14 17:35:48
@杭州 雪花 数字的话 >=01402606000

杭州 雪花 2020/4/14 17:36:07
有字母的

杭州 雪花 2020/4/14 17:36:27
这列是 :字母+数字的

小韵子 2020/4/14 17:36:41
把字符串分词，单个字符分

The Milky Way 2020/4/14 17:36:50
只能分类

The Milky Way 2020/4/14 17:37:17
杭州 雪花
自己写算法，有思路么
@杭州 雪花 分类

The Milky Way 2020/4/14 17:37:33
你可以分为A-Z个区

The Milky Way 2020/4/14 17:37:52
把每个字的拼音首字母都放进去

百夫长统计-centcount.com 2020/4/14 17:37:52
你这是模糊查找，只能拼算力，把1000万数据切分成1000份，开1000个线程，估计能在毫秒内出结果。

小韵子 2020/4/14 17:38:03
自己写算法也要遍历的，数据在数据库里

The Milky Way 2020/4/14 17:38:16
数据库就不能设计一下吗？

The Milky Way 2020/4/14 17:38:24
全部杂进数据库？

The Milky Way 2020/4/14 17:38:27

小韵子 2020/4/14 17:38:41
长度固定就全部分成单个字母分别建立索引

The Milky Way 2020/4/14 17:38:49
+1

The Milky Way 2020/4/14 17:39:00
这样就能轻松很多

小韵子 2020/4/14 17:39:41
要么所有长度全部加索引，空间换时间

百夫长统计-centcount.com 2020/4/14 17:40:04
小韵子
长度固定就全部分成单个字母分别建立索引
@小韵子 这种索引也许有几十亿长度，画蛇添足

小韵子 2020/4/14 17:40:24
根据长度建立索引

小韵子 2020/4/14 17:40:46
好像不太对

小韵子 2020/4/14 17:40:53
还是单个字母建立索引吧

小韵子 2020/4/14 17:42:06
20的长度就建立20个字段（可以是虚拟字段能加索引，不用考虑数据一致性问题）

优秀的人一直在奔跑 2020/4/14 17:44:46

Zjmainstay 2020/4/14 17:57:48
Mac [2020-04-14 17:56] ➜ Desktop time grep 6424bfa23 /tmp/result.txt
0490e33d8006424bfa23cb2b9230db6c
grep --color 6424bfa23 /tmp/result.txt 10.57s user 0.13s system 98% cpu 10.824 total

10s

Zjmainstay 2020/4/14 17:57:53
grep 不可行~~

Zjmainstay 2020/4/14 17:58:43
只能自己写算法进行内容的map/reduce

curl 大牛如果的如果 2020/4/14 17:59:38
一次性载入内存

做个hash map映射

curl 大牛如果的如果 2020/4/14 17:59:40
很简单

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:01:10
模糊搜索用hash map咋搞

Zjmainstay 2020/4/14 18:01:19
模糊搜索，什么数据结构支持

curl 大牛如果的如果 2020/4/14 18:01:38
他这个实际上不是模糊搜索

curl 大牛如果的如果 2020/4/14 18:01:46
只是因为刚好是数字字符串

Zjmainstay 2020/4/14 18:01:49
需求就是模糊搜索

curl 大牛如果的如果 2020/4/14 18:01:55
对啊 没错啊

curl 大牛如果的如果 2020/4/14 18:02:03
*12345的需求

Zjmainstay 2020/4/14 18:02:12

curl 大牛如果的如果 2020/4/14 18:02:15
不就是 把一棵树 、、、父节点为1

curl 大牛如果的如果 2020/4/14 18:02:22
的节点先找出

curl 大牛如果的如果 2020/4/14 18:02:25
然后这个结果集厘米

笨笨 2020/4/14 18:02:30
有字母他说

curl 大牛如果的如果 2020/4/14 18:02:31
再找出2

curl 大牛如果的如果 2020/4/14 18:02:32
3

curl 大牛如果的如果 2020/4/14 18:02:37
字母、、、

curl 大牛如果的如果 2020/4/14 18:02:39
一样的啊

Zjmainstay 2020/4/14 18:02:43
你要做搜索树？

curl 大牛如果的如果 2020/4/14 18:02:45
嗯

curl 大牛如果的如果 2020/4/14 18:02:47
搜索树

curl 大牛如果的如果 2020/4/14 18:02:56
全部载入内存

Zjmainstay 2020/4/14 18:03:00
跟敏感词那样

curl 大牛如果的如果 2020/4/14 18:03:04
c写的话

curl 大牛如果的如果 2020/4/14 18:03:07
毫秒级响应

Zjmainstay 2020/4/14 18:03:21
如果是这个的话，我知道有个东西搞

curl 大牛如果的如果 2020/4/14 18:03:40
反正原理就是那样了

curl 大牛如果的如果 2020/4/14 18:03:45
最近忙成狗了

curl 大牛如果的如果 2020/4/14 18:03:49
真惨、、

curl 大牛如果的如果 2020/4/14 18:04:10
一个多月没好好休息了我

Zjmainstay 2020/4/14 18:04:27

curl 大牛如果的如果 2020/4/14 18:04:40
不说了 搬砖去了

Zjmainstay 2020/4/14 18:05:00
php-ext-trie-filter

Zjmainstay 2020/4/14 18:05:14
@杭州 雪花

Zjmainstay 2020/4/14 18:05:43
你把你的内容，按1字符分隔，做成敏感词，基于这个扩展就可以构建出敏感词库

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:05:52
建树的话 那放数据库 然后加索引 内部也是这种处理方法吧

Zjmainstay 2020/4/14 18:06:23
只不过，如果你的数据更新频繁的话… 生成树的过程挺慢的

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:08:06
比如12345678 我搜索345 这个应该从哪个节点开始

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:08:15
如果是123那简单

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:08:31
从中间搜索想不明白树咋搞。。

Zjmainstay 2020/4/14 18:18:29
这是个好课题

Zjmainstay 2020/4/14 18:18:34
有空再研究

curl 大牛如果的如果 2020/4/14 18:29:45
@Zjmainstay 多维映射的问题

curl 大牛如果的如果 2020/4/14 18:29:52
两棵树

curl 大牛如果的如果 2020/4/14 18:30:13
或者是多树

curl 大牛如果的如果 2020/4/14 18:30:34
反正，无非就是空间换时间的问题

curl 大牛如果的如果 2020/4/14 18:30:42
内存足够，。。

curl 大牛如果的如果 2020/4/14 18:30:56
你mysql，整个表，载入内存buff

curl 大牛如果的如果 2020/4/14 18:31:02
最省事

Zjmainstay 2020/4/14 18:34:00
它是模糊搜索

Zjmainstay 2020/4/14 18:34:19
也就是前面可不命中

Zjmainstay 2020/4/14 18:34:27
后面全命中就行

curl 大牛如果的如果 2020/4/14 18:37:22
是的啊

Zjmainstay 2020/4/14 18:42:56
这个算法估计要自己写，常规的敏感词都是要全命中的

Zjmainstay 2020/4/14 18:43:26
或者是既定内容作为敏感词

Zjmainstay 2020/4/14 18:45:08
搜索对象反转了

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:45:50
放存在然后按个循环 多线程都没必有用 然后缓存热数据最靠谱 这种搜索不管咋个想都需要完整遍历

►L̶̶o̶v̶e̶̶→． 2020/4/14 18:46:13
如果内容过长还有必要做处理 如果本身都是短字符串意义不大

猪肉炖粉条 2020/4/14 20:53:34
参考一下谷歌的word2vec 针对海量数据的相似度计算 把字符转换成向量之后 算余玄夹角

猪肉炖粉条 2020/4/14 20:56:02
这是NLP自然语言处理的领域 参考网站 http://www.52nlp.cn/

有更多高手，来探讨下怎么实现么？