使用Redis有序集合搭建自有IP定位解析库（纯真库）
网上关于IP地理位置解析的API有很多种，如IP138、百度IP定位API等，接入方便，使用简单，而且免费。缺点就是有访问次数限制。
所以有必要搭建自有的IP定位解析库。纯真库是一个比较有名的IP库，而且会不断更新，文章发布时的最新版本是2017-04-25。
一、数据源准备
下载纯真库并安装到本地，找到安装目录中提取出“qqwry.dat”
下载IPLook工具，将“qqwry.dat”文件转换成txt文本文件
利用数据库工具Navicat将上一步的txt文本文件导入到MySQL，表结构如下
|
1
2
3
4
5
6
|
CREATE TABLE `ip` (
`StartIP` bigint(20) NOT NULL COMMENT 'IP起始值',
`EndIP` bigint(20) NOT NULL COMMENT 'IP结束值',
`Country` varchar(60) NOT NULL DEFAULT '' COMMENT '国家及详细地址',
`Local` varchar(300) NOT NULL DEFAULT ''
) ENGINE=InnoDB;
|
二、原理
我们都知道，IP（IPv4）共有2^32=4294967296个（除去私有网段、网络ID、广播ID、保留网段、本地环回127.0.0.0网段、组播224.0.0.0网段、实际可用就是25.68亿）。这些IP，每个相邻区间，地理位置是相同的，如218.107.30.50-218.107.30.60，都是属于广东省广州市。纯真库正是利用这个特性，将相邻区间且地理位置相同的IP放在一起，将上亿个IP浓缩成40多万的区间。查找某个IP时，只需要找到IP所在区间，就能获取到相应的位置。
IPv4是由32位二进制数表示，一般的书写法为4个用小数点分开的十进制数。由于需要对区间进行比较，必需将IP转成不带“.”的长整型。
三、查询
查询的方法有多种
1、网上也有人直接读取解析dat文件，Java、PHP等语言都有相关的算法。dat文件比较大，每个IP进来都需要计算偏移量得出所在区间，性能并不高，非常耗CPU（3个线程各自循环1000次CPU上升到100%）。显然个方案不能放到生产环境去。
2、在数据库中计算区间，SQL为：
SELECT * FROM ip WHERE INET_ATON('218.107.30.50') BETWEEN StartIP AND EndIP LIMIT 1;
由于涉及到区间计算，即使加上了索引，性能也不高。
3、利用方法2，将42亿个IP全解析出来，放到新的表，查找时用“=”，可直接利用索引。这个想法很美好，但是却无法执行，42亿的表，得花多长的时间才将所有IP写进表里，后期也不好维护。
四、高效查询的解决方案
上面的3种方案，显然比较靠普的还是第2种，既然使用MySQL性能不高，那就换成Reids，直接从内存读取。Redis能支持有序集合并支持区间查找，即zRange。
将每个IP区间的结束IP（EndIP）当作score值，value中包含区间的起始IP（StartIP）和位置信息（Country）
经过试验，将MySQL中40多W的IP区间写到Redis中，只需不到10秒。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
$maxIp = -1;
while (true) {
// 分批每次取出50000条记录
$sql = 'select * from ip where StartIP > :ip limit 50000';
$rows = $dbConnection->createCommand($sql, [':ip' => $maxIp])->queryAll();
if (count($rows) == 0) {
break;
}
$adds = ['ip'];
foreach ($rows as $row) {
$adds[] = $row['EndIP'];
$adds[] = json_encode($row, JSON_UNESCAPED_UNICODE);
$maxIp = $row['StartIP'];
}
// 将5W个记录批量写入$redis->zAdd('ip', 'EndIP1', 'row1', 'EndIP2', 'row2', 'EndIPN', 'rowN');
call_user_func_array([$redis, 'zAdd'], $adds);
}
|
每个IP区间之间不存在交集，每个查找只要按score查找区间[ip2long(ip), ip2long(ip) + N]，N的值必需足够大，确保结束IP的值大于当前区间的结束IP。这个有点难理解，举个栗子：
有3个区间
Value Score
36 60
61 67
68 68
查找IP=50时，查找的score为[50, 50 + N]，且要满足50 + N >= 60，否则就无法找到[36, 60]这个区间。
代码如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
$ip = '218.107.30.50';
$n = 4294967296;// n的值是总IP数，确保一定会超过结束区间
$long = ip2long($ip);
$rows = $redis->zRangeByScore('ip', $long, $long + $n);
if (!empty($rows)) {
foreach ($rows as $row) {
$obj = json_decode($row, true);
if ($obj['StartIP'] <= $long && $long <= $obj['EndIP']) {
return $obj;
}
}
}
return null;
|
此时，另外一个问题来了，由于N太大，$rows的条数会很多，造成内存浪费，需要限制返回的记录数。由于score是有序且递增的，所以每次返回数组肯定会命中索引为0的那条记录，即每次只要返回一条记录即可。好在Redis提供了limit这个参数，所以将上面的代码进行改造：
|
1
|
$rows = $redis->zRangeByScore('ip', $long, $long + $n, array('limit' => [0, 1]));
|
这个方案，从dat转txt，txt转DB，DB转Redis前后花了不到10分钟，性能还比前面任意一种方法都高。
五、性能测试
线上取10000个真实用户IP进行测试，平均耗时：0.28ms，最长耗时：3ms。