Sphinx+MySQL+PHP 12亿DNS数据秒查

最近得到一个接近12亿的全球ns节点的数据,本来想用来做一个全国通过dns反查域名然后进行全国范围的网站收集和扫描的,后来发现网站的数量不是很准确,加上一个人的精力和财力实在难以完成这样一个庞大的任务,就没有做下去,只留下了这个搭建的笔记。

文本格式,简单的文本搜索,速度太慢,一次搜索接近花掉5-10分钟时间,决定将其倒入数据库进行一次优化,速度应该能提升不到,电脑上只有AMP的环境,那么就决定将其倒入到MySQL中,

一开始使用Navicat进行倒入,刚好数据的格式是 ip,ns 这样的格式,倒入了接近5个小时发现还没有倒入到百分之一,这可是纯文本格式化的时候大小为54G的数据文件啊!

后来发现用mysql自带的load data local infile只话了30分钟左右,第一次导入的时候忘记新建键了,只好重新导入一次

mysql> load data local infile 'E:\\dns\\rite\\20141217-rdns.txt' into table dns
fields terminated by ',';
Query OK, 1194674130 rows affected, 1700 warnings (29 min 26.65 sec)
Records: 1194674130  Deleted: 0  Skipped: 0  Warnings: 1700

因为添加了一个id字段,所以导入速度明显下降,不过大概也只花了1个半小时左右的时间就完成了55G数据的导入。
    接着是建立索引,因为我需要的模糊查询,所以在这里建立的是Full Text+Btree,差不多花了3天时间索引才建立完成,期间因为一不小心把mysql的执行窗口关闭了,以为就这么完蛋了,最后发现其实mysql还在后台默默的建立索引。
    建立了索引之后发现查询速度也就比没有建立索引快那么一点,执行了一条

select * from ns where ns like '%weibo.com'

花掉了210秒的时间,还是太慢了。
    然后就开始使用SPhinx来做索引提升速度,
    从官方下载了64位的SPHINX MYSQL SUPPORT的包下载地址
    接着配置配置文件,src里配置要mysql的账号密码

source src1
{
    sql_host        = localhost
    sql_user        = root
    sql_pass        = root
    sql_db          = ns
    sql_port        = 3306 
    sql_query      = \
        SELECT id,ip,ns from ns //这里写上查询语句
    sql_attr_uint      = id
 

然后searchd里也需要配置一下,端口和日志,pid文件的路径配置好即可

searchd
{
    listen          = 9312
    listen          = 9306:mysql41
    log        = E:/phpStudy/splinx/file/log.log
    query_log      = E:/phpStudy/splinx/file/query.log
    pid_file        = E:/phpStudy/splinx/file/searchd.pid
 

然后切换到sphinx的bin目录进行建立索引,执行

searchd test1 #test1是你source的名称

我大概建立了不到2个小时的时间就建立完成了,
然后切换到api目录下执行

E:\phpStudy\splinx\api>test.py asd
DEPRECATED: Do not call this method or, even better, use SphinxQL instead of an
API
Query 'asd ' retrieved 1000 of 209273 matches in 0.007 sec
Query stats:
        'asd' found 209291 times in 209273 documents
Matches:
1. doc_id=20830, weight=1
2. doc_id=63547, weight=1
3. doc_id=96147, weight=1
4. doc_id=1717000, weight=1
5. doc_id=2213385, weight=1
6. doc_id=3916825, weight=1
7. doc_id=3981791, weight=1
8. doc_id=5489598, weight=1
9. doc_id=9348383, weight=1
10. doc_id=18194414, weight=1
11. doc_id=18194415, weight=1
12. doc_id=18195126, weight=1
13. doc_id=18195517, weight=1
14. doc_id=18195518, weight=1
15. doc_id=18195519, weight=1
16. doc_id=18195520, weight=1
17. doc_id=18195781, weight=1
18. doc_id=18195782, weight=1
19. doc_id=18200301, weight=1
20. doc_id=18200303, weight=1

进行了测试,发现速度真的很快,写了一个PHP脚本进行调用

<?php
include 'sphinxapi.php';
$conn=mysql_connect('127.0.0.1','root','root');
mysql_select_db('ns',$conn);
$sphinx = new SphinxClient();
$now=time();
$sphinx->SetServer ( '127.0.0.1', 9312 );
$result = $sphinx->query ('weibo.com', 'test1');
foreach($result['matches'] as $key => $val){
    $sql="select * from ns where";
    $res=mysql_query($sql);
    $res=mysql_fetch_array($res);
    echo "{$res['ip']}:{$res['ns']}";

}
echo time()-$now;
?>

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/f1e88f4fe7e3f15c1dbc6eeff8e05ed4.html