shpinx社工库搭建教程

环境:Centos6.9 x64、Nginx2.2、php5.5、mysql5.6
版本:Coreseek-4.1
相关软件包程序下载:

sphinx_code coreseek

一、安装mmseg3(中文分词算法插件,选装)

# cd /usr/local/src
# wget
# tar zxvf coreseek-4.1-beta.tar.gz
# cd coreseek-4.1-beta/mmseg-3.2.14
# ./bootstrap
# ./configure --prefix=/usr/local/mmseg3
# make && make install

1.1、遇到的问题:

error: cannot find input file: src/Makefile.in

或者遇到其他类似error错误时…

1.2、解决方案:

依次执行下面的命令,我运行’aclocal’时又出现了错误,解决方案请看下文描述

# yum -y install libtool
# aclocal
# libtoolize --force
# automake --add-missing
# autoconf
# autoheader
# make clean

安装好’libtool’继续从’aclocal’开始执行上面提到的一串命令,执行完后再运行最开始的安装流程即可。

二、安装coreseek

# cd /usr/local/src/coreseek-4.1-beta/csft-4.1
# sh buildconf.sh
# ./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql
# make && make install

三、Sphinx扩展安装安装

Coreseek官方教程中建议php使用直接include一个php文件进行操作,事实上php有独立的sphinx模块可以直接操作coreseek(coreseek就是sphinx!)已经进入了php的官方函数库,而且效率的提升不是一点点!但php模块依赖于libsphinxclient包。

3.1、安装依赖libsphinxclient不然无法安装PHP扩展

# cd /usr/local/src/coreseek-4.1-beta/csft-4.1/api/libsphinxclient/
# ./configure --prefix=/usr/local/sphinxclient

报错configure失败

configure: creating ./config.status
config.status: creating Makefile
config.status: error: cannot find input file: Makefile.in

3.2、处理configure报错

编译过程中报了一个config.status: error: cannot find input file: src/Makefile.in这个的错误,然后运行下列指令再次编译就能通过了:

# aclocal
# libtoolize --force
# automake --add-missing
# autoconf
# autoheader
# make clean

3.3、从新回到第一步,configure编译,然后执行安装

# ./configure --prefix=/usr/local/sphinxclient
# make && make install

3.4、安装sphinx的PHP扩展(在测试环境上,这个PHP扩展模块不需要安装,可略过)

# cd /usr/local/src
# wget http://pecl.php.net/get/sphinx-1.3.0.tgz
# tar zxvf sphinx-1.3.0.tgz
# cd sphinx-1.3.0
# /usr/local/php/bin/phpize
# ./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinxclient
# make && make install
# vi /usr/local/php/etc/php.ini

末尾添加:

extension = /www/server/php/55/lib/php/extensions/no-debug-non-zts-20121212/sphinx.so

重启php服务service php-fpm restart
打开phpinfo看一下是否已经支持了sphinx模块。

四、部署MYSQL数据、PHP程序

4.1、在MYSQL上新建一个数据库,导入PHP程序里的测试数据。
4.2、修改PHP程序里的index.php文件,将相关的数据库、sphinx信息修改为实际测试环境信息。
4.3、将PHP程序上传到测试站点目录下。

五、生成索引、测试搜索结果

5.1、csft.conf文件

修改对应的数据库信息

source spdb1
{
type = mysql
sql_host = 192.168.25.1
sql_user = test
sql_pass = mima
sql_db = test
sql_port = 3306
sql_query_pre = SET NAMES utf8
sql_query = SELECT `id`, 1 AS table_id, `username`, `email`, `password` FROM spdb1
sql_attr_uint = table_id #从SQL读取到的值必须为整数
#sql_attr_timestamp = date_added #从SQL读取到的值必须为整数,作为时间属性
sql_query_info_pre = SET NAMES utf8 #命令行查询时,设置正确的字符集
sql_query_info = SELECT * WHERE ID=$id #命令行查询时,从数据库读取原始数据信息
}
source spdb2 : spdb1
{
sql_query = SELECT `id`, 2 AS table_id, `username`, `email`, `password` FROM spdb2
}

source spdb3 : spdb1
{
sql_query = SELECT `id`, 3 AS table_id, `username`, `email`, `password` FROM spdb3
}

source spdb4 : spdb1
{
sql_query = SELECT `id`, 4 AS table_id, `username`, `email`, `password` FROM spdb4
}

source spdb5 : spdb1
{
sql_query = SELECT `id`, 5 AS table_id, `username`, `email`, `password` FROM spdb5
}
#index定义
index spdb1
{
source = spdb1 #对应的source名称
path = /usr/local/coreseek/var/data/spdb1 #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
docinfo = extern
mlock = 0
morphology = none
min_word_len = 1
ondisk_dict = 1
html_strip = 0
#中文分词配置,详情请查看:http://www.coreseek.cn/products-install/coreseek_mmseg/
#charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux环境下设置,/符号结尾
charset_dictpath = /usr/local/mmseg3/etc/ #Windows环境下设置,/符号结尾,最好给出绝对路径,例如:C:/usr/local/coreseek/etc/...
charset_type = zh_cn.utf-8
}
index spdb2 : spdb1
{
source = spdb2
path = /usr/local/coreseek/var/data/spdb2
}

index spdb3 : spdb1
{
source = spdb3
path = /usr/local/coreseek/var/data/spdb3
}

index spdb4 : spdb1
{
source = spdb4
path = /usr/local/coreseek/var/data/spdb4
}

index spdb5 : spdb1
{
source = spdb5
path = /usr/local/coreseek/var/data/spdb5
}
#全局index定义
indexer
{
mem_limit = 200M #默认32M,不要太大,否则会报错
}
#searchd服务定义
searchd
{
listen = 9312 #查询服务监听端口,开启了才会工作
read_timeout = 5 #超时
max_children = 30 #最大进程
max_matches = 1000 #返回1000条
seamless_rotate = 0
preopen_indexes = 0
unlink_old = 1
pid_file = /usr/local/coreseek/var/log/searchd.pid #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
log = /usr/local/coreseek/var/log/searchd.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
query_log = /usr/local/coreseek/var/log/query.log #请修改为实际使用的绝对路径,例如:/usr/local/coreseek/var/...
binlog_path = #关闭binlog日志
}

将csft.conf文件放到/usr/local/coreseeek/etc目录下。

5.2、生成索引

# /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft.conf --all //生成所有索引
# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft.conf //启动服务
# /usr/local/coreseek/bin/search china //本机测试搜索关键词"china",查看结果是否正常。

六、sphinx技巧

# rm -rf /usr/local/coreseek/var/data/*.* //删除已生成的索引
# /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft.conf --all --rotate //生成所有索引
# /usr/local/coreseek/bin/searchd --stop //停止服务,重新生成前先停止
# /usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft.conf //启动searchd服务
# /usr/local/coreseek/bin/searchd --status //查看状态
# /usr/local/coreseek/bin/search 123456 //本机搜索
# rm -rf /var/lock/subsys/mysqld //Mysql易锁,删除锁定文件

6.1、单独生成每个表的索引

# /usr/local/coreseek/bin/indexer mydb6 -c /usr/local/coreseek/etc/csft.conf --rotate
# /usr/local/coreseek/bin/indexer mydb7 -c /usr/local/coreseek/etc/csft.conf --rotate

6.2、更新增量索引

# /usr/local/coreseek/bin/indexer delta -c /usr/local/coreseek/etc/csft.conf --rotate

6.3、合并2个表索引

# /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft.conf --merge mydb1 mydb2 --rotate --merge-dst-range deleted 0 0

发表评论

电子邮件地址不会被公开。 必填项已用*标注