Coreseek 中文全文檢索引擎
Coreseek 是一款中文全文檢索/搜索軟件，以GPLv2許可協(xié)議開源發(fā)布，基于Sphinx研發(fā)并獨(dú)立發(fā)布，專攻中文搜索和信息處理領(lǐng)域，適用于行業(yè)/垂直搜索、論壇/站內(nèi)搜索、數(shù)據(jù)庫搜索、文檔/文獻(xiàn)檢索、信息檢索、數(shù)據(jù)挖掘等應(yīng)用場景，用戶可以免費(fèi)下載使用
一,coreseek 簡介
官方http://www.coreseek.cn/
Coreseek 是一款中文全文檢索/搜索軟件，以GPLv2許可協(xié)議開源發(fā)布，基于Sphinx研發(fā)并獨(dú)立發(fā)布，專攻中文搜索和信息處理領(lǐng)域，適用于行業(yè)/垂直搜索、論壇/站內(nèi)搜索、數(shù)據(jù)庫搜索、文檔/文獻(xiàn)檢索、信息檢索、數(shù)據(jù)挖掘等應(yīng)用場景。商業(yè)使用（例如, 嵌入到其他程序中）需要獲得商業(yè)授權(quán)。
Coreseek是一個(gè)支持中文的全文搜索引擎，意圖為其他應(yīng)用提供高速、低空間占用、高相關(guān)度結(jié)果的中文全文搜索能力。CoreSeek可以非常容易的與SQL數(shù)據(jù)庫和腳本語言集成。
在Sphinx發(fā)行版本中提供的原生搜索API支持PHP、Python、Perl、Rudy和Java。搜索API非常輕量化，可以在幾個(gè)小時(shí)之內(nèi)移植到新的語言上。第三方API接口和插件提供了對(duì)Perl、C#、Haskell、Ruby-on-Rails支持，以及對(duì)其他可能的語言或者框架的支持。
版本介紹
Coreseek 3.2 穩(wěn)定版
Coreseek 4.1 測式版
Coreseek 5 最新版
二,安裝Coreseek
注:本文是以centos+mysql做為數(shù)據(jù)源支持為基礎(chǔ)的coreseek安裝教程.mysql安裝略過.
1,下載coreseek 3.2穩(wěn)定版,下載其他版本請(qǐng)去官網(wǎng)自行下載
cd /usr/local/src/
wget http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz
tar xzvf coreseek-3.2.14.tar.gz
cd coreseek-3.2.14
安裝coreseek之前需要先安裝需要預(yù)裝的軟件：yum install make gcc g++ gcc-c++ libtool autoconf automake imake mysql-devel libxml2-devel expat-devel (注:這是centos 64位
其他系統(tǒng)請(qǐng)參考http://www.coreseek.cn/product_install/install_on_bsd_linux/#deps
2,安裝mmseg
$ cd mmseg-3.2.14
$ ./bootstrap #輸出的warning信息可以忽略，如果出現(xiàn)error則需要解決
$ ./configure --prefix=/usr/local/mmseg3
$ make make install
$ cd ..
##如果提示libtool: unrecognized option `--tag=CC' ，請(qǐng)查看libtool問題解決方案
##安裝完成后，mmseg使用的詞典和配置文件，將自動(dòng)安裝到/usr/local/mmseg3/etc中
##中文分詞測試，如果顯示不正常，請(qǐng)檢查當(dāng)前環(huán)境下的locale和UTF-8中文字符顯示設(shè)置
$ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc src/t1.txt
中文/x 分/x 詞/x 測試/x
中國人/x 上海市/x
Word Splite took: 1 ms.
3,安裝coreseek
$ cd csft-3.2.14
##執(zhí)行configure，進(jìn)行編譯配置：
$ sh buildconf.sh
$ ./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql
如查提示找不到mysql includes file則使用下面的編譯命令
./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql-includes=/alidata/server/mysql/include/ --with-mysql-libs=/alidata/server/mysql/bin/
make make install
4,測式coreseek
cd ../testpack
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf
##以下為正常情況下的提示信息：
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
total 0 reads, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
total 0 writes, 0.000 sec, 0.0 kb/call avg, 0.0 msec/call avg
##
##csft-4.0版顯示：ERROR: nothing to do.
##
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
##以下為正常索引全部數(shù)據(jù)時(shí)的提示信息：（csft-4.0版類似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.075 sec, 101043 bytes/sec, 39.96 docs/sec
total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf xml
##以下為正常索引指定數(shù)據(jù)時(shí)的提示信息：（csft-4.0版類似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
indexing index 'xml'...
collected 3 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 3 docs, 7585 bytes
total 0.069 sec, 109614 bytes/sec, 43.35 docs/sec
total 2 reads, 0.000 sec, 5.6 kb/call avg, 0.0 msec/call avg
total 7 writes, 0.000 sec, 3.9 kb/call avg, 0.0 msec/call avg
$ /usr/local/coreseek/bin/search -c etc/csft.conf
##以下為正常測試搜索時(shí)的提示信息：（csft-4.0版類似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
index 'xml': query '': returned 3 matches of 3 total in 0.093 sec
displaying matches:
1. document=1, weight=1, published=Thu Apr 1 22:20:07 2010, author_id=1
2. document=2, weight=1, published=Thu Apr 1 23:25:48 2010, author_id=1
3. document=3, weight=1, published=Thu Apr 1 12:01:00 2010, author_id=2
words:
$ /usr/local/coreseek/bin/search -c etc/csft.conf -a Twittter和Opera都提供了搜索服務(wù)
##以下為正常測試搜索關(guān)鍵詞時(shí)的提示信息：（csft-4.0版類似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
index 'xml': query 'Twittter和Opera都提供了搜索服務(wù) ': returned 3 matches of 3 total in 0.038 sec
displaying matches:
1. document=3, weight=24, published=Thu Apr 1 12:01:00 2010, author_id=2
2. document=1, weight=4, published=Thu Apr 1 22:20:07 2010, author_id=1
3. document=2, weight=3, published=Thu Apr 1 23:25:48 2010, author_id=1
words:
1. 'twittter': 1 documents, 3 hits
2. '和': 3 documents, 15 hits
3. 'opera': 1 documents, 25 hits
4. '都': 2 documents, 4 hits
5. '提供': 0 documents, 0 hits
6. '了': 3 documents, 18 hits
7. '搜索': 2 documents, 5 hits
8. '服務(wù)': 1 documents, 1 hits
$ /usr/local/coreseek/bin/searchd -c etc/csft.conf
##以下為正常開啟搜索服務(wù)時(shí)的提示信息：（csft-4.0版類似）
Coreseek Fulltext 3.2 [ Sphinx 0.9.9-release (r2117)]
Copyright (c) 2007-2010,
Beijing Choice Software Technologies Inc (http://www.coreseek.com)
using config file 'etc/csft.conf'...
listening on all interfaces, port=9312
三,配置coreseek支持mysql數(shù)據(jù)源
1,配置csft_mysql.conf文件
復(fù)制mysql配置文件到coreseek安裝目錄etc/下(比如/usr/local/coreseek/etc/)
cp /usr/local/src/coreseek-3.2.14/testpack/etc/csft_mysql.conf /usr/local/coreseek/etc/
cd /usr/local/coreseek/etc/
vi csft_mysql.conf
下面加紅部分是需要你自己配置的
官方參考文檔:數(shù)據(jù)源配置：mysql數(shù)據(jù)源 http://www.coreseek.cn/products-install/datasource/
其他數(shù)據(jù)源請(qǐng)參考官方
==============================================================
#源定義
source phperz
{
type = mysql
sql_host = localhost
sql_user = root
sql_pass = xxxx
sql_db = phperz
sql_port = 3306
sql_query_pre = SET NAMES utf8
sql_query = SELECT id,title,descs,status from article
#sql_query第一列id需為整數(shù)
#title、content作為字符串/文本字段，被全文索引
sql_attr_uint = status #從SQL讀取到的值必須為整數(shù)
#sql_attr_timestamp = date_added #從SQL讀取到的值必須為整數(shù)，作為時(shí)間屬性
sql_query_info_pre = SET NAMES utf8 #命令行查詢時(shí)，設(shè)置正確的字符集
sql_query_info = SELECT * FROM article WHERE id=$id #命令行查詢時(shí)，從數(shù)據(jù)庫讀取原始數(shù)據(jù)信息
}
#index定義
index phperz
{
source = phperz #對(duì)應(yīng)的source名稱
path = /usr/local/coreseek/var/data/phperz #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/coreseek/var/...
docinfo = extern
mlock = 0
morphology = none
min_word_len = 1
html_strip = 0
#中文分詞配置，詳情請(qǐng)查看：http://www.coreseek.cn/products-install/coreseek_mmseg/
charset_dictpath = /usr/local/mmseg3/etc/ #BSD、Linux環(huán)境下設(shè)置，/符號(hào)結(jié)尾
#charset_dictpath = etc/ #Windows環(huán)境下設(shè)置，/符號(hào)結(jié)尾，最好給出絕對(duì)路徑，例如：C:/usr/local/coreseek/etc/...
charset_type = zh_cn.utf-8
}
#全局index定義
indexer
{
mem_limit = 128M
}
#searchd服務(wù)定義
searchd
{
listen = 9312
read_timeout = 5
max_children = 30
max_matches = 1000
seamless_rotate = 0
preopen_indexes = 0
unlink_old = 1
pid_file = /usr/local/coreseek/var/log/searchd_mysql.pid #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/coreseek/var/...
log = /usr/local/coreseek/var/log/searchd_mysql.log #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/coreseek/var/...
query_log = /usr/local/coreseek/var/log/query_mysql.log #請(qǐng)修改為實(shí)際使用的絕對(duì)路徑，例如：/usr/local/coreseek/var/...
}
==============================================================
2,建立索引
路經(jīng)部分需要改成你自己的地址
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all
可能出現(xiàn)的錯(cuò)誤
ERROR: index 'phperz': sql_connect: Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) (DSN=mysql://root:***@localhost:3306/phperz).
這是因?yàn)閙ysql的sock文件路經(jīng)不正確導(dǎo)致的.
確認(rèn)一下你的mysql.sock路經(jīng),建立一個(gè)軟連接,比如
ln -s /tmp/mysql.sock /var/lib/mysql/mysql.sock
四,coreseek+php使用方式
復(fù)制安裝止錄下的/usr/local/src/coreseek-3.2.14/testpack/api/sphinxapi.php文件到你的項(xiàng)目里
你的程序里include sphinxapi.php
php使用方法見/usr/local/src/coreseek-3.2.14/testpack/api/test.php
另附我的使用方法:
===============================================================
$wd = trim($_GET['wd']);
include_once(JF_PATH."/config/sph_cfg.php");
include_once(JF_PATH."/include/sphinxapi.php");
$cl = new SphinxClient();
$cl->SetServer(SPH_SERVER_HOST, SPH_SERVER_POST);
$cl->SetConnectTimeout(3);
$cl->SetArrayResult(true);
$cl->SetMatchMode(1);
$cl->SetFilter("status", array(1));
$cl->SetLimits(0, 10);
$res = $cl->Query($wd, "phperz_www");
if ($res['matches']) {
$rownum = $res['total'];
foreach ($res['matches'] as $k => $v) {
$re = $this->db->get_one("select * from article where id=".$v['id']);
if (!empty($re)) {
$list[] = $re;
}
}
}
print_r($list);
===============================================================
五,coreseek日常維護(hù)
啟動(dòng)
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf
停止
/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop
建立索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all
重建索引
/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate
你需要把啟動(dòng)命令加到開機(jī)自啟動(dòng)里
把重建索引命令加到計(jì)劃任務(wù)里每天執(zhí)行
本文為phperz原創(chuàng),轉(zhuǎn)載請(qǐng)注明出處.
