当前位置:首页 » 数据仓库 » 全文索引同步数据库
扩展阅读
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

全文索引同步数据库

发布时间: 2022-12-10 07:41:32

‘壹’ 4台服务器,4个网站mysql数据库,如果实时同步

查找MYSQL主从同步方案,
已经很成熟的方案了,一主,多从,主服务器负责写入,从服务器只读。

mysql主从方案主要作用:

读写分离,使数据库能支撑更大的并发。在报表中尤其重要。由于部分报表sql语句非常的慢,导致锁表,影响前台服务。如果前台使用master,报表使用slave,那么报表sql将不会造成前台锁,保证了前台速度。

发扬不同表引擎的优点。目前Myisam表的查询速度比innodb略快,而写入并发innodb比myIsam要好。那么,我们可以使用innodb作为master,处理高并发写入,使用master作为slave,接受查询。或在myisam slave中建立全文索引,解决innodb无全文索引的弱点。

热备,slave和master的数据“准实时”同步。

准备工作。先分别安装两台MYSQL(主服务器:192.168.84.137,从服务器:192.168.84.130)

配置MASTER。找到my.cnf文件,修改:

server-id = 1

log_bin = /var/log/mysql/mysql-bin.log

expire_logs_days = 10

max_binlog_size = 100M

binlog_do_db = study #要备份的数据库

#binlog_do_db = backup #要备份的数据库

#binlog_ignore_db = test #不需要备份的数据库

其中,虽然作为主机,但server-id不是必须为1.但一般都填1

binlog_do_db为需要复制的db。 binlog_ignore_db为忽略复制的db。需要增加DB的话,就增加相应的一行。(最好写在从库配置)

重启master数据库,运行检查:

mysql> show master status; #检查是否以master形式启动了。

+------------------+----------+----------------------------------+------------------+

| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+------------------+----------+----------------------------------+------------------+

| mysql-bin.000001 | 1087 | study,backup | test

+------------------+----------+----------------------------------+------------------+

1 row in set (0.00 sec)

mysql> show variables like "%log%";

#需要看到这样的一行,说明binlog已经开启了: log_bin | ON

在master上为slave建立用户

mysql> grant replication slave on *.* to 'replication'@'192.168.84.130' identified by '123456';

这样,主机配置完毕。

配置slave

server-id = 2 #随便什么数字,多台slave注意不能为重复就可以了。

#log_bin = /var/log/mysql/mysql-bin.log #slave的binlog就没有必要再开启了。注释掉。

master-host = 192.168.84.137 #master的IP

master-user = replication #上面操作中,建立的用户名

master-password = 123456 #上面操作中,建立的密码

配置生效后,配置与master的连接:

mysql> CHANGE MASTER TO

-> MASTER_HOST='192.168.84.137',

-> MASTER_USER='replication',

-> MASTER_PASSWORD='123456',

-> MASTER_LOG_FILE='mysql-bin.000001',

-> MASTER_LOG_POS=1087;

其中MASTER_HOST是master机的ip,MASTER_USER和MASTER_PASSWORD就是我们刚才在master上添加的用户,MASTER_LOG_FILE和MASTER_LOG_POS对应与master status里的信息

slave:mysql> show slave status/G;

#很多很多列

======================================================================================================

到此,可以做一些检测性的东西:

有三个地址必须调试成功,

1 从库连接主库进行测试: mysql -h192.168.84.137 -ureplication -p123456 此处必须连接成功

2 show master status;必须有相关显示

3 show slave status;

必须为

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

如果Slave_IO_Running为No,可以考虑执行下面的语句,根据实际进行修改。

SLAVE STOP;

CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=实际Position;

SLAVE START;

此时Slave_IO_Running应该恢复为Yes,同步进行了!

如果Slave_IO_Running仍然为No,则可以考虑重新启动mysql

==================================================================================================

接下来,将主机数据 过来

这个流程比较复杂:)各个步骤注意所在的机器

slave:mysql> stop slave; #停掉slave的复制先。

master:mysql> flush tables with read lock; #锁掉master服务器的所有表,禁止写入。

master:mysql> show master status; #还是上面的语句,查看并记录下 File mysql-bin.000002, Position 1087

+------------------+----------+----------------------------------+------------------+

| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |

+------------------+----------+----------------------------------+------------------+

| mysql-bin.000001 | 1087 | study | test |

+------------------+----------+----------------------------------+------------------+

1 row in set (0.00 sec)

chluo@master:~$ mysqlmp -uroot -pxl study > study.sql #在命令行中导出DB的数据,这里是bash操作:)

master:mysql> unlock tables; #导出完成之后,解锁。 master可以继续跑起来了。

chluo@master:~$ scp study.sql [email protected]:/ #将导出的sql传送到从服务器

chluo@slave:/$ mysql -uroot -pxl study < study.sql #在slave的命令行中导入DB的数据,这里又是bash操作:)

slave:mysql> start slave;
数据的拷贝简单来说就是主从服务器上要同步的数据库结构必须是一样的

‘贰’ 如何使用SQL Server中的全文索引

一般情况,使用SQL Server中的全文索引,经过大体4个步骤:
1). 安装full text search全文索引服务;
2). 为数据表建立full text catalog全文索引目录;
3). 进行full text catalog的population操作(使全文索引与数据表内容同步);
4). 使用全文索引进行查询。
为了在数据表内容更新时全文索引数据库的内容也保持最新,可以通过第5步建立full text catalog 的Population自动操作Schele.
http://jingyan..com/article/a681b0de0cc4023b1943467a.html

‘叁’ 在数据库中使用全文索引的好外与坏处

好处上面已经说了。最大的优点其实就是检索速度快,对服务器的负荷降低
缺点,如果说有的话,就是需要进行填充
上一次填充后,你增加的内容,直到你再次增量填充,否则是检索不到的。
你可以根据自己更新内容的频率设置调度来自动执行。

‘肆’ 全文检索工具有哪些

1. Lucene

Lucene的开发语言是Java,也是Java家族中最为出名的一个开源搜索引擎,在Java世界中已经是标准的全文检索程序,它提供了完整的查询引擎和索引引擎,没有中文分词引擎,需要自己去实现,因此用Lucene去做一个搜素引擎需要自己去架构.另外它不支持实时搜索,但linkedin和twitter有分别对Lucene改进的实时搜素. 其中Lucene有一个C++移植版本叫CLucene,CLucene因为使用C++编写,所以理论上要比lucene快.
2. Sphinx

Sphinx是一个用C++语言写的开源搜索引擎,也是现在比较主流的搜索引擎之一,在建立索引的事件方面比Lucene快50%,但是索引文件比Lucene要大一倍,因此Sphinx在索引的建立方面是空间换取事件的策略,在检索速度上,和lucene相差不大,但检索精准度方面Lucene要优于Sphinx,另外在加入中文分词引擎难度方面,Lucene要优于Sphinx.其中Sphinx支持实时搜索,使用起来比较简单方便.
3. Xapian

Xapian是一个用C++编写的全文检索程序,它的api和检索原理和lucene在很多方面都很相似,算是填补了lucene在C++中的一个空缺.
4. Nutch

Nutch是一个用java实现的开源的web搜索引擎,包括爬虫crawler,索引引擎,查询引擎. 其中Nutch是基于Lucene的,Lucene为Nutch提供了文本索引和搜索的API.

对于应该使用Lucene还是使用Nutch,应该是如果你不需要抓取数据的话,应该使用Lucene,最常见的应用是:你有数据源,需要为这些数据提供一个搜索页面,在这种情况下,最好的方式是直接从数据库中取出数据,并用Lucene API建立索引.
5. DataparkSearch

DataparkSearch是一个用C语言实现的开源的搜索引擎. 其中网页排序是采用神经网络模型. 其中支持HTTP,HTTPS,FTP,NNTP等下载网页.包括索引引擎,检索引擎和中文分词引擎(这个也是唯一的一个开源的搜索引擎里有中文分词引擎).能个性化定制搜索结果,拥有完整的日志记录.
6. Zettair

Zettair是根据Justin Zobel的研究成果为基础的全文检索实验系统.它是用C语言实现的. 其中Justin Zobel在全文检索领域很有名气,是业界第一个系统提出倒排序索引差分压缩算法的人,倒排列表的压缩大大提高了检索和加载的性能,同时空间膨胀率也缩小到相当优秀的水平. 由于Zettair是源于学术界,代码是由RMIT University的搜索引擎组织写的,因此它的代码简洁精炼,算法高效,是学习倒排索引经典算法的非常好的实例. 其中支持linux,windows,mac os等系统.
7. Indri

Indri是一个用C语言和C++语言写的全文检索引擎系统,是由University of Massachusetts和Carnegie Mellon University合作推出的一个开源项目. 特点是跨平台,API接口支持Java,PHP,C++.
来自网络。

‘伍’ mysql全文索引

mysql全文索引,需要用myisam引擎,而且,全文索引对中文目前不支持,你可以到网上查下一些第三方插件,

‘陆’ 修改表的索引属性会影响数据库同步吗

普通索引:允许被索引的数据列包含重复的值。
唯一索引:可以保证数据记录的唯一性。
主键:是一种特殊的唯一索引,在一张表中只能定义一个主键索引,主键用于唯一标识一条记录,使用关键字PRIMARY KEY来创建。
联合索引:索引可以覆盖多个数据列,如像INDEX(columnA, columnB)索引。
全文索引:通过建立倒排索引,可以极大的提升检索效率,解决判断字段是否包含的问题,是目前搜索引擎使用的一种关键技术。可以通过ALTER TABLE table_name ADD FULLTEXT (column;创建全文索引
索引可以极大的提高数据的查询速度。
通过使用索引,可以在查询的过程中,使用优化隐藏器,提高系统的性能。
但是会降低插入、删除、更新表的速度,因为在执行这些写操作时,还要操作索引文件
索引需要占物理空间,除了数据表占数据空间之外,每一个索引还要占一定的物理空间,如果要建立聚簇索引,那么需要的空间就会更大,如果非聚集索引很多,一旦聚集索引改变, 那么所有非聚集索引都会跟着变。

‘柒’ 如何设置SQL Server数据库全文索引服务

在Microsoft SQL Server 7.0 中提供了全文索引服务(Full-Text Search Service),在查询性能上,对varchar,char,text类型的字段的匹配查询比用SQL语句使用Like操作符及匹配符的速度快10倍以上;在查询匹配上,提供了模糊匹配的高级搜索性能并能够返回查询的命中率。 Full Text Search Service包含在SQL Server 7.0中,在SQL Server 7 Destop版中不起作用。安装SQL Server时,无法缺省安装它,需要在Custom Installation 中选择。 服务安装完后在SQL Server EntERPrise Manager中的Support Services中显示为Full-text Search,在控制面版中的服务中显示为Microsoft Search.可以在SQL Server EnterPrise Manager中启动这个服务,就可以在表中加入全文索引了。要注意:只有有唯一索引栏的表才能建立全文索引,并且全文索引建立好之后就不能改变表了,如要改变表就必须得取出索引,然后再装入。
对表设置全文索引应用如下步骤:
1.选择要建立全文索引的表,然后选择: Full-Text Index Table ->Define Full-Text Indexing on a table
2.系统会启动SQL Server Full-Text Index 向导。
3.选择一个唯一索引。
4.选择一个要建立索引的字段。
5.选择catalog。
6.选择更新索引计划(由于全文索引和普通索引表不同,不能自动更新,所以得加入一个计划
)。
7.Finish。
8.选择在数据库Full-text catalogs中里的新建立的catalog,然后运行Start Population,Full Population 就可以了。

‘捌’ 数据库中全文索引怎么做啊

http://www.cnblogs.com/newwind521/archive/2008/10/04/1303795.html
全文索引原理和一个完整的SQL
SERVER数据库全文索引的示例(转)