佳木斯湛栽影视文化发展公司

主頁 > 知識庫 > 深入淺析RabbitMQ鏡像集群原理

深入淺析RabbitMQ鏡像集群原理

熱門標簽:地方門戶網站 百度競價排名 Linux服務器 呼叫中心市場需求 鐵路電話系統(tǒng) 網站排名優(yōu)化 AI電銷 服務外包

集群架構

RabbitMQ 集群是一個或多個節(jié)點的邏輯分組,集群中的每個節(jié)點都是對等的

每個節(jié)點共享所有的用戶,虛擬主機,隊列,交換器,綁定關系,運行時參數(shù)和其他分布式狀態(tài)等信息。

一個高可用,負載均衡的 RabbitMQ 集群架構應類似下圖:

這里對上面的集群架構做一下解釋說明:

1)首先一個基本的 RabbitMQ 集群不是高可用的

雖然集群共享隊列,但在默認情況下,消息只會被路由到某一個節(jié)點的符合條件的隊列上,并不會同步到其他節(jié)點的相同隊列上。

假設消息路由到 node1 的 my-queue 隊列上,但是 node1 突然宕機了,那么消息就會丟失

想要解決這個問題,需要開啟隊列鏡像,將集群中的隊列彼此之間進行鏡像,此時消息就會被拷貝到處于同一個鏡像分組中的所有隊列上。

2)其次 RabbitMQ 集群本身并沒有提供負載均衡的功能

也就是說對于一個三節(jié)點的集群,每個節(jié)點的負載可能都是不相同的,想要解決這個問題可以通過硬件負載均衡或者軟件負載均衡的方式

這里我們選擇使用 HAProxy 來進行負載均衡,當然也可以使用其他負載均衡中間件,如LVS等。

HAProxy 同時支持四層和七層負載均衡,并基于單一進程的事件驅動模型,因此它可以支持非常高的井發(fā)連接數(shù)。

3)接著假設我們只采用一臺 HAProxy

那么它就存在明顯的單點故障的問題

所以至少需要兩臺 HAProxy ,同時這兩臺 HAProxy 之間需要能夠自動進行故障轉移,通常的解決方案就是 KeepAlived 。

KeepAlived 采用 VRRP (Virtual Router Redundancy Protocol,虛擬路由冗余協(xié)議) 來解決單點失效的問題

它通常由一組一備兩個節(jié)點組成,同一時間內只有主節(jié)點會提供對外服務,并同時提供一個虛擬的 IP 地址 (Virtual Internet Protocol Address ,簡稱 VIP) 。

如果主節(jié)點故障,那么備份節(jié)點會自動接管 VIP 并成為新的主節(jié)點 ,直到原有的主節(jié)點恢復。

4)最后,任何想要連接到 RabbitMQ 集群的客戶端

只需要連接到虛擬 IP,而不必關心集群是何種架構。

搭建集群準備:

1、準備3個虛擬機

vi /etc/hostname   #修改虛擬機名稱  node1  node2  node3
虛擬機(機器)名稱 node1 node2 node3
ip 192.168.0.101 192.168.0.102 192.168.0.103
安裝 Erlang+RabbitMQ Erlang+RabbitMQ Erlang+RabbitMQ

2、設置node1、node2、node3的hosts

vi /etc/hosts  #修改虛擬機hosts  node1  node2  node3

文件內容:

192.168.0.101 node1
192.168.0.102 node2
192.168.0.103 node3

安裝Erlang:

由于RabbitMQ是基于Erlang(面向高并發(fā)的語言)語言開發(fā),所以在安裝RabbitMQ之前,需要先安裝Erlang。

1.選擇Erlang和RabbitMQ版本,這里選擇RabbitMQ3.9.x、Erlang24.0,查看對應版本   

2.Erlang官網下載、Github下載

3.更新基本系統(tǒng),安裝任何軟件包之前,建議使用以下命令更新軟件包和存儲庫

yum -y update

4、安裝 tar

yum install -y tar

5、首先要先安裝GCC、 GCC-C++、 Openssl等依賴模塊:

yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel

6、再安裝ncurses模塊

yum -y install ncurses-devel
yum install ncurses-devel

7、將安裝包拷貝到linux下:

8、解壓ErLang安裝包

[root@node1 /]# cd /usr/local/  #先切換到安裝包目錄
[root@nodel local]# ls  #查看文件
bin  etc  games  include  lib  lib64  libexec  otp_src_24.0  otp_src_24.0.tar.gz  sbin  share  src
[root@nodel local]# tar -xvf otp_src_24.0.tar.gz  #解壓文件

9、創(chuàng)建安裝的目錄/usr/local/erlang

[root@node1 local]# mkdir erlang
[root@node1 local]# ls
bin  erlang  etc  games  include  lib  lib64  libexec  otp_src_24.0  otp_src_24.0.tar.gz  sbin  share  src
[root@node1 local]# 

10、切換到解壓后的目錄

[root@node1 local]# cd otp_src_24.0
[root@node1 otp_src_24.0]# ls
AUTHORS  bootstrap  configure.src    erl-build-tool-vars.sh  HOWTO  LICENSE.txt  Makefile.in  otp_patch_apply  otp_versions.table  prebuilt.files  system       xcomp
bin      configure  CONTRIBUTING.md  erts                    lib    make         otp_build    OTP_VERSION      plt                 README.md       TAR.include
[root@node1 otp_src_24.0]# 

11、配置安裝路徑

./configure --prefix=/usr/local/erlang --with-ssl --enable-threads --enable-smp-support --enable-kernel-poll --enable-hipe --without-javac

erlang的編譯需要用到java環(huán)境,如果不裝,會報錯如下,但不影響后續(xù)操作

12、進行編譯安裝

make  make install

13、查看安裝

[root@node1 local]# cd erlang/
[root@node1 erlang]# ll
total 4
drwxr-xr-x. 2 root root 4096 Aug  7 23:30 bin
drwxr-xr-x. 3 root root   19 Aug  7 23:30 lib
[root@node1 erlang]# 

14、配置環(huán)境變量

vi /etc/profile

加入一下配置:

#########     erlang       #############
PATH=$PATH:/usr/local/erlang/bin
########################################

15、使配置生效:

source /etc/profile

16、直接輸入 erl 、得到如下圖得安裝成功,輸入 halt(). 退出

安裝RabbitMQ:

1、Github下載

2、將安裝包拷貝到linux下:

3、解壓到 /usr/local/ 目錄下

[root@node1 local]# tar -xvf rabbitmq-server-generic-unix-3.9.3.tar.xz 
******
[root@node1 local]# ls
bin     etc    include  lib64    otp_src_24.0         rabbitmq_server-3.9.3                      sbin   src
erlang  games  lib      libexec  otp_src_24.0.tar.gz  rabbitmq-server-generic-unix-3.9.3.tar.xz  share

4、添加環(huán)境變量

vi /etc/profile

加入一下配置:

#########     RabbitMQ   #############
PATH=$PATH:/usr/local/rabbitmq_server-3.9.3/sbin
########################################

5、使配置生效:

source /etc/profile

 

6、切換到解壓后的目錄

[root@node1 local]# cd rabbitmq_server-3.9.3/
[root@node1 rabbitmq_server-3.9.3]# ls
escript          LICENSE-APACHE2-excanvas        LICENSE-erlcloud    LICENSE-MIT-Erlware-Commons  LICENSE-MIT-Sammy     LICENSE-rabbitmq_aws
etc              LICENSE-APACHE2-ExplorerCanvas  LICENSE-httpc_aws   LICENSE-MIT-Flot             LICENSE-MIT-Sammy060  plugins
INSTALL          LICENSE-APL2-Stomp-Websocket    LICENSE-ISC-cowboy  LICENSE-MIT-jQuery           LICENSE-MPL           sbin
LICENSE          LICENSE-BSD-base64js            LICENSE-MIT-EJS     LICENSE-MIT-jQuery164        LICENSE-MPL2          share
LICENSE-APACHE2  LICENSE-BSD-recon               LICENSE-MIT-EJS10   LICENSE-MIT-Mochi            LICENSE-MPL-RabbitMQ
[root@node1 rabbitmq_server-3.9.3]# cd sbin/
[root@node1 sbin]# ls
rabbitmqctl  rabbitmq-defaults  rabbitmq-diagnostics  rabbitmq-env  rabbitmq-plugins  rabbitmq-queues  rabbitmq-server  rabbitmq-streams  rabbitmq-upgrade
[root@node1 sbin]# 

7、啟動web管理插件

[root@node1 sbin]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@localhost:
rabbitmq_management
The following plugins have been configured:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch
Applying plugin configuration to rabbit@localhost...
The following plugins have been enabled:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch
started 3 plugins.

8、后臺啟動rabbitmq服務

rabbitmq-server -detached

9、啟用了rabbitmq的管理插件,會有一個web管理界面,默認監(jiān)聽端口15672,將此端口在防火墻上打開,則可以訪問web界面:

使用默認的用戶 guest / guest (此也為管理員用戶)登陸,會發(fā)現(xiàn)無法登陸,

報錯:User can only log in via localhost。

那是因為默認是限制了guest用戶只能在本機登陸,也就是只能登陸localhost:15672。

可以通過修改配置文件rabbitmq.conf,取消這個限制: loopback_users這個項就是控制訪問的,

如果只是取消guest用戶的話,只需要loopback_users.guest = false 即可?;蛘咛砑舆h程用戶

10、添加遠程用戶

# 添加用戶
rabbitmqctl add_user 用戶名 密碼
# 設置用戶角色,分配操作權限
rabbitmqctl set_user_tags 用戶名 角色
# 為用戶添加資源權限(授予訪問虛擬機根節(jié)點的所有權限)
rabbitmqctl set_permissions -p / 用戶名 ".*" ".*" ".*"

角色有四種:

  • administrator:可以登錄控制臺、查看所有信息、并對rabbitmq進行管理
  • monToring:監(jiān)控者;登錄控制臺,查看所有信息
  • policymaker:策略制定者;登錄控制臺指定策略
  • managment:普通管理員;登錄控制

這里創(chuàng)建用戶rabbitadmin,密碼rabbitadmin,設置administrator角色,賦予所有權限

[root@node1 sbin]# rabbitmqctl add_user rabbitadmin rabbitadmin
Adding user "rabbitadmin" ...
Done. Don't forget to grant the user permissions to some virtual hosts! See 'rabbitmqctl help set_permissions' to learn more.
[root@node1 sbin]# rabbitmqctl set_user_tags rabbitadmin administrator
Setting tags for user "rabbitadmin" to [administrator] ...
[root@node1 sbin]# rabbitmqctl set_permissions -p / rabbitadmin ".*" ".*" ".*"
Setting permissions for user "rabbitadmin" in vhost "/" ...
[root@node1 sbin]# 

11、登錄,其他兩臺虛擬機也是如上配置

同步cookie:

1、如何查看cookie

[root@node1 rabbitmq]# pwd  
/usr/local/rabbitmq_server-3.9.3/var/log/rabbitmq
[root@node1 rabbitmq]# more rabbit\@node1.log 
******
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>  node           : rabbit@node1
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>  home dir       : /root
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>  config file(s) : (none)
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>  cookie hash    : baCpCWaCXrmkyZweJiNbVw==
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>  log(s)         : /usr/local/rabbitmq_server-3.9.3/var/log/rabbitmq/rabbit@node1.log
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>                 : /usr/local/rabbitmq_server-3.9.3/var/log/rabbitmq/rabbit@node1_upgrade.log
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>                 : stdout>
2021-08-14 21:11:06.883853-04:00 [info] 0.222.0>  database dir   : /usr/local/rabbitmq_server-3.9.3/var/lib/rabbitmq/mnesia/rabbit@node1

我的${home}目錄是/root,切換到root目錄下,該文件是一個隱藏文件,需要使用 ls -al 命令查看

[root@node1 ~]# pwd
/root
[root@node1 ~]# ls -la
total 52
dr-xr-x---.  2 root root  4096 Aug 14 21:10 .
dr-xr-xr-x. 18 root root  4096 Nov 12  2020 ..
-rw-------.  1 root root   993 Nov  7  2020 anaconda-ks.cfg
-rw-------.  1 root root 14288 Aug 14 23:07 .bash_history
-rw-r--r--.  1 root root    18 Dec 28  2013 .bash_logout
-rw-r--r--.  1 root root   176 Dec 28  2013 .bash_profile
-rw-r--r--.  1 root root   176 Dec 28  2013 .bashrc
-rw-r--r--.  1 root root   100 Dec 28  2013 .cshrc
-r--------.  1 root root    20 Aug 14 00:00 .erlang.cookie
-rw-r--r--.  1 root root   129 Dec 28  2013 .tcshrc
[root@node1 ~]# 

2、同步(拷貝.cookie時,各節(jié)點都必須停止MQ服務,在node1上執(zhí)行遠程操作命令)

scp /root/.erlang.cookie root@node2:/root/
scp /root/.erlang.cookie root@node3:/root/

集群搭建:

1、啟動RabbitMQ服務,順帶啟動Erlang虛擬機和RabbitMQ應用服務,在node1、node2、node3執(zhí)行命令

rabbitmq-server -detached

2、RabbitMQ 集群的搭建需要選擇其中任意一個節(jié)點為基準,將其它節(jié)點逐步加入。這里我們以 node1 為基準節(jié)點,將 node2 和 node3 加入集群。在 node2 和node3 上執(zhí)行以下命令:

# 1.停止服務
rabbitmqctl stop_app
# rabbitmqctl stop會將Erlang虛擬機關閉,rabbitmqctl stop_app只關閉RabbitMQ服務

# 2.重置狀態(tài)
rabbitmqctl reset

# 3.節(jié)點加入, 在一個node加入cluster之前,必須先停止該node的rabbitmq應用,即先執(zhí)行stop_app
# node2加入node1, node3加入node2
rabbitmqctl join_cluster rabbit@node1

# 4.啟動服務
rabbitmqctl start_app

join_cluster 命令有一個可選的參數(shù) --ram ,該參數(shù)代表新加入的節(jié)點是內存節(jié)點,默認是磁盤節(jié)點。

如果是內存節(jié)點,則所有的隊列、交換器、綁定關系、用戶、訪問權限和 vhost 的元數(shù)據(jù)都將存儲在內存中,

如果是磁盤節(jié)點,則存儲在磁盤中。

內存節(jié)點可以有更高的性能,但其重啟后所有配置信息都會丟失,

因此RabbitMQ 要求在集群中至少有一個磁盤節(jié)點,其他節(jié)點可以是內存節(jié)點。

當內存節(jié)點離開集群時,它可以將變更通知到至少一個磁盤節(jié)點;

然后在其重啟時,再連接到磁盤節(jié)點上獲取元數(shù)據(jù)信息。

除非是將 RabbitMQ 用于 RPC 這種需要超低延遲的場景,

否則在大多數(shù)情況下,RabbitMQ 的性能都是夠用的,可以采用默認的磁盤節(jié)點的形式。

另外,如果節(jié)點以磁盤節(jié)點的形式加入,則需要先使用 reset 命令進行重置,然后才能加入現(xiàn)有群集,重置節(jié)點會刪除該節(jié)點上存在的所有的歷史資源和數(shù)據(jù)。

采用內存節(jié)點的形式加入時可以略過 reset 這一步,因為內存上的數(shù)據(jù)本身就不是持久化的

3、查看集群狀態(tài)

此時可以在任意節(jié)點上使用 rabbitmqctl cluster_status 命令查看集群狀態(tài),輸出如下:

[root@node1 ~]# rabbitmqctl cluster_status
Cluster status of node rabbit@node1 ...
Basics
Cluster name: rabbit@node1
Disk Nodes
rabbit@node1
rabbit@node2
rabbit@node3
Running Nodes
rabbit@node1
rabbit@node2
rabbit@node3
Versions
rabbit@node1: RabbitMQ 3.9.3 on Erlang 24.0
rabbit@node2: RabbitMQ 3.9.3 on Erlang 24.0
rabbit@node3: RabbitMQ 3.9.3 on Erlang 24.0
Maintenance status
Node: rabbit@node1, status: not under maintenance
Node: rabbit@node2, status: not under maintenance
Node: rabbit@node3, status: not under maintenance
Alarms
Free disk space alarm on node rabbit@node3
Network Partitions
(none)
Listeners
Node: rabbit@node1, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@node1, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@node1, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@node2, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@node2, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@node2, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Node: rabbit@node3, interface: [::], port: 15672, protocol: http, purpose: HTTP API
Node: rabbit@node3, interface: [::], port: 25672, protocol: clustering, purpose: inter-node and CLI tool communication
Node: rabbit@node3, interface: [::], port: 5672, protocol: amqp, purpose: AMQP 0-9-1 and AMQP 1.0
Feature flags
Flag: drop_unroutable_metric, state: enabled
Flag: empty_basic_get_metric, state: enabled
Flag: implicit_default_bindings, state: enabled
Flag: maintenance_mode_status, state: enabled
Flag: quorum_queue, state: enabled
Flag: stream_queue, state: enabled
Flag: user_limits, state: enabled
Flag: virtual_host_metadata, state: enabled
[root@node1 ~]# 

4、UI 界面查看

鏡像隊列:

1、鏡像的配置是通過 policy 策略的方式,以命令的方式設置 或 UI界面設置

2、參數(shù)說明:

  • Name:policy的名稱
  • Pattern: queue的匹配模式(正則表達式)
  • priority:可選參數(shù),policy的優(yōu)先級
  • Definition:鏡像定義,包括三個部分ha-mode、ha-params、ha-sync-mode
  • ha-mode:指明鏡像隊列的模式,有效值為 all/exactly/nodes
  • all:表示在集群中所有的節(jié)點上進行鏡像
  • exactly:表示在指定個數(shù)的節(jié)點上進行鏡像,節(jié)點的個數(shù)由ha-params指定
  • nodes:表示在指定的節(jié)點上進行鏡像,節(jié)點名稱通過ha-params指定
  • ha-params:ha-mode模式需要用到的參數(shù)
  • ha-sync-mode:進行隊列中消息的同步方式,有效值為automatic(自動)和manual(手動)

3、對隊列名稱以“queue_”開頭的所有隊列進行鏡像,并在集群的兩個節(jié)點上完成進行,policy的設置命令為:

[root@node1 ~]# rabbitmqctl set_policy ha-queue-two '^queue_' '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
Setting policy "ha-queue-two" for pattern "^queue_" to "{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}" with priority "0" for vhost "/" ...
[root@node1 ~]# 

4、在任意節(jié)點(我在node1節(jié)點)創(chuàng)建queue_testQueue隊列,并查看鏡像狀態(tài)

上圖Node中的+1表示備份,下圖中的Mirrors就是備份的節(jié)點,若node1宕機了node3就會代替node1繼續(xù)提供服務

測試:首先關閉node1節(jié)點

然后查看node3節(jié)點上的鏡像狀態(tài),發(fā)現(xiàn)在node2節(jié)點也進行了備份,以此說明:就算整個集群只剩下一臺機器了,依然能消費隊列里面的消息

5、復制系數(shù)

若ha-mode 的值為 all ,代表消息會被同步到所有節(jié)點的相同隊列中,如果你的集群有很多節(jié)點,那么此時復制的性能開銷就比較大,此時需要選擇合適的復制系數(shù)。

通??梢宰裱^半寫原則,即對于一個節(jié)點數(shù)為 n 的集群,只需要同步到 n/2+1 個節(jié)點上即可。

6、集群的關閉與重啟

沒有一個直接的命令可以關閉整個集群,需要逐一進行關閉。但是需要保證在重啟時,最后關閉的節(jié)點最先被啟動。如果第一個啟動的不是最后關閉的節(jié)點,那么這個節(jié)點會等待最后關閉的那個節(jié)點啟動,默認進行 10 次連接嘗試,超時時間為 30 秒,如果依然沒有等到,則該節(jié)點啟動失敗。

這帶來的一個問題是,假設在一個三節(jié)點的集群當中,關閉的順序為 node1,node2,node3,如果 node1 因為故障暫時沒法恢復,此時 node2 和 node3 就無法啟動。想要解決這個問題,可以先將 node1 節(jié)點進行剔除,命令如下:

rabbitmqctl forget_cluster_node rabbit@node1 --offline

此時需要加上 -offline 參數(shù),它允許節(jié)點在自身沒有啟動的情況下將其他節(jié)點剔除。

7、解除集群

重置當前節(jié)點:

# 1.停止服務
rabbitmqctl stop_app
# 2.重置集群狀態(tài)
rabbitmqctl reset
# 3.重啟服務
rabbitmqctl start_app

重新加入集群:

# 1.停止服務
rabbitmqctl stop_app
# 2.重置狀態(tài)
rabbitmqctl reset
# 3.節(jié)點加入
rabbitmqctl join_cluster rabbit@node1
# 4.重啟服務
rabbitmqctl start_app

完成后重新檢查 RabbitMQ 集群狀態(tài):

rabbitmqctl cluster_status

除了在當前節(jié)點重置集群外,還可在集群其他正常節(jié)點將節(jié)點踢出集群

rabbitmqctl forget_cluster_node rabbit@node3

8、變更節(jié)點類型

我們可以將節(jié)點的類型從RAM更改為Disk,反之亦然。假設我們想要反轉rabbit@node2和rabbit@node1的類型,將前者從RAM節(jié)點轉換為磁盤節(jié)點,而后者從磁盤節(jié)點轉換為RAM節(jié)點。為此,我們可以使用change_cluster_node_type命令。必須首先停止節(jié)點。

# 1.停止服務
rabbitmqctl stop_app
# 2.變更類型 ram disc
rabbitmqctl change_cluster_node_type disc
# 3.重啟服務
rabbitmqctl start_app

9、清除 RabbitMQ 節(jié)點配置

# 如果遇到不能正常退出直接kill進程
systemctl stop rabbitmq-server
# 查看進程
ps aux|grep rabbitmq
# 清除節(jié)點rabbitmq配置
rm -rf /var/lib/rabbitmq/mnesia

到此這篇關于深入淺析RabbitMQ鏡像集群原理的文章就介紹到這了,更多相關RabbitMQ鏡像集群內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • docker部署rabbitmq集群的實現(xiàn)方法
  • 一篇文章帶你從入門到精通:RabbitMQ
  • Docker集群的創(chuàng)建與管理實例詳解

標簽:仙桃 湘潭 衡水 湖南 銅川 蘭州 崇左 黃山

巨人網絡通訊聲明:本文標題《深入淺析RabbitMQ鏡像集群原理》,本文關鍵詞  ;如發(fā)現(xiàn)本文內容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內容系統(tǒng)采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 收縮
    • 微信客服
    • 微信二維碼
    • 電話咨詢

    • 400-1100-266
    昆明市| 新巴尔虎右旗| 天峨县| 平谷区| 安化县| 江北区| 巴楚县| 漳州市| 深水埗区| 肥西县| 友谊县| 南平市| 定安县| 聂荣县| 乌拉特前旗| 全州县| 福鼎市| 衡南县| 临江市| 南岸区| 阿鲁科尔沁旗| 吴江市| 加查县| 沙雅县| 城市| 柘城县| 浦县| 本溪市| 巴林右旗| 上饶县| 溧阳市| 韶山市| 鹿邑县| 周宁县| 邛崃市| 育儿| 开原市| 武隆县| 北票市| 嵩明县| 凉城县|