Solr router 路由介绍_router:implicit-程序员宅基地

技术标签： Solr

1、compositeId路由

1.1、compositeId路由原理

1.2、compositeId路由查询

3.1、compositeId路由方式扩展

3.2、implicit路由方式扩张

solrcloud的官方文档有对路由的简短介绍，但是不够详细和深入。solrcloud有两种路由策略，一种是implicit（个人称之为手动路由），一种是compositeId（个人称之为自动路由）；在创建collection的时候，如果没有指定路由方式，指定了numShards个数，默认是自动路由，即compositeId路由；反之是implicit路由。在solrcloud的admin界面上，能通过collection的state.json看得到collection的路由策略

1、compositeId路由

使用compositeId路由，在创建collection的时候必须要指定numShards(分片数)。compositeId是一种不可扩展的路由策略。

1.1、compositeId路由原理

在创建collection的时候，compositeId路由确定的分片数(numShards)，solr给每一片分配一个32bit hash范围。例如numShards=4，32位无符号范围是0-ffffffff（4294967295），那么每片的范围是

Shard3 : 0-1073741823
Shard4 : 1073741824-2147483647

Shard1 : 2147483648-3221225471
Shard2 : 3221225472-4294967295

在路由document的时候，compositeId路由会先计算document id的（例如document的unikey）murmurhash3 hash值，然后根据document id的hash值确定文档路由到那个分片上。例如

document id 值为：abc

通过murmurhash3 hash在32bit上的值为：1073741836

通过比较，1073741836落在Shard4范围内，即该文档写入到Shard4中

compositeId路由不仅限于通过document id计算murmurhash3 hash来确定分片；还可以通过正则表达式来确定分片，例如：

shard_key!document_id

！号前面是分片的key，这个key不一定非得是shard的名字，保证solr按照这个key计算一致就行；！号后面是文档id

取shard_key 16 bit hash，取document_id 16bit hash拼接成一个32bit hash，用于确定文档的路由。

例如，你需要为不同的用户分shard，你可能会使用用户的名字或者ID作为一个前缀。比如你的用户是“juanpi”，如果你有一个文档的ID是“12345”，把前缀插入到文档的id字段中变成：“juanpi!12345”，在这里感叹号是一个分割符号，这里的“juanpi”定义了这个文档会指向一个特定的shard。

1.2、compositeId路由查询

然后在查询的时候，需要把这个前缀包含到_route_参数里面(比如：q=solr&_route_=juanpi!)使查询指向指定的shard。在某些情况下；这样操作能提升查询的性能，因为它省掉了需要在所有shard上发起http查询请求。

2、implicit路由

2.1、implicit路由原理

该路由方式需要外部指定document具体落在路由到哪个Shard，这与compositeId路由方式索引可大致均匀分布在每个shard上不同；implicit路由是在外部控制，如果控制不好有可能分布不均匀。

在创建collection的时候，不指定shadNume，或者明确指出使用implicit路由，也可以指定使用某一个field（router.field）路由，这个参数定义了通过使用文档中的一个字段来确定文档是属于哪个shard的。但是，如果在一个文档中指定的字段没有值得话，这个文档Solr会拒绝处理。同时也可以使用_route_参数来指定一个特定的shard。

也可以使用solrj指定

利用solrJ新建索引时，需要在代码中指定索引具体落在哪个shard上，添加代码：

doc.addField("_route_","shard_x");

同时在schema.xml添加字段

2.2、implicit路由查询

由于创建collection是例如如下方式

http://localhost:8983/solr/admin/collections?action=CREATE&name=testimplicit&router.name=implicit&shards=shard1,shard2,shard3

而添加document的时候，指定写入到shard1,shard2,shard3中的某一片，例如

doc.addField("_route_","shard3");

查询的时候到某个分片查询即可

3、扩展

3.1、compositeId路由方式扩展

compositeId路由，只能通过手动分裂某一片成两片，然后删除原来片的方式扩展

在分裂的过程中，原分片的数据会大致均匀分成2份，复制到新生成的两个分片中

例如，原分片1万数据，分裂成两片后，每片大致5千数据

然后再手动删除原来（1万数据）的那片

3.2、implicit路由方式扩张

由于implicit路由在写入的时候指定了分片，所以可以自由的增加分片

本文链接：https://blog.csdn.net/zhangshenghang/article/details/103682684

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

计算机丢失concrt140,小编教你解决concrt140 dll 【解决教程】的技巧_-程序员宅基地

文章浏览阅读4.5w次。近日有小伙伴发现电脑出现问题了，在突然遇到concrt140 dll时不知所措了，对于concrt140 dll带来的问题，其实很好解决concrt140 dll带来的问题，下面小编跟大家介绍concrt140 dll解决方法：丢失CONCRT140.dll，怎么办？答：分析及解决：网上下载这个DLL文件，将其放置到system32目录下面。重启系统，或者在CMD下面运行regsvr32*.dl..._concrt140.dll下载教程

微信小程序源码案例大全_微信小程序switch页面demo-程序员宅基地

文章浏览阅读4.3k次，点赞4次，收藏62次。微信小程序demo：足球，赛事分析小程序简易导航小程序demo：办公审批小程序Demo：电魔方小程序demo：借阅伴侣微信小程序demo：投票微信小程序demo：健康生活小程序demo：文章列表demo 微商城（含微信小程序）完整源码+配置指南微信小程序Demo：一个简单的工作系统微信小程序Demo：用于聚会的小程序微信小程序Demo：Growth 是一款..._微信小程序switch页面demo

SLAM学习笔记(Code2)----刚体运动、Eigen库_eigen.determinant-程序员宅基地

文章浏览阅读2.2k次。2.1除了#include<iostream>之外的头文件#include <Eigen/Core>//Core:核心#include <Eigen/Dense>//求矩阵的逆、特征值、行列式等#include <Eigen/Geometry>//Eigen的几何模块，可以利用矩阵完成如旋转、平移/***其他***/#include <ctime>//可用于计时，比较哪个程序更快#include <cmath>//包含a_eigen.determinant

图像梯度-sobel算子-程序员宅基地

文章浏览阅读1w次，点赞12次，收藏61次。（1）理论部分x 水平方向的梯度，其实也就是右边 - 左边，有的权重为1，有的为2 。若是计算出来的值很大说明是一个边界。y 竖直方向的梯度，其实也就是下面减上面，权重1，或2 。若是计算出来的值很大说明是一个边界。图像的梯度为：有时简化为：即：（2）程序部分函数：Sobelddepth 通常取 -1，但是会导致结果溢出，检测不出边缘，故使..._sobel算子

cuda10.1和cudnn7.6.5百度网盘下载链接（Linux版）_cudnn7.6网盘下载-程序员宅基地

文章浏览阅读3.6k次，点赞17次，收藏8次。cuda10.1和cudnn7.6.5百度网盘下载链接（Linux版）在官网下载不仅慢，，，主要是还总失败。。终于下载成功了，这里给出百度网盘下载链接，希望可以帮到别人百度网盘下载链接提取码: vyg5_cudnn7.6网盘下载

Python正则表达式大全-程序员宅基地

文章浏览阅读9.3w次，点赞69次，收藏427次。定义：正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。上面都是官方的说明，我自己的理解是（仅供参考）：通过事先规定好一些特殊字符的匹配规则，然后利用这些字符进行组合来匹配各种复杂的字符串场景。比如现在的爬虫和数据分析，字符串校验等等都需要用_python正则表达式

随便推点

NILM（非侵入式电力负荷监测）学习笔记 —— 准备工作（一）配置环境NILMTK Toolkit_nilmtk学习-程序员宅基地

文章浏览阅读1.9w次，点赞27次，收藏122次。安装Anaconda，Python，pycharm我另一篇文章里面有介绍https://blog.csdn.net/wwb1990/article/details/103883775安装NILMTK有了上面的环境，接下来进入正题。NILMTK官网：http://nilmtk.github.io/因为官方安装流程是基于linux的（官方安装流程），我这里提供windows..._nilmtk学习

k8s-pod 控制器-程序员宅基地

文章浏览阅读826次，点赞20次，收藏28次。如果实际 Pod 数量比指定的多那就结束掉多余的，如果实际数量比指定的少就新启动一些Pod，当 Pod 失败、被删除或者挂掉后，RC 都会去自动创建新的 Pod 来保证副本数量，所以即使只有一个 Pod，我们也应该使用 RC 来管理我们的 Pod。label 与 selector 配合，可以实现对象的“关联”，“Pod 控制器” 与 Pod 是相关联的 —— “Pod 控制器”依赖于 Pod，可以给 Pod 设置 label，然后给“控制器”设置对应的 selector，这就实现了对象的关联。