Splunk分布式部署简介_splunk部署-程序员宅基地

技术标签: 1024程序员节  

  • Splunk Enterprise分布式部署概述

第一节 使用 Splunk Enterprise 组件扩展部署

在单实例部署中,Splunk Enterprise 的一个实例处理数据的所有方面,从输入到索引再到搜索。单实例部署可用于测试和评估目的,并能满足部门规模环境的需求。

但是,为了支持更大的环境,其中许多计算机都会生产数据,并且许多用户需要搜索数据,可以通过在多台计算机上分布式部署 Splunk Enterprise 实例。进行分布式部署时,要配置各个实例以便每个实例执行专门的任务。例如,一个或多个实例可能对数据进行索引,而另一个实例则管理跨数据的搜索。

一、Splunk Enterprise 如何扩展

  1. Splunk Enterprise 在处理数据时执行三个关键功能:
  1. 它从文件、网络或其他源引入数据。
  2. 解析数据并为其编制索引。
  3. 在已索引数据运行搜索。

要扩展的系统,可以将此功能拆分到 Splunk Enterprise 的多个专用实例中。这些实例的数量可以从几个到数千个不等,具体取决于正在处理的数据量以及环境中的其他变量。

  1. 在典型的分布式部署中,每个实例都占用与主要处理功能对应的三个层之一:
  1. 数据输入
  2. 索引
  3. 搜索管理

例如,可以创建一个部署,其中许多实例只负责摄取数据,其他几个实例负责索引数据,还有一个实例负责管理搜索。

也可以合并这些层级或将处理配置为其他方式,但大多数分布式部署都是采用这三个层级

二、Splunk 企业组件

Splunk Enterprise 的专用实例统称为组件。除了一个例外,组件是完整的 Splunk Enterprise 实例,这些实例已配置为专注于一个或多个特定功能,例如索引或搜索。例外是通用转发器,它是Splunk Enterprise的轻量级版本,具有单独的可执行文件。

Splunk Enterprise 组件有几种类型。它们分为两大类:

  1. 处理组件。这些组件处理数据。
  2. 管理组件。这些组件为处理组件的各种活动提供支持。

三、处理组件的类型

处理组件主要有三种类型:

  1. 转发器(Forwarders)
  2. 索引编制器(Indexers)
  3. 搜索头(Search heads)

转发器摄取数据。有多种类型的转发器,但对于大多数用途而言,通用转发器都是合适的选择。通用转发器采用SplunkEnterprise的轻量版本来输入数据,对数据执行最少的处理,然后向索引编制器转发数据。因为其资源需求最少,所以可以将其与生成数据的机器(例如Web服务器)放在一起。

索引编制器和搜索头都是由SplunkEnterprise实例配置而成,分别执行索引或搜索管理的专门功能。每个索引编制器和搜索头都是单独的实例,通常驻留在自己的机器上。

四、处理组件的作用

这张图表提供了一个简单的例子,说明处理组件可以如何驻留在不同的处理层。这个图表说明了一个可以满足小企业需求的部署类型。

从上图开始,我们在一个小型企业部署的上下文中说明了三个处理层:

  1. 数据输入。数据通过转发器进入系统,转发器接收外部数据,对数据进行少量预处理,然后将其转发给索引编制器。转发器通常驻留在生成数据的机器上。根据数据源,可能有数百个转发器摄取数据。
  2. 索引。两三个索引编制器接收、编制和存储来自转发器的传入数据。索引编制器还针对搜索头的请求对数据进行搜索。索引编制器驻留在专用机器上。
  3. 搜索管理。一个搜索头执行搜索管理功能。它处理来自用户的搜索请求,并将这些请求分发到一组索引编制器,索引编制器在本地数据上执行实际的搜索。搜索头随后将来自所有索引编制器的结果进行整合并将其提供给用户。搜索头为用户提供各种工具(例如仪表板)以增强搜索体验。搜索头驻留在专用机器上。

为了扩展系统,需要向每个层级添加更多组件。为了便于管理或满足高可用性需求,可以将组件分为索引编制器集群或搜索头集群。

第二节 使用集群实现高可用性和易管理性

可以将某些SplunkEnterprise组件分组到集群中,使它们密切协调其活动。这具有两个关键目的:

  1. 高可用性
  2. 便于管理

  • 索引器集群

索引器集群是一组配置为复制彼此数据的SplunkEnterprise索引器,这样系统就会保留所有数据的多个副本。这个过程称为索引复制。通过维护SplunkEnterprise数据的多个相同的副本,集群可以防止数据丢失,同时提高搜索数据可用性。

SplunkEnterprise集群具有从一个索引器自动故障转移到下一个索引器的功能。这意味着,如果一个或多个索引器出现故障,传入的数据将继续被编制索引,并且编制索引的数据将继续可供搜索。

除了增强高可用性之外,集群还有其他功能,有助于简化分布式部署的管理。例如:

  1. 集群包括在集群中的所有索引器之间轻松协调配置更新的功能。
  2. 集群包括内置的分布式搜索功能。
  3. 集群具有索引器发现功能,这使得转发器能够自动在集群中的所有索引器之间进行负载平衡。

即使环境中不考虑高可用性,仍可以通过部署不带索引复制的索引器群集来利用简化的管理功能。

  • 搜索头部群集

搜索头集群是一组搜索头,充当集中搜索资源。搜索头共享知识对象、应用程序和所有其他配置。可以从集群中的任何搜索头运行相同的搜索、查看相同的仪表板以及访问相同的搜索结果。

搜索头群集具有以下几个重要优势:

水平扩展。随着用户数和搜索负载的增加,可以向集群添加新的搜索头。通过将搜索头集群与放置在用户和集群之间的第三方负载均衡器相结合使用,拓扑结构对用户是透明的。

高可用性。如果一个搜索头出现故障,可以从集群中的任何其他搜索头运行同一组搜索并访问同一组搜索结果。

无单点故障。搜索头集群使用动态队长来管理集群。如果队长出现故障,另一个搜索头会自动接管集群的管理。

第三节 数据如何在 Splunk 部署中移动:数据管道

Splunk部署中的处理层级对应于数据管道,这是数据在Splunk软件中穿行的路线。

  • 处理层和数据管道
  • Splunk 部署通常有三个处理层:
  1. 数据输入
  2. 索引
  3. 搜索管理

每个Splunk处理组件都驻留在其中一个层级上。这些层级共同支持数据管道中发生的进程。

随着数据沿着数据管道移动,Splunk组件将数据从外部源(例如日志文件和网络源)中的原始形式转化为可搜索的事件,这些事件封装了有价值的信息

  • 数据管道具有以下段:
  1. 输入

在输入段中,Splunk 软件消耗数据。它从其源获取原始数据流,将其分解为 64K 块,并使用一些元数据键注释每个块。这些键适用于整个输入源。它们包括数据的主机、源和源类型。 键还可以包括内部使用的值(如数据流的字符编码)和控制以后数据处理的值(如应将事件存储到的索引)。

在此阶段,Splunk 软件不会查看数据流的内容,因此密钥适用于整个源,而不是单个事件。事实上,在这一点上,Splunk软件根本没有单个事件的概念,只有具有某些全局属性的数据流的概念。

  1. 解析

在解析段期间,Splunk 软件会检查、分析和转换数据。这也称为事件处理。正是在这个阶段,Splunk软件将数据流分解为单个事件。解析阶段有许多子阶段:

  1. 将数据流分解为单独的行。
  2. 识别、解析和设置时间戳。
  3. 使用从源范围键复制的元数据对单个事件进行批注。
  4. 根据正则表达式转换规则转换事件数据和元数据。
  1. 索引

在索引期间,Splunk 软件获取解析的事件并将其写入磁盘上的索引。它写入压缩的原始数据和相应的索引文件。

为简洁起见,解析和索引通常统称为索引过程。在高层次上,这是有道理的。但是,当需要更仔细地检查数据的实际处理或决定如何分配组件时,分别考虑这两个段可能很重要。

  1. 搜索

搜索段管理用户如何访问、查看和使用索引数据的所有方面。作为搜索功能的一部分,Splunk 软件存储用户创建的知识对象,例如报告、事件类型、仪表板、警报和字段提取。搜索功能还管理搜索过程本身。

  • 三个典型处理层与四个数据管道段之间的对应关系如下:
  1. 数据输入层处理输入段。
  2. 索引层处理解析段和索引段。
  3. 搜索管理层处理搜索段。

  • 下图概述了数据管道:

注意:该图表示索引体系结构的简化视图。它提供了架构的功能视图,并没有完全描述 Splunk 软件内部。特别是,解析管道实际上由三条流水线组成:解析、合并和类型化,它们共同处理解析函数。在故障排除期间,这种区别可能很重要,但通常不会影响配置或部署 Splunk Enterprise 组件的方式。

Splunk 组件参与数据管道的一个或多个段。

第四节 组件和数据管道

每个数据管道的段都对应一个或多个Splunk Enterprise处理组件。例如,数据输入是管道的一个段,可以使用索引器或转发器输入数据。

数据管道的多数段都可以由多个组件类型来处理。使用的特定段取决于部署结构。

例如,尽管可以将数据直接输入到索引器中,但通常只在由单个实例组成的小型部署中这样做。在规模较大的部署(通常也是单个实例的部署)中,转而通过转发器输入数据。将输入任务委派给转发器可以为部署提供更大的灵活性。

  • 组件如何支持数据通道

下面的表格将数据管道的段与可以处理该段的组件关联起来:

在特定情况下,其他组件也可能发生解析操作:

  1. 各种组件(例如搜索头和索引器集群管理器节点)都会处理它们自己的内部数据。在这样做时,它们会在本地执行解析。
  2. 当通用转发器摄取结构化数据时,它会在本地执行解析。索引器不会进一步解析结构化数据。许多结构化数据文件(如逗号分隔值(CSV)文件和Internet Information Server(IIS)Web服务器日志)在文件标头中包含可以在索引期间提取为字段的信息。可以配置Splunk Enterprise和Splunk通用转发器自动将这些值提取为可以搜索的字段。例如,CSV文件以一个包含后续行中值的列标题的表头行为开始
  • 组件之间的一些典型交互
  • 将数据转发到索引器

在大多数部署中,转发器只处理数据输入,收集数据并将其发送到Splunk Enterprise索引器。然后,索引器执行解析和索引操作。然而,在某些部署中,转发器在将数据发送到索引器之前也对其进行解析,然后索引器只进行索引。

转发器有两种类型:

  1. 通用转发器。这些在主机上维护一个小型足迹。它们对传入的 数据流执行最少的处理,然后将其转发到索引器。然后,索引器解析和索引数据。
  2. 重量级转发器。这些保留了完整Splunk Enterprise实例的大部分功能。它们可以在将数据转发到接收索引器之前解析数据。当重量级转发器解析数据时,索引器只处理索引段。

这两种类型的转发器在将数据发送到索引器之前都会用元数据(例如主机、来源和源类型)标记数据。

转发器允许在处理大量或不同类型的数据时高效地使用资源。它们还通过提供负载平衡、数据过滤和路由等功能,实现了一些有趣的部署拓扑。

  • 跨多个索引器搜索

在分布式搜索中,将索引/解析和搜索部分分离开来。搜索头向索引器发送搜索请求,并将结果合并后返回给用户。这种拓扑结构对于水平扩展特别有用。为了将部署扩展到部门级别之外,可能会采用分布式搜索。

第五节 有助于管理部署的组件

管理组件支持处理组件的各项活动。与处理组件一样,管理组件是Splunk Enterprise实例的特殊配置版本。

  • 管理组件类型

部署通常包括以下一个或多个管理组件:

  1. 许可证管理器处理Splunk Enterprise许可。
  2. 监控控制台对整个部署执行集中监控。
  3. 部署服务器更新配置并将应用程序分发给主要的前置处理组件。
  4. 索引器集群管理器节点(有时称为“集群管理器”)协调索引器集群的活动。它还负责处理索引器集群的更新。
  5. 搜索头集群部署器处理搜索头集群的更新。

  • 是否对管理组件进行集中部署

根据组件及其工作负载,可以将两个管理组件合并到一个Splunk Enterprise实例上。在某些情况下,可以将一个管理组件放置在包含处理组件的实例上。

在一些使用情况较少的情况下,可能能够将两个以上的管理组件合并到一个实例上,尽管一般不建议这样做。如果打算这样做,请密切监视性能影响,确保有超载该实例。

下表总结了在理想情况下每种管理组件类型的共位可能性。请务必阅读下表后面的免责声明,其中包含有关如何使用该表的重要指南。

第二章 实现分布式部署

第一节 开始实施分布式部署

Splunk Enterprise 部署的范围从单实例部门部署(每天索引几 GB 的数据,仅为搜索数据的少数用户提供服务)到分布在多个数据中心的大型企业部署,索引要求在 TB 范围内,搜索由数百人执行。

Splunk Enterprise 的生产部署通常需要安装和配置各种组件,例如转发器、搜索头和索引器。本包括一系列用于实现常见分布式部署方案的框架,其规模从部门部署到大型企业部署。

这些框架可作为导航实施过程的高级路线图。每个框架都描述了一个常见的部署方案。然后,它提供了实现该方案的过程的概述,以及指向该过程每个步骤的详细文档的链接。

选择最能反映你需求的方案,并遵循其框架。该框架将带到正在运行的部署。此时,已准备好专注于管理任务的范围,例如设置用户、处理安全问题,以及最后为最终用户创建仪表板和搜索等知识对象。

  • Splunk 企业组件和部署方案

要实施Splunk Enterprise生产部署,必须安装各种Splunk Enterprise组件。要安装的特定组件取决于部署类型。即使要实施单实例部署,其中单个Splunk Enterprise实例同时担任索引器和搜索头,也需要安装转发器以将数据传输到该实例。要扩展到超过一个实例,必须安装和配置几种类型的Splunk Enterprise组件。

配置的组件根据部署的大小和特定要求而有所不同。例如,确保数据高可用性的部署需要不同于不强调高可用性的部署的配置。

不同的组件在很大程度上是由相同的Splunk Enterprise软件包构建的,只是配置不同以满足不同角色。通用转发器是例外,它使用的是Splunk Enterprise的轻量级软件包。

  • 如何开始

实施部署的过程要求根据目标做出一系列决策。此外,还需要遵循大量文档中描述的程序。执行的程序根据部署需求而有所不同。

确定适合特定部署需求的正确程序集,然后找到文档中的所有程序可能是一项艰巨的任务。本章的目的是简化这一过程。本章的主题提供了有关信息,以帮助理解部署需求并从一开始就做出正确的决策。

接下来的章节“具有实施框架的典型部署场景”为几种具有代表性的部署类型或场景提供了单独的主题。这些主题包含每个场景的端到端部署框架。每个框架都包含一套可用于部署场景的高级别步骤,并提供每个步骤的详细程序所包含的主题的链接。

  • 怎么操作

请按照以下步骤进行操作:

  1. 查看“部署类型”,了解必须做出的选择以及各种类型部署的特征。
  2. 在“部署类型”中,浏览各个部署类型的高级别描述以找出最符合需求的部署类型。
  3. 要继续进行部署,请转到要实施的方案主题并按照其实施框架进行操作。例如,“小型企业部署:具有单个搜索头和多个索引器的部署。”
  4. 这些方案主题大多假定是从头开始实施部署。扩展现有部署时的情况也类似。这些主题会讨论在从规模更小或其他类型的部署迁移过来时特别需要注意的问题。
  5. 查看“部署后活动”,了解完成初始部署后需要执行的操作的指南。

第二节 分布式部署的类型

可以通过多种方式来自定义Splunk Enterprise部署。然而,大多数部署都属于一些基本的分组。本主题讨论了不同类型部署的一些关键特征和注意事项。

  • 决定部署类型的关键因素

决定部署类型和规模的主要因素如下:

  1. 索引数据的数量。计划每天索引多少数据?为了应对增加的索引负载,可能需要多个索引器。
  2. 搜索的数量和类型。将频繁运行搜索吗?不论是计划定时搜索还是临时搜索,搜索的类型是什么?大量的搜索或者频繁执行的过程密集型搜索会让搜索头和索引器资源不堪重负。
  3. 并发用户数量。同时有多少用户在查看仪表板或运行搜索?为应对增加的用户数量,可能需要添加搜索头,通常通过搜索头集群来实现。
  4. 数据完整性要求。如果必须确保系统永远不会丢失数据,则必须使用索引器集群。
  5. 可用性要求。对数据可用性有哪些要求?如果必须始终能够访问全部数据,则可能需要部署索引器集群和搜索头集群。
  6. 灾难恢复要求。快速灾难恢复有多重要?多站点索引器集群可以确保在地理位置分散的数据中心之间快速故障转移至相同的数据集。

其他注意事项也会影响整体部署计划,例如安全要求和数据的位置。

  • 典型部署类型

以下是一些根据规模划分的典型部署类型:

  1. 部门级。结合索引和搜索管理功能的一个实例。
  2. 小型企业。一个搜索头与两个或三个索引器。
  3. 中型企业。一个小的搜索头集群,若干个索引器。
  4. 大型企业。一个大的搜索头集群,大量的索引器。

这些部署类型只是从单实例部署到为大量用例提供企业级覆盖的部署之间连续规模上的几个点。

此外,可以在任何规模的的企业部署中部署索引器集群。索引器集群提供了高可用性、灾难恢复和简化的扩展等优势。

还可以以多种方式组合部署拓扑。例如,可以部署一个搜索头,同时搜索索引器集群和一组独立索引器。

注意:“小型企业”、“中型企业”等术语并非常规地指使用Splunk平台的企业的大小。相反,它们是指Splunk平台在企业中支持功能的广度和深度的指标。随着Splunk平台对于处理广泛用例的价值随着持续的成功而增长,部署的规模通常也会增长。例如,一家财富500强公司可能从一个部门级别的、针对特定用例的单实例Splunk Enterprise安装开始,然后随着时间的推移,逐渐过渡到小型企业和中型企业的部署,最终采用大型企业的部署,为整个公司的组织机构和用例提供关键价值。

  • 开始部署

继续阅读本主题的其余部分以了解想要实施的部署类型的明确信息。然后转到下一章以下主题之一:

“部门级部署:单个索引器”

“小型企业部署:具有单个搜索头和多个索引器的部署”

“中等到大型企业部署:具有多个索引器的搜索头集群”

“高可用性部署:索引器集群”

这些主题提供了有关每个部署类型的详细信息,包括基本架构的图表。最重要的是,每个主题都包含有关实施过程的高级别端到端指南,其中包括实施部署时要遵循的特定程序的链接。

  • 具有代表性的扩展级别上的部署的主要特征

部署的特点会随着规模的增长而变化。以下表格可以让了解需要部署哪些Splunk组件才能满足需求。

  • 设计注意事项

设计注意事项也会随着部署规模的扩展而变化。下表总结了设计部署时需要考虑的一些问题。

第三章 具有实现框架的典型部署方案

第一节 部门部署:单个索引器

一个同时担任索引器和搜索头的Splunk Enterprise实例通常可以满足大型组织中单个部门的索引和搜索需求。通常还需要在生成数据的主机上安装转发器,以将数据从主机传输到索引器。

本主题介绍如何实施由以下部分组成的部署:

  1. 一个综合索引器/搜索头
  2. 多个转发器
  • 用例

此类部署的特征包括:

  1. 索引量低于 20GB/天。
  2. 几个用户,通常少于 10 个。
  3. 向实例发送数据的转发器数量相对较少,通常少于 10 个,很少超过 100 个。
  • 结构

下图显示了此类部署的体系结构的高级视图:

从底部开始,该图说明了处理层:

数据输入。数据通过转发器进入系统,转发器负责消耗外部数据,执行少量预处理,然后向索引器发送数据。在部门级部署中,通常拥有不到10个转发器,但对于某些用例,可能需要多达100个。

索引和搜索(组合)。单个索引器接收、索引并存储来自转发器的传入数据。索引器同时担任搜索头的职能。在这种模式下,索引器处理各种搜索请求,例如用户提出的临时请求和保存的搜索请求。搜索头为用户提供各种工具,例如仪表板,以增强搜索体验。

  • 实施框架

要实施此类部署场景,请按照以下步骤操作:

  1. 安装一个Splunk Enterprise实例,作为综合索引器/搜索头。
  2. 配置Splunk Enterprise许可证。
  3. 配置实例的接收端口。转发器将数据通过该端口发送到索引器。
  4. 在托管数据源的主机上安装通用转发器,并配置转发器将数据发送到Splunk Enterprise实例。具体操作取决于需求和偏好,以及要部署的转发器数量。例如:
  1. 可以逐个或同时在多台机器上安装转发器。
  2. 可以先安装转发器,稍后进行配置,或者同时进行安装和配置。
  3. 可以手动或利用部署服务器或第三方软件配置转发器。
  1. 配置转发器的输入项,以便数据开始进入系统。

启动并运行 Splunk Enterprise 实例后,可以进一步优化系统并准备数据及其呈现,具体活动参考“部署后活动”。

注意:若要增加索引和搜索容量,第一步是将索引功能与搜索管理功能分开。为此,添加第二个 Splunk Enterprise 实例作为专用搜索头。拥有专用搜索头后,可以通过添加更多索引器来提高索引容量。

第二节 小型企业部署:具有多个索引器的单个搜索头

要增加索引和搜索能力超过某个点,必须从单个Splunk Enterprise实例过渡到多实例部署。将搜索管理和索引功能进行划分,将其分配到在单独的机器上运行的单独的实例上。在扩展的第一阶段,通常部署一个单独的搜索头,与两个或三个索引器进行通信。这种部署类型是多个部门或小型企业解决方案的特征。

本主题描述如何实施包含以下组件的部署:

  1. 一个搜索头
  2. 多个索引器
  3. 多个转发器

注意:除了部署多个单独的索引器之外,还可以部署一个索引器集群。即使不需要高可用性以及伴随的存储开销,这种拓扑结构仍然很有用。它仍然需要少量开销,但提供简化的索引器管理优势。

  • 用例

此分布式搜索方案提供第一级水平缩放。它允许用户跨一组索引器运行搜索。随着需求的进一步增加,可以添加更多索引器。

此类部署的特征包括:

  1. 索引量介于 20 到 100GB/天之间。
  2. 10 到 100 个用户。
  3. 多达数百个转发器将数据提供给索引器。转发器通常利用负载均衡在索引器集之间分发数据。

  • 结构

下图显示了此类部署的体系结构的高级视图:

从底部开始,该图说明了三个处理层:

  1. 数据输入。数据通过转发器进入系统,转发器使用外部数据,对其执行少量预处理,然后将数据转发到索引器。通常将转发器配置为使用其内置的负载均衡功能将数据分布在索引器集之间。
  2. 索引。两个或三个索引器接收、索引和存储来自一组转发器的传入数据。索引器还会搜索该数据,以响应搜索头的请求。
  3. 搜索管理。单个搜索头执行搜索管理功能。它处理搜索请求(例如来自用户的即席请求和保存的搜索请求),并将请求分布在一组索引器之间,这些索引器对其本地数据执行实际搜索。然后,搜索头合并来自索引器的结果,并将其提供给用户。搜索头为用户提供各种工具(如仪表板)来协助搜索体验。

  • 迁移问题

本主题假定从零开始实施这种部署。如果要扩展现有的单实例部署,则过程与之类似,但需要注意几个额外的问题:

  1. 将当前单实例部署中的一个实例用作索引器而不是搜索头。此实例针对索引器的需求进行了配置,因此可能更适合作为索引器。实例上已有的数据仍然可以在新部署中进行搜索。
  2. 将独立实例的应用和知识对象移至新的搜索头实例。
  3. 配置许可证以适应添加的实例。

实施框架过程包括处理这些问题的步骤。

第三节 大中型企业部署:使用多个索引器搜索头群集

在从小型企业到中型企业部署的过渡过程中,需要提高索引和搜索能力。对于索引,可以继续添加索引器。对于搜索,可以添加搜索头以服务更多用户和更多搜索活动。

部署多个搜索头的建议方法是将搜索头组合到搜索头群集中。搜索头群集允许用户和搜索在一组搜索头之间共享资源。它们也比单个搜索标题组更易于管理。搜索头群集至少需要三个搜索头。

中型企业部署和大型企业部署之间的差异主要是规模和管理问题。基本部署拓扑类似。它们都使用具有多个索引器的搜索头群集。

  • 中型企业部署用例

中型企业部署比小型企业部署提供更大的水平扩展。它为更多的用户和搜索提供服务。随着需求的不断增加,可以继续添加索引器和搜索头。

此类部署的特征包括:

  1. 索引卷在 100-300GB/天之间。
  2. 用户数量可能超过一百个。
  3. 多达几千个转发器向索引器提供负载平衡数据。
  • 大型企业部署用例

大型企业部署提供了更大的水平扩展。

此类部署的特征包括:

  1. 索引卷范围从每天 300GB 到许多 TB。
  2. 大量用户,可能达到数百人。
  3. 数以千计的货运代理。

  • 架构

下图显示了大中型企业部署的体系结构的高级视图:

从底部开始,该图说明了三个处理层:

  1. 数据输入。数据通过转发器进入系统,转发器使用外部数据并将数据转发到索引器。将转发器配置为使用其内置的负载均衡功能将数据分布在索引器集之间。
  2. 索引。 索引器接收、索引和存储来自转发器的传入数据。
  3. 搜索管理。由三个或更多搜索头成员组成的搜索头群集执行搜索管理功能。群集中的搜索头协调其活动以处理搜索请求(例如来自用户的即席请求和保存的搜索请求),并在索引器集之间分发请求。部署人员将应用程序分发给搜索头群集的成员。

  • 迁移问题

本主题假定从头开始实现搜索头集群部署。相反,如果要从现有的非集群部署进行扩展,则过程类似,但还需要注意一些其他问题:

  1. 必须为集群中的每个搜索头使用新的 Splunk Enterprise 实例。可以将当前搜索头的设置和应用迁移到搜索头群集,但不能重复使用搜索头本身。
  2. 必须配置许可以容纳其他实例。

  • 实施框架

若要使用索引器和转发器实现搜索头群集,请执行以下操作:

  1. 安装和部署搜索头群集。
  2. (仅限迁移)如果要从由独立搜索头组成的较小部署进行迁移,则可以从旧搜索头迁移设置。
  3. 安装计划用作索引器的实例。(仅限迁移)如果要从较小的部署迁移,可以继续使用现有索引器。还可以根据需要添加新的索引器实例。
  4. 将搜索头连接到索引器,也称为搜索对等。
  5. 配置 Splunk 企业许可证。如果有现有许可证,则必须确保它涵盖任何新实例。
  6. 在每个新索引器上,配置接收端口。转发器通过此端口将数据发送到索引器。
  7. 在托管数据源的计算机上安装通用转发器,并将转发器配置为将数据发送到索引器集。建议将转发器配置为在索引器集之间对其数据进行负载均衡。(仅限迁移)如果已有来自以前部署的转发器,并且在步骤 3 中添加了索引器,请重新配置现有转发器,以便在整组索引器(包括新索引器)之间进行负载均衡。
  8. 配置转发器的输入,以便数据开始进入系统。

  • 进一步扩展

可以根据需要继续扩展部署。若要增加索引和搜索容量,第一步是添加更多索引器。为此,请安装另一个 Splunk Enterprise 实例,并配置搜索头和转发器以与之连接。

若要为更多用户提供服务并继续将搜索容量增加到特定级别以上,必须向群集添加另一个搜索头。

第四节 高可用性部署:索引器群集

若要确保数据的高可用性,可以部署索引器群集。索引器群集是一组索引器,配置为复制彼此的数据,以便系统保留所有数据的多个副本。此过程称为索引复制。索引器群集可防止数据丢失,同时提高搜索的数据可用性。索引器群集也比单个索引器组更易于管理。

索引器群集的权衡是需要额外的存储来处理复制的副本。可以控制索引复制的程度,从而控制存储要求,以满足企业的可用性需求。

可以将索引器群集用于任何规模的企业部署。

随着搜索需求的增长,可以将索引器群集与搜索头群集组合在一起。

  • 高可用性用例

索引器群集的主要用例是企业部署,它需要高数据可用性,并且愿意分配存储数据的多个副本所需的额外磁盘空间。

  • 简化的管理用例

还可以在不进行复制的情况下实现索引器群集。消除复制后,将失去索引器群集的一些主要优势,例如数据可用性和数据恢复,但仍可以获得简化多个索引器管理的好处。

  • 架构

索引器群集的主要体系结构类型包括:

  1. 具有一个或多个单独搜索头的索引器群集
  2. 具有搜索头群集的索引器群集
  • 具有单个搜索头的索引器群集

下图显示了具有一个或多个单独搜索头的索引器群集的体系结构的高级视图:

从底部开始,该图说明了三个处理层:

  1. 数据输入。数据通过转发器进入系统,转发器使用外部数据并将数据转发到索引器。将转发器配置为使用其内置的负载均衡功能将数据分布在索引器集之间。
  2. 索引。索引器或群集对等节点接收、索引和存储来自转发器的传入数据。
  3. 搜索管理。一个或多个单独的搜索头执行搜索管理功能。

管理器(主)节点调节集群节点的功能,但不索引、存储或搜索数据。

  • 具有搜索头群集的索引器群集

可以将索引器群集与搜索头群集组合在一起。如果需要部署多个搜索头,建议使用此方法

与以前的体系结构相比,主要区别在于搜索头群集取代了单个搜索头。索引器群集与搜索头群集的交互方式与与单个搜索标头交互的方式基本相同。

  • 迁移问题

本主题假定你从头开始实现索引器群集部署。相反,如果要从一组非聚集索引器进行扩展,则可以将现有索引器合并到群集中,但需要注意一些问题:

  1. 各个索引器上已有的数据仍可用于搜索,但不会复制。
  2. 不能再使用部署服务器来管理应用。相反,必须使用索引器群集中内置的配置捆绑包方法。这要求你将应用迁移到群集。

  • 实施框架

若要实现索引器群集,请执行以下操作:

1. 安装必要的 Splunk 企业版实例,并部署索引器群集。

2. (仅限迁移)如果要从包含一个或多个独立索引器的部署迁移,另请阅读管理索引器和索引器群集手册中的“将非聚集索引器迁移到群集环境”。

3. 如果要为搜索层实现搜索头群集,参考“部署搜索头群集”和“将搜索头群集与索引器群集集成”。

4. 配置 Splunk 企业许可证。如果有现有许可证,则必须确保它涵盖任何新实例。

5. 在托管数据源的计算机上安装通用转发器(如果尚未这样做)。

6. 将对等节点连接到转发器:

  1. 确定要使用的方法。。
  2. 根据你的决定,按照管理索引器和索引器群集手册中的“使用索引器发现将转发器连接到对等节点”或“将转发器直接连接到对等节点”操作。

7. 配置转发器的输入,以便数据开始进入系统。

  • 进一步扩展

可以根据需要缩放群集。若要增加索引和搜索容量,第一步是添加另一个索引器。为此,要启用新的 Splunk 企业实例作为对等节点。

若要为更多用户提供服务并继续将搜索容量增加到一定级别以上,必须添加更多搜索头。在索引器群集中包含多个搜索头的建议方法是将它们部署在搜索头群集中。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_57403020/article/details/134007013

智能推荐

JWT(Json Web Token)实现无状态登录_无状态token登录-程序员宅基地

文章浏览阅读685次。1.1.什么是有状态?有状态服务,即服务端需要记录每次会话的客户端信息,从而识别客户端身份,根据用户身份进行请求的处理,典型的设计如tomcat中的session。例如登录:用户登录后,我们把登录者的信息保存在服务端session中,并且给用户一个cookie值,记录对应的session。然后下次请求,用户携带cookie值来,我们就能识别到对应session,从而找到用户的信息。缺点是什么?服务端保存大量数据,增加服务端压力 服务端保存用户状态,无法进行水平扩展 客户端请求依赖服务.._无状态token登录

SDUT OJ逆置正整数-程序员宅基地

文章浏览阅读293次。SDUT OnlineJudge#include<iostream>using namespace std;int main(){int a,b,c,d;cin>>a;b=a%10;c=a/10%10;d=a/100%10;int key[3];key[0]=b;key[1]=c;key[2]=d;for(int i = 0;i<3;i++){ if(key[i]!=0) { cout<<key[i.

年终奖盲区_年终奖盲区表-程序员宅基地

文章浏览阅读2.2k次。年终奖采用的平均每月的收入来评定缴税级数的,速算扣除数也按照月份计算出来,但是最终减去的也是一个月的速算扣除数。为什么这么做呢,这样的收的税更多啊,年终也是一个月的收入,凭什么减去12*速算扣除数了?这个霸道(不要脸)的说法,我们只能合理避免的这些跨级的区域了,那具体是那些区域呢?可以参考下面的表格:年终奖一列标红的一对便是盲区的上下线,发放年终奖的数额一定一定要避免这个区域,不然公司多花了钱..._年终奖盲区表

matlab 提取struct结构体中某个字段所有变量的值_matlab读取struct类型数据中的值-程序员宅基地

文章浏览阅读7.5k次,点赞5次,收藏19次。matlab结构体struct字段变量值提取_matlab读取struct类型数据中的值

Android fragment的用法_android reader fragment-程序员宅基地

文章浏览阅读4.8k次。1,什么情况下使用fragment通常用来作为一个activity的用户界面的一部分例如, 一个新闻应用可以在屏幕左侧使用一个fragment来展示一个文章的列表,然后在屏幕右侧使用另一个fragment来展示一篇文章 – 2个fragment并排显示在相同的一个activity中,并且每一个fragment拥有它自己的一套生命周期回调方法,并且处理它们自己的用户输_android reader fragment

FFT of waveIn audio signals-程序员宅基地

文章浏览阅读2.8k次。FFT of waveIn audio signalsBy Aqiruse An article on using the Fast Fourier Transform on audio signals. IntroductionThe Fast Fourier Transform (FFT) allows users to view the spectrum content of _fft of wavein audio signals

随便推点

Awesome Mac:收集的非常全面好用的Mac应用程序、软件以及工具_awesomemac-程序员宅基地

文章浏览阅读5.9k次。https://jaywcjlove.github.io/awesome-mac/ 这个仓库主要是收集非常好用的Mac应用程序、软件以及工具,主要面向开发者和设计师。有这个想法是因为我最近发了一篇较为火爆的涨粉儿微信公众号文章《工具武装的前端开发工程师》,于是建了这么一个仓库,持续更新作为补充,搜集更多好用的软件工具。请Star、Pull Request或者使劲搓它 issu_awesomemac

java前端技术---jquery基础详解_简介java中jquery技术-程序员宅基地

文章浏览阅读616次。一.jquery简介 jQuery是一个快速的,简洁的javaScript库,使用户能更方便地处理HTML documents、events、实现动画效果,并且方便地为网站提供AJAX交互 jQuery 的功能概括1、html 的元素选取2、html的元素操作3、html dom遍历和修改4、js特效和动画效果5、css操作6、html事件操作7、ajax_简介java中jquery技术

Ant Design Table换滚动条的样式_ant design ::-webkit-scrollbar-corner-程序员宅基地

文章浏览阅读1.6w次,点赞5次,收藏19次。我修改的是表格的固定列滚动而产生的滚动条引用Table的组件的css文件中加入下面的样式:.ant-table-body{ &amp;amp;::-webkit-scrollbar { height: 5px; } &amp;amp;::-webkit-scrollbar-thumb { border-radius: 5px; -webkit-box..._ant design ::-webkit-scrollbar-corner

javaWeb毕设分享 健身俱乐部会员管理系统【源码+论文】-程序员宅基地

文章浏览阅读269次。基于JSP的健身俱乐部会员管理系统项目分享:见文末!

论文开题报告怎么写?_开题报告研究难点-程序员宅基地

文章浏览阅读1.8k次,点赞2次,收藏15次。同学们,是不是又到了一年一度写开题报告的时候呀?是不是还在为不知道论文的开题报告怎么写而苦恼?Take it easy!我带着倾尽我所有开题报告写作经验总结出来的最强保姆级开题报告解说来啦,一定让你脱胎换骨,顺利拿下开题报告这个高塔,你确定还不赶快点赞收藏学起来吗?_开题报告研究难点

原生JS 与 VUE获取父级、子级、兄弟节点的方法 及一些DOM对象的获取_获取子节点的路径 vue-程序员宅基地

文章浏览阅读6k次,点赞4次,收藏17次。原生先获取对象var a = document.getElementById("dom");vue先添加ref <div class="" ref="divBox">获取对象let a = this.$refs.divBox获取父、子、兄弟节点方法var b = a.childNodes; 获取a的全部子节点 var c = a.parentNode; 获取a的父节点var d = a.nextSbiling; 获取a的下一个兄弟节点 var e = a.previ_获取子节点的路径 vue