最近用到一些简单的地理位置查询接口，基于当前定位获取用户所在位置信息（省市区），然后基于该信息查询当前区域的......提供服务。 然后就自己研究了下GIS，作为一个程序员。自己能不能实现这个功能呢？答案当然是可以。立即开干。 思路：找到数据，写入数据库，利用Elasticsearch强大的...[2024/7/29]

目录EFK1. 日志系统2. 部署ElasticSearch2.1 创建handle 服务2.2 创建sts3. 部署kibana4. 部署ilogtail（docker-compose）4.1 编写docker-compose4.2 配置ilogtail采集4.3 查看容器采集的日志4.4 采...[2024/7/1]

1、elasticsearch 1.1、根目录下新建data文件夹 1.2、修改elasticsearch.yml文件，添加以下内容 path.data: /home/wwq/elk/elasticsearch-8.13.4/data path.logs: /home/wwq/elk/elas...[2024/6/19]

逐层拆分ElasticSearch的概念 Cluster：集群，Es是一个可以横向扩展的检索引擎（部分时候当作存储数据库使用），一个Es集群由一个唯一的名字标识，默认为“elasticsearch”。在配置文件中指定相同的集群名，Es会将相同集群名的节点组成一个集群。 Node：节点，...[2024/6/5]

丢失数据的本质 在本文开始前，首先明白一个点，平时我们说的组件数据不丢失究竟是在指什么，如果你往ES写入数据，ES返回给你写入错误，这个不算数据丢失。如果你往ES写入数据，ES返回给你成功，但是后续因为ES节点重启或宕机导致写入的数据不见了，这个才叫数据丢失。 简而言之，丢失数据的本质是ES本...[2024/3/13]

Elasticsearch 是一个使用 Java 语言编写、遵守 Apache 协议、支持 RESTful 风格的分布式全文搜索和分析引擎，它基于 Lucene 库构建，并提供多种语言的 API。Elasticsearch 可以对任何类型的数据进行索引、查询和聚合分析，无论是文本、数字、地理空间...[2024/3/1]

前言 ELK 是指 Elasticsearch、Logstash 和 Kibana 这三个开源软件的组合。 Elasticsearch 是一个分布式的搜索和分析引擎，用于日志的存储,搜索,分析,查询。 Logstash 是一个数据收集、转换和传输工具，用于收集过滤和转换数据，然后将其发送到...[2024/1/22]

大家好，我是蓝胖子，在上一节我提到要想彻底搞懂elasticsearch 慢查询的原因，必须搞懂lucene的查询原理，所以在上一节我分析了lucene查询的整体流程，除此以外，还必须要搞懂各种查询类型内部是如何工作，比如比较复杂的查询是将一个大查询分解成了小查询，然后通过对小查询的结果进行合并...[2023/12/13]

目录前言一、一次性全量二、定时任务增量三、强一致性问题四、canal 框架4.1基本原理4.2安装使用（重点）版本说明4.3引入依赖（测试）4.4代码示例（测试）五、文章小结 前言 在日常项目开发中，可能会遇到使用 ES 做关键词搜索的场景，但是一般来说业务数据是不会直接通过 CRUD 写进...[2023/12/8]

大家好，我是蓝胖子，有段时间没有做性能分析案例讲解了，正好前两天碰到一个性能问题，今天就来对它探讨探讨。 问题背景 在晚上9点左右，刚从外面逛街回到家，就接到了电话报警(幸好前不久刚好把电话报警机制加上，不然可能我就要去洗澡了??)，电话告警告知线上业务存在大量请求失败的情况。于是赶紧打开...[2023/12/5]

目录K8s部署EFK（elasticsear + filebeat + kibana）日志收集一.准备镜像二.搭建Elasticsearch + kibana1.在可执行kubectl命令的服务器准备安装的yml文件2.在elasticsearch-kibana目录下创建配置文件elastics...[2023/10/13]

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https: github.com/zq2599/blog_demos 本篇概览 本篇记录了用docker搭建ElasticSearch8单机版再扩容的过程，既留给自己后面反复使用，也可以为正在部署环境的读者提供一些参...[2023/8/21]

Elasticsearch 是一个分布式的、面向生产规模工作负载优化的搜索引擎。 Kibana 可以将 Elasticsearch 中的数据转化为直观的图表、图形和仪表盘。 这篇文章，您将学习本地安装 Elasticsearch 和 Kibana，以及使用开发工具/ Java SDK 创...[2023/8/16]

目录一、简介二、环境搭建1、下载安装包2、服务启动三、工程搭建1、工程结构2、依赖管理3、配置文件四、基础用法1、实体类2、初始化索引3、仓储接口4、查询语法五、参考源码 标签：ElasticSearch8.Kibana8； 一、简介 Elasticsearch是一个分布式、RESTf...[2023/8/16]

MySQL 和 Elasticsearch 是两种不同的数据管理系统，它们各有优劣，适用于不同的场景。本文将从以下几个方面对它们进行比较和分析： 数据模型 查询语言 索引和搜索 分布式和高可用 性能和扩展性 使用场景 数据模型 MySQL 是一个关系型数据库管理系统（RDBMS），它使用表...[2023/8/9]

什么是 Openjob? Openjob 基于Akka架构的新一代分布式任务调度框架。支持多种定时任务、延时任务、工作流设计，采用无中心化架构，底层使用一致性分片算法，支持无限水平扩容。 完善的任务日志存储，支持 H2/Mysql/oracle/Postgresql/Elasticsear...[2023/7/24]

简述 业务开发中经常会遇到这样一种情况，用户在搜索框输入时要实时展示搜索相关的结果。要实现这个场景常用的方案有Completion Suggester、search_as_you_type。那么这两种方式有什么区别呢？一起来了解下。 环境说明： 数据量：9000w+ es版本：7.10.1 ...[2023/7/21]

在Elasticsearch这样的分布式系统中执行类似SQL的join连接是代价是比较大的，然而，Elasticsearch却给我们提供了基于水平扩展的两种连接形式 。这句话摘自Elasticsearch官网，从“然而”来看，说明某些场景某些情况下我们还是可以使用的 一、join总述 1、关系类...[2023/5/26]

系列文章 Grafana 系列文章 概述 我们是基于这篇文章: Grafana 系列文章（十二）：如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板, 创建一个类似的, 但是基于 ElasticSearch 的日志快速搜索仪表板. 最终完整效果如下: ??Notes...[2023/5/15]

一、Elasticsearch介绍 Elasticsearch介绍 Elasticsearh 是 elastic.co 公司开发的分布式搜索引擎。 Elasticsearch（简称ES）是一个开源的分布式、高度可扩展的全文搜索和分析引擎。它能够快速、近乎实时的存储、搜索和分析大量数据。适用...[2023/5/10]

目录Term Query基本语法Java代码写法Terms-匹配多个值基本语法Java写法Term查询可配置的其他参数总结 Term Query Term Query是一种最基本的查询方式，它用于在Elasticsearch中查询一个字段中包含指定关键词的文档，与MySQL中的等值查询类似。使用...[2023/4/24]

实战环境 elastic search 8.5.0 + kibna 8.5.0 + springboot 3.0.2 + spring data elasticsearch 5.0.2 + jdk 17 一、集成 spring data elasticsearch 1 添加依赖 <de...[2023/4/19]

1.背景描述 2020年团队决定对elasticsearch升级。es（elasticsearch缩写，下同）当前版本为0.9x，升级到5.x版本。es在本公司承载三个部分的业务，站内查询，订单数据统计，elk日志分析。 对于站内查询和订单数据统计，当前业务架构是 mysql -> c...[2023/4/17]

去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入各个自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。 这篇文章主要介绍如何编写二方包，并整合到各个系统中。 先介绍整个ELK日志平台的架构。其...[2023/4/3]

可以先看下列文章 目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Ja...[2023/3/24]

最强分布式搜索引擎——ElasticSearch 本篇我们将会介绍到一种特殊的类似数据库存储机制的搜索引擎工具——ES elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容 我们会从下面几个角度来讲解ElasticSearch...[2023/3/24]

作者：京东物流 纪卓志 目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。 问题的定义与决策 为了构建一个快速、实时的搜索引擎，我们必须做出某些设计决...[2023/3/22]

目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringB...[2023/3/22]

目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringB...[2023/3/20]

前言 去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。 这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。 ELK介...[2023/3/20]

MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题...[2023/3/17]

目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringB...[2023/3/15]

目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringB...[2023/3/14]

目录 ElasticSearch 实现分词全文检索 - 概述 ElasticSearch 实现分词全文检索 - ES、Kibana、IK安装 ElasticSearch 实现分词全文检索 - Restful基本操作 ElasticSearch 实现分词全文检索 - Java SpringB...[2023/3/14]

Restful 语法 GET 请求: http: ip:port/index: 查询索引信息 http: ip;port/index/type/doc_id: 查询指定的文档信息 POST 请求: http: ip;port/index/type/_search: 查询文档，可以在请求体...[2023/3/6]

C#中访问Elasticsearch主要通过两个包NEST和Elasticsearch.Net，NEST用高级语法糖封装了Elasticsearch.Net可以通过类Linq的方式进行操作，而Elasticsearch.Net相比之下更为原始直接非常自由。 注意：ES的8.X以上的版本有新的包...[2023/2/17]

背景 通常数据库进行分库分表后，目前比较常规的作法，是通过将数据异构到Elasticsearch来提供分页列表查询服务；在创建Elasticsearch索引时，基本都是会参考目前的业务需求、关系数据库中的类型以及对数据的相关规划来定义相关字段mapping的类型. 在Elasticsearch...[2023/2/17]

一、Date类型简介 elasticsearch通过JSON格式来承载数据的，而JSON中是没有Date对应的数据类型的，但是elasticsearch可以通过以下三种方式处理JSON承载的Date数据 符合特定格式化的日期字符串； 基于milliseconds-since-the-epoc...[2023/2/15]

1、背景 在我们使用es的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型，但是后期发现需要使用这个字段来进行聚合操作，那么我们除了对索引进行reindex操作外，还有什么办法可以解决这个问题呢？此处我们通过runtime...[2023/2/1]

京东物流：康睿 姚再毅 李振 刘斌 王北永 说明：以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址： https: www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cro...[2023/1/18]

目录1、背景2、安装拼音分词器3、拼音分词器提供的功能4、简单测试一下拼音分词器4.1 dsl4.2 运行结果5、es中分词器的组成6、自定义一个分词器实现拼音和中文的搜索1、创建mapping2、插入数据3、搜索数据7、参考文档 1、背景 一般情况下，有些搜索需求是需要根据拼音和中文来搜索...[2023/1/16]

一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来...[2023/1/6]

1 前言 ElasticSearch是一个实时的分布式搜索与分析引擎，常用于大量非结构化数据的存储和快速检索场景，具有很强的扩展性。纵使其有诸多优点，在搜索领域远超关系型数据库，但依然存在与关系型数据库同样的深度分页问题，本文就此问题做一个实践性分析探讨 2 from + size分页方式 f...[2022/11/17]

目录前言问题定位THREAD-B,找出当前阻塞其他线程的线程解决方案临时方案，SKYWALKING参数调优最终方案-优化ES的写入性能结语 前言 继上次skywalking出故障《https: my.oschina.net/keking/blog/3016839》不到一个月，线上skywalki...[2022/2/28]

0、前言 变更原由：昨晚更新博客之后，告知更新了，但是第一次出现有人看不到这篇博客，有人有看得到，我也不知道我设置了什么地方_，所以我把原博客删了，重新发布 另外： 这里面一些理论和前面的知识点挂钩的，所以：建议看一下另外3篇知识内容 基础篇：https: www.cnblogs.com/...[2022/1/17]

 一、ES原理 1、索引结构ES是面向文档的 　　各种文本内容以文档的形式存储到ES中，文档可以是一封邮件、一条日志，或者一个网页的内容。一般使用 JSON 作为文档的序列化格式，文档可以有很多字段，在创建索引的时候，我们需要描述文档中每个字段的数据类型，并且可能需要指定不同的分析...[2021/12/31]

背景 项目中有个需求是需要几个字段作为标签，统计各个标签的文档数量，同时支持分词后的全文检索功能。 所使用的ES版本: elasticsearch-5.6.16 原有的mapping设计： curl -XPUT http: ip:9200/meta_es_metric_data -d'' ...[2021/12/31]

背景 在对ES某个筛选字段聚合查询,类似groupBy操作后，发现该字段新增的数据，聚合结果没有展示出来，但是用户在全文检索新增的筛选数据后，又可以查询出来, 针对该问题进行了相关排查。 排查思路 首先要明确我们数据的写入流程, 下图： 在检查Mysql库的数据没有问题之后，开始检查ES...[2021/12/31]

Elasticsearch 映射参数 fields fields 处于不同的目的，通过不同的方法索引相同的字段通常非常有用。这也是多字段的目的。例如，一个字符串字段可以映射为text字段用于全文本搜索，也可以映射为keyword字段用于排序或聚合。 PUT my_index { ...[2021/7/12]

Elasticsearch中store field与non-store field的区别 在定义index的mapping的时候，我们可以指定某些fields是否要store（默认是不store) 那么他们有什么区别呢？ PUT /my_index { "mappings"...[2021/7/12]