经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Elasticsearch » 查看文章
ElasticStack学习(七):ElasticSearch之Mapping初探
来源:cnblogs  作者:SuperSnowYao  时间:2019/7/17 10:37:37  对本文有异议

一、Mapping的概念

  1、Mapping类似于数据库中的Schema的定义,作用如下:

    1)定义索引中的字段的名称;

    2)定义字段的数据类型,例如字符串、数字、日期、布尔等;

    3)对每个字段进行倒排索引的建立及相关配置;

    4)Mapping会将Json文档映射成Lucene所需要的扁平格式;

    5)一个Mapping属于一个索引的Type,从7.0开始,不需要在Mapping中指定Type信息;

  2、字段的数据类型

    1)简单类型

      Text(会增加Keyword子字段);

      Date;

         Integer/Long/Floating;

      Boolean;

      IP4&IP6;

      Keyword;

    2)复杂类型

      对象类型;

      嵌套类型;

      数组(由第一个非空数值的类型所决定);

      空值;

    3)特殊类型(地理信息)

      geo_point&geo_shape

二、Dynamic Mapping的概念

  1、在写入文档的时候,如果索引不存在,则会自动创建索引;

  2、由于上述机制,可以无需手动定义Mapping,ElasticSearch会自动根据文档信息,推算出字段的类型;

  3、但是有时候推算的可能不对,当类型设置的不对时,会导致一些功能无法正常运行,比如范围内的Range查询;

三、Mapping与Dynamic Mapping的使用

  1、推断字段的类型

  1. //创建一个文档
  2. put mapping_test/_doc/1
  3. {
  4. "id":"100",
  5. "isvip":false,
  6. "isadmin":"true",
  7. "age":18,
  8. "height":180
  9. }
  10. //查看索引Mapping结构
  11. get mapping_test/_mapping
  12. //删除索引
  13. delete mapping_test

   

  由上图中可以得出,ElasticSearch基本上可以按照数据推断出预想的字段类型,由于isadmin字段的值是由双引号所括起来的,所以该字段被推断成text类型。

  2、更改Mapping的字段类型

  对于索引后期加入的字段,可以按照如下情况进行设置:

    1)新增加字段

      a)Dynamic设置为True时,一旦有新增字段的文档写入,Mapping同时会被更新;

      b)Dynamic设置为False时,有新增字段的文档写入,Mapping不会被更新,新增字段的数据也无法被索引,但是信息会出现在_Source中;

      c)Dynamic设置成Strict时,文档写入失败;

    

    2)已有字段

      a)对于已有字段,一旦已经有数据写入,就不再支持修改字段定义。因为Lucene实现的倒排索引,一旦生成后,就不允许修改。

      b)如果希望改变已有字段类型,必须ReIndex,重建索引;

      为什么会这样?

      I)如果修改了字段的数据类型,会导致已被索引的属于无法被搜索;

      II)正因为如此,对于新增加的字段,就不会有这个问题的影响;

  3、对于这几种情况,我们通过下图进行演示:

    1)对于dynamic为true时,对于创建的文档中的某一字段进行搜索,是可以查询到的。

    

    2)将dynamic设置为false,然后新增一个name字段,然后对其搜索,是无法搜索到的。

    

    同时mapping中也不存在该字段。

    

    但是可以在_Source中看到这个字段。

    

    3)将dynamic设置为strict,然后新增一个grade字段,会发现出现异常。

     

 四、索引Mapping的显式定义

  1、Mapping定义的方式有两种:

    1)可以参考API手册,纯手写;

    2)为了减少输入工作量,减少出错概率,可以依照以下步骤:

      a)创建一个临时的Index,写入一些样本数据;

      b)通过访问Mapping API获取该临时索引的动态Mapping定义;

      c)修改成符合要求的Json,然后创建显式索引;

      d)将临时索引删除;

  2、显式Mapping定义的语法:

  1. Put Index_Name
  2. {
  3. "mappings":{
  4. 定义Mapping信息,Json格式
         "properties":{
            "column_name":{
              "type":"text"
            },
            "column_name":{
              "type":"long"
            }
            ...
          }
    }
    }

  3、显式Mapping定义的说明:

    1)控制当前字段是否可以被索引,默认是True。如果设置成False,则该字段不可被搜索。

     将不被搜索的字段设置成索引为false,可以节省磁盘开销,因为这样该字段就不需要进行倒排索引了。

 

    2)对于需要索引的字段,ElasticSearch提供了Index_options配置,可以控制倒排索引记录的内容,Index_options提供了四种控制级别:

      a)docs:记录doc的Id;

      b)freqs:记录doc Id、Term Frequencies;

      c)positions:记录doc Id、Term Frequencies、Term Position;

      d)offsets:记录doc Id、Term Frequencies、Term Position、Character offsets;

    3)Text类型默认是positions级别,其他类型默认是docs级别;

    4)索引字段需要记录的内容越多,那么占用存储空间越大;

    5)只有keyword类型支持设定Null值;

    

    6)copy_to的设置,是将字段的值拷贝到所设定的目标字段中,当查询时,可以将该目标字段做为搜索字段进行查询。但是该目标字段不会出现在_source中。

    

     7)数组类型在ElasticSearch中并不提供,但是对于任何字段,是可以包含多个相同类型的数据的。

     

    8)对字段还可以指定特定的analyzer。

    

    9)查看索引Mapping,如下所示:  

    

五、ElasticSearch字段特性与自定义Analyzer

  1、Exact Values(精确值)、Full Text(全文本)

    Exact Values就是指具体数字、日期、字符串,此类值是不需要进行分词的;

    Full Text:是非结构化的文本数据,是需要进行分词的;

  

  2、自定义分词器

  当ElasticSearch自带的分词器无法满足要求时,可以自定义分词器,通过组合不同的Character Filter、Tokenizer、Token Filter进行实现。

  1)Charater Filters

    a)在Tokenizer之前,通过使用Character Filters对文本进行处理,如删除或者替换字符。此种处理会影响后续Tokenizer对Term的Position与Offset的信息。

    b)可以设置多个Character Filters,一个自带的Character Filters包括:HTML Strip(去除HTML标签)、Mapping(字符串替换)、Pattern Replace(正则表达式替换)。

    如下图所示:

    

    

    

  2)Tokenizer

    a)将原始的文本按照一定的规则,进行切分成词(Term or Token);

    b)内置的Tokenizer有:Standard、uax_url_email、WhiteSpace、keyword、Pattern、Path hierarchy;

    c)可以实现自己的Tokenizer插件;

    如下图所示:

    

   3)Token Filters

    a)将Tokenizer输出的Term,进行增加、修改、删除;

    b)内置的Token Filters有:lowercase、stop、synonym(近义词);

    如下图所示:

    

  3、自定义Analyzer使用

   

  在图中的emotion、customer、english_stop,是分别对Character Filter、Tokenizer、Token Filter的自定义配置。

   

  注意:字段类型keyword与text类型的子字段keyword的说明:

    1、一切文本类型的字符串可以定义成"text"或"keyword"两种类型。区别在于,text类型会使用默认分词器分词(当然也可以指定特定的分词器),keyword类型默认不会对其进行分词;

    2、多字段类型情况下,查询时可以用title,也可以用title.keyword查询类型为keyword的子字段;

 

  大家可关注我的公众号 

    

  知识学习来源:阮一鸣:《Elasticsearch核心技术与实战》  

原文链接:http://www.cnblogs.com/supersnowyao/p/11189661.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号