Elasticsearch 中管道介绍

Elasticsearch 中管道

1、管道（ Ingest Pipeline）

请求请求PUT /_ingest/pipeline/attachment是在Elasticsearch中创建一个Ingest Pipeline，用于处理文档中的附件（如PDF、Word、TXT等），提取出其中的文本内容和元数据，并删除原始的附件数据。具体解释如下：

1.管道描述

"description": "提取附件信息"表明该Pipeline的目的是从上传的文件数据中提取内容和元数据。

2.处理器（Processors）

这个Pipeline包含两个处理器，分别是attachmentCPU和removeCPU。

（1）attachment处理器

{
   
    "attachment": {
   
        "field": "content",
        "ignore_missing": true
    }
}

• 处理器：attachment基于Elasticsearch的Ingest Attachment Processor插件，它的作用是从指定字段中提取文件内容作用和元数据。这里指定的字段是content，该字段通常是包含附件文件的Base64编码数据，比如PDF、Word或者TXT文件的内容。
• 内容提取：该处理器会解析content字段中存储的附件，并提取：
  • 文本内容（attachment.content）
  • 文件类型（attachment.content_type）
  • 语言（attachment.language）
  • 作者（attachment.author，如果文件中有的话）
  • 文件大小（attachment.content_length）等元数据
• ignore_missing: true：如果content字段不存在或者为空，处理器不会报错，但是会忽略这个字段并继续执行。这很实用，因为文档某些可能没有附件，你不希望整个处理过程缺少因为字段而失败。

（2）remove处理器

{
   
    "remove": {
   
        "field": "content"
    }
}

• 作用：该处理器会在attachment处理器提取完数据后，删除原始的content字段，对Base64编码的文件数据。这样可以减少存储空间的占用，因为在提取完文本内容和元数据之后，通常不再需要保存原始的Base64数据。

3.整体流程

这个Pipeline的执行流程是：

1. 提取文件内容和元数据：首先，attachment处理器从content字段中提取附件的内容和相关元数据，存储在新的attachment字段中。
2. 删除原始的Base64数据文件：接着，remove处理器会删除原始的content字段，确保只保留提取出的文本和元数据，减少存储空间。

4.应用场景

可能的Pipeline主要用于处理包含文件附件的文档，比如你有一个PDF文件或Word文档，想要提取其中的文本并进行全面的搜索或分析。典型的使用场景包括：

• 全文搜索：您可以对提取出的文件内容进行全文搜索，而不需要保留原始的文件数据。
• 文件元数据存储：您可以存储并查询文件的元数据（如作者、文件类型、文件大小等），用于过滤或分析。

示例：如何使用该管道

1. 创建管道（如本例中已经完成）

   PUT /_ingest/pipeline/attachment
   {
        
     "description": "提取附件信息",
     "processors": [
       {
        
         "attachment": {
        
           "field": "content",
           "ignore_missing": true
         }
       },
       {
        
         "remove": {
        
           "field": "content"
         }
       }
     ]
   }
   

2. 上传文件并进行处理 上传一个文件的Base64编码内容并通过该Pipeline进行处理：

   POST /my_index/_doc?pipeline=attachment
   {
     "content": "BASE64_ENCODED_FILE_CONTENT"
   }
   

3. 存储的文档内容：执行成功后，Elasticsearch会存储提取出的attachment字段（文件内容和元数据），而不会保存原始的content字段。

   文档的索引可能看起来像这样：

   {
        
     "_index": "my_index",
     "_id": "1",
     "_source": {
        
       "attachment": {
        
         "content": "This is the extracted text from the file...",
         "content_type": "application/pdf",
         "language": "en",
         "author": "Author Name",
         "content_length": 12345
       }
     }
   }
   

总结

这个Pipeline的作用是从文档中的附件（如PDF、Word、TXT文件等）提取内容和元数据，进而删除原始的Base64编码数据，以优化存储并为全文搜索等操作做好准备。

2、如何设置attachment处理器取出指定字段

在Elasticsearch的attachment处理器中，如果您不想提取文档属性中的标题（title），可以通过properties参数来控制要提取哪些字段。**properties**参数允许您指定只提取某些元数据字段，避免提取不需要的字段（如title） 。

如何设置attachment处理器不取出title字段

您可以在attachment处理器的配置中使用properties参数，明确指定需要提取的字段，并排除不需要的title字段。

示例：不导出title

PUT /_ingest/pipeline/attachment
{
   
  "description": "提取附件信息，不包括标题",
  "processors": [
    {
   
      "attachment": {
   
        "field": "content",
        "properties": ["content", "content_type", "language", "author", "content_length"],
        "ignore_missing": true
      }
    },
    {
   
      "remove": {
   
        "field": "content"
      }
    }
  ]
}

解释：

• properties：该参数定义了要提取的具体字段。在示例中，

  properties
  

  被设置为：

  • content: 文件实际文本内容
  • content_type: 文件的 MIME 类型（如application/pdf）
  • language: 文件语言
  • author: 文件的作者
  • content_length: 文件内容长度（字节数）

通过明确指定这些字段，attachment处理器只会提取你需要的字段，不会提取title字段。

其他可能提取的字段：

如果您想进一步控制其他可能的元数据字段，以下是attachment处理器支持的常见字段列表：

• content: 文件实际文本内容
• content_type: 文件类型（如application/pdf、application/msword等）
• language: 文件的语言（如en、fr）。
• author: 文档的作者（如果存在）。
• title: 文档的标题（如果存在）。
• date: 文章创建日期
• keywords: 文档中可能存在的关键词。
• content_length: 文件内容的字节数

总结：

通过在attachment处理器中使用properties参数，您可以精确控制哪些字段会被提取。如果您不需要提取文件的title，只需要在properties中修复即可，就像上面的例子那样明确指定所需的其他字段。

3、properties参数类型

在Elasticsearch的Ingest Attachment Processor中，当你不指定properties参数时，它默认会提取文件的所有可用元数据属性，如title（标题）、author（作者）、content_type（文件类型）等。这些元数据会存储在生成的attachment字段中。

来说，取出的元数据存储在不同的字段中，每个字段对应不同的元数据类型，存储的数据类型根据属性的内容取不同。以下是主要元数据属性对应其类型：

1. content（文件内容）

• 類型:string

• 说明: 提取出文件的实际内容。

• 示例 :

  "content": "This is the text extracted from the file..."
  

2.标题

• 类型:string或null

• 说明：提取出的文档标题（如果存在）。在很多