Inštalácia

Podľa https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html

V súčasnosti (4.7.2019) podporovaná verzia je 6.6.2.

Engine

V Application Engine sa ES používa na vyhľadávanie inštancií a ich úloh. Keďže ES používa dva rôzne typy na ukladanie reťazcov, niektoré atribúty týchto objektov sú osobitne ukladané pre potreby vyhľadávania a osobitne pre potreby sortovania.

ElasticCase

Trieda ElasticCase reprezentuje záznam inštancie v ES. Názov indexu do ktorého sa záznamy ukladajú je definovaný v application.properties, konkrétne hodnotou property elastic spring.data.elasticsearch.index.case.

Trieda obsahuje nasledovné atribúty, z ktorých väčšina je len kópiou atribútov insťancie:

id - vnútorné Id ES
stringId - ObjectId inštancie uložené ako String
visualId
processIdentifier
title - analyzovaný názov inštancie, používaný na vyhľadávanie
titleSortable - neanalyzovaný názov inštancie, používaný na sortovanie
creationDate
creationDateSortable - dátum vytvorenia ako timestamp, používaný na sortovanie
author - MySQL Id autora inštancie
authorName
authorEmail
dataSet
- value - analyzovaná hodnota používaná na vyhľadávanie
- sortable - neanalyzovaná hodnota používaná na sortovanie
taskIds - zoznam import Id taskov
taskMongoIds - zoznam ObjectId taskov
enabledRoles - zoznam ObjectId povolených rolí v inštancii

ElasticTask

API

ES štandardne komunikuje na dvoch portoch:

9200 - HTTP komunikácia s klientom (Postman, Kibana, ...),
9300 - TCP komunikácia medzi nodami alebo Java klientom aplikácie.

Zoznam indexov

curl -X GET '<IP_adresa>:<HTTP_port>/_cat/indices?v

V prípade odpovede health status index uuid pri rep docs.count docs.deleted store.size pri.store.size neboli ešte vytvorené žiadne indexy. Pokiaľ boli už index vytvorené vráti príkaz nasledujúcu odpoveď:

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open nae_dev_case iONvbCLLR1KqVxk7oZuCaA 5 1 0 0 1.2kb 1.2kb
yellow open nae_dev_task jHS8pkXnQbO47agElL998g 5 1 0 0 1.2kb 1.2kb

Vytvorenie prázdneho indexu

Vytvorenie indexu

curl -X PUT '<IP_adresa>:<HTTP_port>/<nazov_indexu>?pretty

Po vytvorení indexu je potrebné nastaviť mapovanie. Mapovanie si nastaví buď aplikácia automaticky pri prvom štarte, alebo je nutné ho nastaviť manuálne:

curl -X PUT "10.2.162.61:9200/case/case/_mapping?pretty" -H 'Content-Type: application/json' -d'
{
	"properties": {
		"author": {
        	"type": "long"
		},
		"authorEmail": {
			"type": "keyword"
		},
		"authorName": {
			"type": "text",
			"fields": {
				"keyword": {
					"type": "keyword",
					"ignore_above": 256
				}
			}
		},
		"creationDate": {
			"type": "long"
		},
		"dataSet": {
			"properties": {
			}
		},
		"enabledRoles": {
			"type": "keyword"
		},
		"id": {
			"type": "text",
			"fields": {
				"keyword": {
					"type": "keyword",
					"ignore_above": 256
				}
			}
		},
		"processIdentifier": {
			"type": "keyword"
		},
		"stringId": {
			"type": "keyword"
		},
		"taskIds": {
			"type": "keyword"
		},
		"taskMongoIds": {
			"type": "keyword"
		},
		"title": {
			"type": "text",
			"fields": {
				"keyword": {
					"type": "keyword",
					"ignore_above": 256
				}
			}
		},
		"visualId": {
			"type": "keyword"
		}
	}
}'

Zmazanie indexu

Zmazanie celého indexu

curl -X DELETE '<IP_adresa>:<HTTP_port>/<nazov_indexu>'

Zmazanie dokumentov

Dokumenty je možné mazať pomocou podobných query ako pri vyhľadávaní.

Zmazanie všetkých dokumentov

curl -X DELETE '<IP_adresa>:<HTTP_port>/<nazov_indexu>/<nazov_typu>/_all'

Zmazanie hľadaného dokumentu

curl -X DELETE 'http://10.2.162.61:9200/case/case/_query' -H 'Content-Type: application/json' -d '
{
	"query": {
		"bool" : {
			"filter" : [
				{
					"bool" : {
						"should" : [
							{
								"term" : {
									"stringId" : {
										"value" : "5d021d8f00d948473de63f10",
										"boost" : 1.0
									}
								}
							}
						],
						"adjust_pure_negative" : true,
						"boost" : 1.0
					}
				}
			],
			"adjust_pure_negative" : true,
			"boost" : 1.0
		}
	}
}'

Vyhľadávanie

Vyhľadanie ľubovoľných dokumentov

curl -X GET '<IP_adresa>:<HTTP_port>/<nazov_indexu>/<nazov_typu>/_search'

Príklad vyhľadávania podľa konkrétneho atribútu stringId:

Vyhľadanie konkrétnych dokumentov

curl -X GET '<IP_adresa>:<HTTP_port>/<nazov_indexu>/<nazov_typu>/_search' -H 'Content-Type: application/json' -d '
{
	"query": {
		"bool" : {
			"filter" : [
				{
					"bool" : {
						"should" : [
							{
								"term" : {
									"stringId" : {
										"value" : "5d021d8f00d948473de63f10",
										"boost" : 1.0
									}
								}
							}
						],
						"adjust_pure_negative" : true,
						"boost" : 1.0
					}
				}
			],
			"adjust_pure_negative" : true,
			"boost" : 1.0
		}
	}
}'

Update

Update query sa skladá z dvoch častí. Prvá časť je query na vyhľadanie všetých dokumentov, na ktoré sa má update aplikovať. Druhá časť je skript, ktorý hovorí čo sa má upraviť:

curl -X POST '<IP_adresa>:<HTTP_port>/<nazov_indexu>/_update_by_query' -H 'Content-Type: application/json' -d '
{
	"query": {
		...
	},
  	"script" : "..."
}'

Príklad:

curl -X POST 'localhost:9200/case/_update_by_query' -H 'Content-Type: application/json' -d '
{
	"query": {
		"term": {
			"stringId": "5d5539603945c30e68e26ba8"
		}
	},
	"script": "ctx._source.lastModified = 1565860000000L"
}'

Zálohovanie

Zálohovanie ES je riešené pomocou snapshotov buď jednotlivých indexov, alebo celého klastra.

Konfigurácia repozitára

$ sudo mkdir /var/lib/elasticsearch/backup
$ sudo chown elasticsearch:elasticsearch /var/lib/elasticsearch/backup
$ sudo nano /etc/elasticsearch/elasticsearch.yml

# ----------------------------------- Paths ------------------------------------
#
# Path to directory where to store the data (separate multiple locations by comma):
#
path.data: /var/lib/elasticsearch
#
# Path to log files:
#
path.logs: /var/log/elasticsearch
path.repo: ["/var/lib/elasticsearch/backup"]

$ sudo systemctl restart elasticsearch.service

Vytvorenie repozitára

curl -X PUT -H "Content-Type: application/json;charset=UTF-8" '<IP_adresa>:<HTTP_port>/_snapshot/esbackup?pretty' -d '
{
	"type":"fs",
	"settings": {
		"location":"<cesta_k_backup_repozitaru>",
		"compress":true
	}
}'

$ curl -X PUT -H "Content-Type: application/json;charset=UTF-8" 'localhost:9200/_snapshot/esbackup?pretty' -d '
{
	"type":"fs",
	"settings": {
		"location": "/var/lib/elasticsearch/backup",
		"compress": true
	}
}'
{
  "acknowledged" : true
}

Vytvorenie zálohy klastra

curl -X PUT '<IP_adresa>:<HTTP_port>/_snapshot/esbackup/<nazov_snapshotu>?wait_for_completion=true&pretty=true'

$ curl -XPUT 'localhost:9200/_snapshot/esbackup/snapshot_2019_07_04?wait_for_completion=true&pretty=true'
{
  "snapshot" : {
    "snapshot" : "snapshot_2019_07_04",
    "uuid" : "x0czgoSdRJ6ksFeKRFGU_w",
    "version_id" : 6060299,
    "version" : "6.6.2",
    "indices" : [
      "nae",
      "case",
      "case2",
      "nae_case",
      "task",
      "index",
      "union_dev_task",
      "union_dev_case"
    ],
    "include_global_state" : true,
    "state" : "SUCCESS",
    "start_time" : "2019-07-04T11:18:23.637Z",
    "start_time_in_millis" : 1562239103637,
    "end_time" : "2019-07-04T11:18:28.733Z",
    "end_time_in_millis" : 1562239108733,
    "duration_in_millis" : 5096,
    "failures" : [ ],
    "shards" : {
      "total" : 40,
      "failed" : 0,
      "successful" : 40
    }
  }
}

Obnovovanie zálohy

Vytvorenie repozitára

curl -XPUT -H 'Content-Type: application/json;charset=UTF-8' '<IP_adresa>:<HTTP_port>/_snapshot/esrestore' -d '
{
	"type":"fs",
	"settings":{
		"location":"<cesta_k_backapu>",
		"compress":true
	}
}'

$ curl -XPUT -H 'Content-Type: application/json;charset=UTF-8' 'localhost:9200/_snapshot/esrestore' -d '
{
	"type":"fs",
	"settings":{
		"location":"/var/lib/elasticsearch/backup",
		"compress":true
	}
}'

{
	"acknowledged":true
}

Obnovenie zálohy

Pred obnovením treba dropnúť všetky indexy

curl -XDELETE localhost:9200/*

curl -XPOST '<IP_adresa>:<HTTP_port>/_snapshot/esrestore/<nazov_snapshotu>/_restore?wait_for_completion=true&pretty=true'

$ curl -XPOST 'localhost:9200/_snapshot/esrestore/snapshot_2019_07_04/_restore?wait_for_completion=true&pretty=true'
{
  "snapshot" : {
    "snapshot" : "snapshot_2019_07_04",
    "indices" : [
      "case2",
      "nae",
      "task",
      "union_dev_task",
      "index",
      "nae_case",
      "case",
      "union_dev_case"
    ],
    "shards" : {
      "total" : 40,
      "failed" : 0,
      "successful" : 40
    }
  }
}

Reindexácia

Reindexaáciu je možné spustiť pomocou volania curl:

curl -v -XGET <IP_ADRESA>:<HTTP_PORT>/api/aut/login --user <LOGIN>:<PASS> | grep XSRF-TOKEN

Priklad volania:

curl -v -XGET 10.2.162.60:8080/api/aut/login --user netgrif:Monitor10 | grep XSRF-TOKEN

V odpovedi sa nachadza XSRF token (03ab3528-da27-40c4-95a1-a786d1ddffc7) a session (YTQ4Y2JlM2ItNjhiYi00OTM0LTliNjYtZDgzMDhjOGEzZmQ5):

> GET /api/aut/login HTTP/1.1
> Host: 10.2.162.60:8080
> Authorization: Basic bmV0Z3JpZjpNb25pdG9yMTA=
> User-Agent: curl/7.47.0
> Accept: */*
> 
< HTTP/1.1 200 
< Set-Cookie: XSRF-TOKEN=03ab3528-da27-40c4-95a1-a786d1ddffc7; Path=/
< Last-Modified: Tue, 16 Jul 2019 10:26:00 GMT
< Accept-Ranges: bytes
< X-Content-Type-Options: nosniff
< X-XSS-Protection: 1; mode=block
< Cache-Control: no-cache, no-store, max-age=0, must-revalidate
< Pragma: no-cache
< Expires: 0
< X-Frame-Options: SAMEORIGIN
< Set-Cookie: SESSION=YTQ4Y2JlM2ItNjhiYi00OTM0LTliNjYtZDgzMDhjOGEzZmQ5; Max-Age=14400; Expires=Wed, 17 Jul 2019 20:56:05 +0200; Path=/; HttpOnly; SameSite=Lax
< vary: accept-encoding
< Content-Type: text/html;charset=UTF-8
< Content-Language: en-US
< Content-Length: 6302
< Date: Wed, 17 Jul 2019 14:56:05 GMT

Nasledne je potrebné zavolať curl na samotnú reindexáciu:

curl -v -XPOST <IP_ADRESA>:<HTTP_PORT>/api/elastic/reindex --user <LOGIN>:<PASS> -H 'X-XSRF-TOKEN: <XSRF>' -H 'Cookie: SESSION=<SESSION>; XSRF-TOKEN=<XSRF>' -H 'Content-Type: application/json' -d '<FILTER>'

Parametre XSRF a SESSION treba nahradiť údajmi z odpovede z prvého volania:

curl -v -XPOST 10.2.162.60:8080/api/elastic/reindex --user netgrif:Monitor10 -H 'X-XSRF-TOKEN: 03ab3528-da27-40c4-95a1-a786d1ddffc7' -H 'Cookie: SESSION=YTQ4Y2JlM2ItNjhiYi00OTM0LTliNjYtZDgzMDhjOGEzZmQ5; XSRF-TOKEN=03ab3528-da27-40c4-95a1-a786d1ddffc7' -H 'Content-Type: application/json' -d '{"petriNet": { "identifier": "union_sprnp" }}'

Logovanie

Pre zapnutie detailného logovania všetkých query je treba najprv spustiť nasledujúci prikaz:

curl -X PUT "<IP_ADRESA>:<HTTP_PORT>/<NAZOV_INDEXU>/_settings?preserve_existing=true&pretty=true" \
    -H 'Content-Type: application/json; charset=utf-8' \
    -d $'{
 "index": {
   "search.slowlog.threshold.query.trace": "0ms",
   "search.slowlog.threshold.fetch.trace": "0ms",
   "search.slowlog.level": "trace",
   "indexing.slowlog.threshold.index.trace": "0ms",
   "indexing.slowlog.level": "trace",
   "indexing.slowlog.source": "true"
 }
}'

Odpoveď by mala byt {"acknowledged":true}. Následne budú všetky query logované v súboroch podľa toho, či sa jedná o search query alebo indexovaciu query:

/var/log/elasticsearch/elasticsearch_index_indexing_slowlog.log

/var/log/elasticsearch/elasticsearch_index_search_slowlog.log

Browser not supported