##################### Elasticsearch Configuration Example ##################### ## 只是挑些重要的配置選項進行注釋,其實自帶的已經(jīng)有非常細致的英文注釋了!# https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html#################################### Cluster ################################### # 代表一個集群,集群中有多個節(jié)點,其中有一個為主節(jié)點,這個主節(jié)點是可以通過選舉產(chǎn)生的,主從節(jié)點是對于集群內(nèi)部來說的. # es的一個概念就是去中心化,字面上理解就是無中心節(jié)點,這是對于集群外部來說的,因為從外部來看es集群,在邏輯上是個整體,你與任何一個節(jié)點的通信和與整個es集群通信是等價的。 # cluster.name可以確定你的集群名稱,當你的elasticsearch集群在同一個網(wǎng)段中elasticsearch會自動的找到具有相同cluster.name的elasticsearch服務(wù). # 所以當同一個網(wǎng)段具有多個elasticsearch集群時cluster.name就成為同一個集群的標識. # cluster.name: elasticsearch #################################### Node ##################################### # https://www.elastic.co/guide/en/elasticsearch/reference/5.1/modules-node.html#master-node# 節(jié)點名稱同理,可自動生成也可手動配置. # node.name: node-1# 允許一個節(jié)點是否可以成為一個master節(jié)點,es是默認集群中的第一臺機器為master,如果這臺機器停止就會重新選舉master. # node.master: true # 允許該節(jié)點存儲數(shù)據(jù)(默認開啟) # node.data: true # 配置文件中給出了三種配置高性能集群拓撲結(jié)構(gòu)的模式,如下： # 1. 如果你想讓節(jié)點從不選舉為主節(jié)點,只用來存儲數(shù)據(jù),可作為負載器 # node.master: false # node.data: true # node.ingest: true #默認true# 2. 如果想讓節(jié)點成為主節(jié)點,且不存儲任何數(shù)據(jù),并保有空閑資源,可作為協(xié)調(diào)器 # node.master: true # node.data: false# node.ingest: true# 3. 如果想讓節(jié)點既不稱為主節(jié)點,又不成為數(shù)據(jù)節(jié)點,那么可將他作為搜索器,從節(jié)點中獲取數(shù)據(jù),生成搜索結(jié)果等 # node.master: false # node.data: false # node.ingest: true## 4. 僅作為協(xié)調(diào)器 # node.master: false # node.data: false# node.ingest: false# 監(jiān)控集群狀態(tài)有一下插件和API可以使用: # Use the Cluster Health API [http://localhost:9200/_cluster/health], the # Node Info API [http://localhost:9200/_nodes] or GUI tools # such as <http://www.elasticsearch.org/overview/marvel/>, # A node can have generic attributes associated with it, which can later be used # for customized shard allocation filtering, or allocation awareness. An attribute # is a simple key value pair, similar to node.key: value, here is an example: # 每個節(jié)點都可以定義一些與之關(guān)聯(lián)的通用屬性，用于后期集群進行碎片分配時的過濾# node.rack: rack314 # 默認情況下，多個節(jié)點可以在同一個安裝路徑啟動，如果你想讓你的es只啟動一個節(jié)點，可以進行如下設(shè)置# node.max_local_storage_nodes: 1 #################################### Index #################################### # 設(shè)置索引的分片數(shù),默認為5 #index.number_of_shards: 5 # 設(shè)置索引的副本數(shù),默認為1: #index.number_of_replicas: 1 # 配置文件中提到的最佳實踐是,如果服務(wù)器夠多,可以將分片提高,盡量將數(shù)據(jù)平均分布到大集群中去# 同時,如果增加副本數(shù)量可以有效的提高搜索性能 # 需要注意的是,"number_of_shards" 是索引創(chuàng)建后一次生成的,后續(xù)不可更改設(shè)置 # "number_of_replicas" 是可以通過API去實時修改設(shè)置的 #################################### Paths #################################### # 配置文件存儲位置 # path.conf: /path/to/conf # 數(shù)據(jù)存儲位置(單個目錄設(shè)置) # path.data: /path/to/data # 多個數(shù)據(jù)存儲位置,有利于性能提升 # path.data: /path/to/data1,/path/to/data2 # 臨時文件的路徑 # path.work: /path/to/work # 日志文件的路徑 # path.logs: /path/to/logs # 插件安裝路徑 # path.plugins: /path/to/plugins #################################### Plugin ################################### # 設(shè)置插件作為啟動條件,如果一下插件沒有安裝,則該節(jié)點服務(wù)不會啟動 # plugin.mandatory: mapper-attachments,lang-groovy ################################### Memory #################################### # 當JVM開始寫入交換空間時（swapping）ElasticSearch性能會低下,你應(yīng)該保證它不會寫入交換空間 # 設(shè)置這個屬性為true來鎖定內(nèi)存,同時也要允許elasticsearch的進程可以鎖住內(nèi)存,linux下可以通過 `ulimit -l unlimited` 命令 # bootstrap.mlockall: true # 確保 ES_MIN_MEM 和 ES_MAX_MEM 環(huán)境變量設(shè)置為相同的值,以及機器有足夠的內(nèi)存分配給Elasticsearch # 注意:內(nèi)存也不是越大越好,一般64位機器,最大分配內(nèi)存別才超過32G ############################## Network And HTTP ############################### # 設(shè)置綁定的ip地址,可以是ipv4或ipv6的,默認為0.0.0.0 # network.bind_host: 192.168.0.1 #只有本機可以訪問http接口# 設(shè)置其它節(jié)點和該節(jié)點交互的ip地址,如果不設(shè)置它會自動設(shè)置,值必須是個真實的ip地址 # network.publish_host: 192.168.0.1 # 同時設(shè)置bind_host和publish_host上面兩個參數(shù) # network.host: 192.168.0.1 #綁定監(jiān)聽IP# 設(shè)置節(jié)點間交互的tcp端口,默認是9300 # transport.tcp.port: 9300 # 設(shè)置是否壓縮tcp傳輸時的數(shù)據(jù)，默認為false,不壓縮# transport.tcp.compress: true # 設(shè)置對外服務(wù)的http端口,默認為9200 # http.port: 9200 # 設(shè)置請求內(nèi)容的最大容量,默認100mb # http.max_content_length: 100mb # 使用http協(xié)議對外提供服務(wù),默認為true,開啟 # http.enabled: false ###################### 使用head等插件監(jiān)控集群信息，需要打開以下配置項 ############ http.cors.enabled: true# http.cors.allow-origin: "*"# http.cors.allow-credentials: true################################### Gateway ################################### # gateway的類型,默認為local即為本地文件系統(tǒng),可以設(shè)置為本地文件系統(tǒng) # gateway.type: local # 下面的配置控制怎樣以及何時啟動一整個集群重啟的初始化恢復(fù)過程 # (當使用shard gateway時,是為了盡可能的重用local data(本地數(shù)據(jù))) # 一個集群中的N個節(jié)點啟動后,才允許進行恢復(fù)處理 # gateway.recover_after_nodes: 1 # 設(shè)置初始化恢復(fù)過程的超時時間,超時時間從上一個配置中配置的N個節(jié)點啟動后算起 # gateway.recover_after_time: 5m # 設(shè)置這個集群中期望有多少個節(jié)點.一旦這N個節(jié)點啟動(并且recover_after_nodes也符合), # 立即開始恢復(fù)過程(不等待recover_after_time超時) # gateway.expected_nodes: 2 ############################# Recovery Throttling ############################# # 下面這些配置允許在初始化恢復(fù),副本分配,再平衡,或者添加和刪除節(jié)點時控制節(jié)點間的分片分配 # 設(shè)置一個節(jié)點的并行恢復(fù)數(shù) # 1.初始化數(shù)據(jù)恢復(fù)時,并發(fā)恢復(fù)線程的個數(shù),默認為4 # cluster.routing.allocation.node_initial_primaries_recoveries: 4 # 2.添加刪除節(jié)點或負載均衡時并發(fā)恢復(fù)線程的個數(shù),默認為2 # cluster.routing.allocation.node_concurrent_recoveries: 2 # 設(shè)置恢復(fù)時的吞吐量(例如:100mb,默認為0無限制.如果機器還有其他業(yè)務(wù)在跑的話還是限制一下的好) # indices.recovery.max_bytes_per_sec: 20mb # 設(shè)置來限制從其它分片恢復(fù)數(shù)據(jù)時最大同時打開并發(fā)流的個數(shù),默認為5 # indices.recovery.concurrent_streams: 5 # 注意: 合理的設(shè)置以上參數(shù)能有效的提高集群節(jié)點的數(shù)據(jù)恢復(fù)以及初始化速度 ################################## Discovery ################################## # 設(shè)置這個參數(shù)來保證集群中的節(jié)點可以知道其它N個有master資格的節(jié)點.默認為1,對于大的集群來說,可以設(shè)置大一點的值(2-4) # discovery.zen.minimum_master_nodes: 1 # 探查的超時時間,默認3秒,提高一點以應(yīng)對網(wǎng)絡(luò)不好的時候,防止腦裂 # discovery.zen.ping.timeout: 3s # For more information, see # <http://elasticsearch.org/guide/en/elasticsearch/reference/current/modules-discovery-zen.html> # 設(shè)置是否打開多播發(fā)現(xiàn)節(jié)點.默認是true. # 當多播不可用或者集群跨網(wǎng)段的時候集群通信還是用單播吧 # discovery.zen.ping.multicast.enabled: false # 這是一個集群中的主節(jié)點的初始列表,當節(jié)點(主節(jié)點或者數(shù)據(jù)節(jié)點)啟動時使用這個列表進行探測 # discovery.zen.ping.unicast.hosts: ["host1", "host2:port"] # Slow Log部分與GC log部分略,不過可以通過相關(guān)日志優(yōu)化搜索查詢速度 ################ X-Pack ############################################ 官方插件 相關(guān)設(shè)置請查看此處# https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html# ############## Memory(重點需要調(diào)優(yōu)的部分) ################ # Cache部分: # es有很多種方式來緩存其內(nèi)部與索引有關(guān)的數(shù)據(jù).其中包括filter cache # filter cache部分: # filter cache是用來緩存filters的結(jié)果的.默認的cache type是node type.node type的機制是所有的索引內(nèi)部的分片共享filter cache.node type采用的方式是LRU方式.即:當緩存達到了某個臨界值之后，es會將最近沒有使用的數(shù)據(jù)清除出filter cache.使讓新的數(shù)據(jù)進入es. # 這個臨界值的設(shè)置方法如下：indices.cache.filter.size 值類型：eg.:512mb 20%。默認的值是10%。 # out of memory錯誤避免過于頻繁的查詢時集群假死 # 1.設(shè)置es的緩存類型為Soft Reference,它的主要特點是據(jù)有較強的引用功能.只有當內(nèi)存不夠的時候,才進行回收這類內(nèi)存,因此在內(nèi)存足夠的時候,它們通常不被回收.另外,這些引用對象還能保證在Java拋出OutOfMemory異常之前,被設(shè)置為null.它可以用于實現(xiàn)一些常用圖片的緩存,實現(xiàn)Cache的功能,保證最大限度的使用內(nèi)存而不引起OutOfMemory.在es的配置文件加上index.cache.field.type: soft即可. # 2.設(shè)置es最大緩存數(shù)據(jù)條數(shù)和緩存失效時間,通過設(shè)置index.cache.field.max_size: 50000來把緩存field的最大值設(shè)置為50000,設(shè)置index.cache.field.expire: 10m把過期時間設(shè)置成10分鐘. # index.cache.field.max_size: 50000 # index.cache.field.expire: 10m # index.cache.field.type: soft # field data部分&&circuit breaker部分： # 用于fielddata緩存的內(nèi)存數(shù)量,主要用于當使用排序,faceting操作時,elasticsearch會將一些熱點數(shù)據(jù)加載到內(nèi)存中來提供給客戶端訪問,但是這種緩存是比較珍貴的,所以對它進行合理的設(shè)置. # 可以使用值：eg:50mb 或者 30％(節(jié)點 node heap內(nèi)存量),默認是：unbounded #indices.fielddata.cache.size： unbounded # field的超時時間.默認是-1,可以設(shè)置的值類型: 5m #indices.fielddata.cache.expire: -1 # circuit breaker部分: # 斷路器是elasticsearch為了防止內(nèi)存溢出的一種操作,每一種circuit breaker都可以指定一個內(nèi)存界限觸發(fā)此操作,這種circuit breaker的設(shè)定有一個最高級別的設(shè)定:indices.breaker.total.limit 默認值是JVM heap的70%.當內(nèi)存達到這個數(shù)量的時候會觸發(fā)內(nèi)存回收# 另外還有兩組子設(shè)置： #indices.breaker.fielddata.limit:當系統(tǒng)發(fā)現(xiàn)fielddata的數(shù)量達到一定數(shù)量時會觸發(fā)內(nèi)存回收.默認值是JVM heap的70% #indices.breaker.fielddata.overhead:在系統(tǒng)要加載fielddata時會進行預(yù)先估計,當系統(tǒng)發(fā)現(xiàn)要加載進內(nèi)存的值超過limit * overhead時會進行進行內(nèi)存回收.默認是1.03 #indices.breaker.request.limit:這種斷路器是elasticsearch為了防止OOM(內(nèi)存溢出),在每次請求數(shù)據(jù)時設(shè)定了一個固定的內(nèi)存數(shù)量.默認值是40% #indices.breaker.request.overhead:同上,也是elasticsearch在發(fā)送請求時設(shè)定的一個預(yù)估系數(shù),用來防止內(nèi)存溢出.默認值是1 # Translog部分: # 每一個分片(shard)都有一個transaction log或者是與它有關(guān)的預(yù)寫日志,(write log),在es進行索引(index)或者刪除(delete)操作時會將沒有提交的數(shù)據(jù)記錄在translog之中,當進行flush 操作的時候會將tranlog中的數(shù)據(jù)發(fā)送給Lucene進行相關(guān)的操作.一次flush操作的發(fā)生基于如下的幾個配置 #index.translog.flush_threshold_ops:當發(fā)生多少次操作時進行一次flush.默認是 unlimited #index.translog.flush_threshold_size:當translog的大小達到此值時會進行一次flush操作.默認是512mb #index.translog.flush_threshold_period:在指定的時間間隔內(nèi)如果沒有進行flush操作,會進行一次強制flush操作.默認是30m #index.translog.interval:多少時間間隔內(nèi)會檢查一次translog,來進行一次flush操作.es會隨機的在這個值到這個值的2倍大小之間進行一次操作,默認是5s #index.gateway.local.sync:多少時間進行一次的寫磁盤操作,默認是5s # 以上的translog配置都可以通過API進行動態(tài)的設(shè)置 - See more at: http://bigbo.github.io/pages/2015/04/10/elasticsearch_config/#sthash.AvOSUcQ4.dpuf
本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請
點擊舉報。
