當前位置:首頁 » 服務存儲 » es多路徑存儲
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

es多路徑存儲

發布時間: 2023-06-28 09:23:58

『壹』 儲存位置怎麼修改

您好:
根據您的疑問,由於您沒有提供具體的型號信息,如果為三星手機,若您將手機應用程序移動到SD卡中,建議您:
1.若您使用的是安裝2.3以及之前的安裝系統,支持將軟體移動到SD卡,操作:設置-應用程序-管理應用程序-選中某個程序-移動到SD卡。
2.若使用的安裝4.2/4.3操作系統,如需將軟體移動到外置SD卡,請您嘗試:設定-更多(一般)應用程序管理器-選中某個程序-移動到SD卡(若沒有此選項,則不支持該功能)。
3.部分升級到安卓4.3操作系統的機型,請您嘗試:設定-更多)應用程序管理器-選中某個程序-移動到SD卡(若沒有此選項,則不支持該功能)
註:不是所有的程序均可以移動到SD卡,具體根據所下載的軟體決定。
您可以將手機內存儲的多媒體等文件移動至外置SD卡中:
1.多媒體文件:打開我的文件-選擇需要移動的文件夾-菜單鍵-移動至-extsdcard中
2.如果是照相機拍攝的圖片/視頻,可提前設置存儲路徑為SD卡,打開照相機-設置(小齒輪圖標)-存儲器-內存卡
3.自帶瀏覽器(也就是一個「地球」圖標)下載選項可修改路徑:瀏覽器-菜單鍵-設定-高級設定/內容設置-默認存儲器-SD卡/設備(僅是下載存儲位置改變,如安裝應用程序仍安裝於手機內置硬碟中)
歡迎訪問三星服務預約:
http://www.samsung.com.cn/pre-booking

『貳』 ES的存儲系統

ES 內嵌式存儲系統ES (內嵌式存儲系統(embedded storage,ES))
內嵌式存儲系統(embedded storage,ES),就是把存儲介質內嵌在伺服器中,就好比現在PC中的硬碟。
優點是安裝簡單,維護方便。
缺點是每個伺服器所能夠連接的存儲介質很有限,同時存儲容量和存取速度都受到伺服器性能的限制。內嵌式存儲系統的一個致使缺點是所存儲信息的安全性和可用性必須依賴伺服器,如果伺服器出現故障,其所存儲的信息將不可用。
所以說,內嵌式存儲系統是一個封閉的系統。

『叄』 第一次用es文件瀏覽器有兩個存儲,現在只剩下內存卡的了,怎麼辦

我今天也遇到了,已經解決了,1,清除數據,2,若清除數據後再出現就再清楚數據然後找到es的安裝文件,覆蓋安裝一下。絕對搞定!

『肆』 elasticsearch多實例怎麼配置

1.1. 基本配置
elasticsearch的config文件夾裡面有兩個配置文 件:elasticsearch.yml和logging.yml,第一個是es的基本配置文件,第二個是日誌配置文件,es也是使用log4j來記錄日 志的,所以logging.yml里的設置按普通log4j配置文件來設置就行了。下面主要講解下elasticsearch.yml這個文件中可配置的東西。
cluster.name: elasticsearch
配置es的集群名稱,默認是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可以用這個屬性來區分不同的集群。
node.name: "Franz Kafka"
節點名,默認隨機指定一個name列表中名字,該列表在es的jar包中config文件夾里name.txt文件中,其中有很多作者添加的有趣名字。
node.master: true
指定該節點是否有資格被選舉成為node,默認是true,es是默認集群中的第一台機器為master,如果這台機掛了就會重新選舉master。
node.data: true
指定該節點是否存儲索引數據,默認為true。
index.number_of_shards: 5
設置默認索引分片個數,默認為5片。
index.number_of_replicas: 1
設置默認索引副本個數,默認為1個副本。
path.conf: /path/to/conf
設置配置文件的存儲路徑,默認是es根目錄下的config文件夾。
path.data: /path/to/data
設置索引數據的存儲路徑,默認是es根目錄下的data文件夾,可以設置多個存儲路徑,用逗號隔開,例:
path.data: /path/to/data1,/path/to/data2
path.work: /path/to/work
設置臨時文件的存儲路徑,默認是es根目錄下的work文件夾。
path.logs: /path/to/logs
設置日誌文件的存儲路徑,默認是es根目錄下的logs文件夾
path.plugins: /path/to/plugins
設置插件的存放路徑,默認是es根目錄下的plugins文件夾
bootstrap.mlockall: true
設置為true來鎖住內存。因為當jvm開始swapping時es的效率會降低,所以要保證它不swap,可以把ES_MIN_MEM和 ES_MAX_MEM兩個環境變數設置成同一個值,並且保證機器有足夠的內存分配給es。同時也要允許elasticsearch的進程可以鎖住內存,linux下可以通過`ulimit -l unlimited`命令。
network.bind_host: 192.168.0.1
設置綁定的ip地址,可以是ipv4或ipv6的,默認為0.0.0.0。
network.publish_host: 192.168.0.1
設置其它節點和該節點交互的ip地址,如果不設置它會自動判斷,值必須是個真實的ip地址。
network.host: 192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。
transport.tcp.port: 9300
設置節點間交互的tcp埠,默認是9300。
transport.tcp.compress: true
設置是否壓縮tcp傳輸時的數據,默認為false,不壓縮。
http.port: 9200
設置對外服務的http埠,默認為9200。
http.max_content_length: 100mb
設置內容的最大容量,默認100mb
http.enabled: false
是否使用http協議對外提供服務,默認為true,開啟。
gateway.type: local
gateway的類型,默認為local即為本地文件系統,可以設置為本地文件系統,分布式文件系統,Hadoop的HDFS,和amazon的s3伺服器。
gateway.recover_after_nodes: 1
設置集群中N個節點啟動時進行數據恢復,默認為1。
gateway.recover_after_time: 5m
設置初始化數據恢復進程的超時時間,默認是5分鍾。
gateway.expected_nodes: 2
設置這個集群中節點的數量,默認為2,一旦這N個節點啟動,就會立即進行數據恢復。
cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數據恢復時,並發恢復線程的個數,默認為4。
cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節點或負載均衡時並發恢復線程的個數,默認為4。
indices.recovery.max_size_per_sec: 0
設置數據恢復時限制的帶寬,如入100mb,默認為0,即無限制。
indices.recovery.concurrent_streams: 5
設置這個參數來限制從其它分片恢復數據時最大同時打開並發流的個數,默認為5。
discovery.zen.minimum_master_nodes: 1
設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對於大的集群來說,可以設置大一點的值(2-4)
discovery.zen.ping.timeout: 3s
設置集群中自動發現其它節點時ping連接超時時間,默認為3秒,對於比較差的網路環境可以高點的值來防止自動發現時出錯。
discovery.zen.ping.multicast.enabled: false
設置是否打開多播發現節點,默認是true。
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設置集群中master節點的初始列表,可以通過這些節點來自動發現新加入集群的節點。
下面是一些查詢時的慢日誌參數設置
index.search.slowlog.level: TRACE
index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms
index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug:500ms
index.search.slowlog.threshold.fetch.trace: 200ms

1.2. 高級配置(線程池)
一個Elasticsearch節點會有多個線程池,但重要的是下面四個:
索引(index):主要是索引數據和刪除數據操作(默認是cached類型)
搜索(search):主要是獲取,統計和搜索操作(默認是cached類型)
批量操作(bulk):主要是對索引的批量操作(默認是cached類型)
更新(refresh):主要是更新操作(默認是cached類型)
可以通過給設置一個參數來改變線程池的類型(type),例如,把索引的線程池改成blocking類型:
min: 1
size: 30
wait_time: 30s

下面是三種可以設置的線程池的類型:
cache
cache線程池是一個無限大小的線程池,如果有很多請求的話都會創建很多線程,下面是個例子:
threadpool:
index:
type: cached

fixed
fixed線程池保持固定個數的線程來處理請求隊列。
size參數設置線程的個數,默認設置是cpu核心數的5倍
queue_size可以控制待處理請求隊列的大小。默認是設置為-1,意味著無限制。當一個請求到來但隊列滿了的時候,reject_policy參數可以控制它的行為。默認是abort,會使那個請求失敗。設置成caller會使該請求在io線程中執行。
threadpool:
index:
type: fixed
size: 30
queue: 1000
reject_policy: caller

blocking
blocking線程池允許設置一個最小值(min,默認為1)和線程池大小(size,默認為cpu核心數的5倍)。它也有一個等待隊列,隊列的大小(queue_size )默認是1000,當這隊列滿了的時候。它會根據定好的等待時間(wait_time,默認是60秒)來調用io線程,如果超時沒有執行就會報錯。
threadpool:
index:
type: blocking
min: 1
size: 30
wait_time: 30s

筆者在實際工作中,由於程序啟動時即產生大量請求,導致隊列大小溢出的情況,從而查詢請求報錯,可以在以下2個解決方法權衡處理:
1、增加隊列長度,但隨之帶來的是CPU消耗高。
2、優化程序,適當控製程序的並發請求量。

1.3. 操作系統配置

1、文件句柄限制:ES在索引過程中,尤其是有很多分片和副本時,會創建若干文件。因此操作系統對打開文件數量的限制不能少於32000。對於linux伺服器,通過可以在/etc/security/limits.conf中進行修改,並且可以用ulimit命令來查看當前值。

2、節點內存配置:ES每個節點默認的2014M內存空間可能是不夠的。如果日誌文件中有out of memory error錯誤,則應將環境變數ES_HEAP_SIZE設為大於1024的值。注意該值應超過總可用物理內存的50%,剩餘內存可用作磁碟高速緩存,可大大提高搜索性能。

『伍』 es存儲目錄分析

Elasticsearch中生成的數據文件一般來說主要有三種,分別是state、index和translog。

查看ES存儲目錄,可發現有多個_state目錄,目錄下存放了以.st為後綴的文件。例如

這些st文件內容在ES源碼里被稱之為MetaData,緩存了諸如NodeState,ClusterState,IndexState,ShardState等信息

nodes/0/_state/:

這層目錄在節點級別,該目錄下的global-1.st文件存儲的是MetaData中除去IndexMetaData的部分,即一些集群級別的配置和templates。node-0.st中存儲的是NodeId。

nodes/0/indices/2Scrm6nuQOOxUN2ewtrNJw/_state/:

這層目錄在index級別,2Scrm6nuQOOxUN2ewtrNJw是IndexId,該目錄下的state-2.st文件存儲的是IndexMetaData。

nodes/0/indices/2Scrm6nuQOOxUN2ewtrNJw/0/_state/:

這層目錄在shard級別,該目錄下的state-0.st存儲的是ShardStateMetaData,包含是否是primary和allocationId等信息。

可以看到,集群相關的MetaData和Index的MetaData是在不同的目錄中存儲的。另外,集群相關的Meta會在所有的MasterNode和DataNode上存儲,而Index的Meta會在所有的MasterNode和存儲了該Index數據的DataNode上存儲。