Hero Image
喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理

喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理 規劃時建議要考量的項目 Search 在執行時,一個 Shard 會分配一個 Thread,數量太多反而會拖慢速度 一個 Node 依照不同的功能分類有多種 Thread pool, 其中 search (count/search/suggest) 的 size 是 int((# of allocated processors * 3) / 2) + 1 並且 queue_size 預設是 1000 ,而 write (index/delete/update/bulk) 的 size 是 # of allocated processors ,預設的 queue_size 也是 1000。( 官方文件 - Thread pools ) 大多數的 searching 在執行時,查詢的資料是會橫跨多個 shards,而每個 shard 在搜尋時會使用一個 CPU thread 在處理執行,也就是: 如果有多個 shard,可以讓查詢的處理並發在多個 shard 身上同時進行,以增加處理的效率。 shard 數量愈多,node thread pool 的消耗也愈多,因此 thread pool 數量不足的話,反而會影響查詢的執行效率。 每個 Shard 都有基本運作的成本,數量太多成本愈高 指定 Shard 在 Cluster 中的分配方式,以優化儲存硬體的資源 刪除整批資料時,以 Index 為單位來刪除,而不要從一批 Documents 來刪除 Document 的刪除,在 Elasticsearch 的運作上,是產生另外一筆 “標示刪除” 的記錄在 segment files 中,所以這些都還是會持續的佔用系統資源,一直到 segment merge 之後,才會真正的被移除。