Administrace komentářů

Tak, už mám výsledek simulace deduplikace :

traversing objset 0, 964 objects, 0 blocks so far
traversing objset 21, 17 objects, 0 blocks so far
traversing objset 48, 12 objects, 0 blocks so far
traversing objset 55, 282 objects, 5 blocks so far
traversing objset 63, 2162 objects, 13886490 blocks so far
traversing objset 84, 425 objects, 175125037 blocks so far
traversing objset 96, 25491 objects, 178035147 blocks so far
traversing objset 108, 7 objects, 189724681 blocks so far
traversing objset 239, 27 objects, 189724681 blocks so far
traversing objset 790, 46 objects, 189725115 blocks so far
traversing objset 796, 11713 objects, 189919683 blocks so far
traversing objset 818, 1018960 objects, 190142211 blocks so far
Simulated DDT histogram:

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1     187M   23.4T   22.1T   22.2T     187M   23.4T   22.1T   22.2T
     2    2.49M    319G    262G    264G    5.48M    701G    564G    569G
     4     477K   59.6G   29.9G   30.7G    2.27M    290G    142G    146G
     8    43.0K   5.37G   3.59G   3.62G     362K   45.3G   29.8G   30.1G
    16    2.30K    294M    148M    151M    51.2K   6.38G   3.29G   3.37G
    32      459   57.3M   18.6M   19.0M    21.2K   2.64G    618M    639M
    64      137   17.1M    506K    648K    9.06K   1.13G   34.4M   43.9M
   128        9   1.00M      9K     36K    1.57K    180M   1.57M   6.27M
   256        3    384K      3K     12K    1.03K    132M   1.03M   4.12M
   512        3    384K      9K     12K    2.26K    290M   6.21M   9.05M
   32K        2    256K      2K      8K    91.1K   11.4G   91.1M    364M
 Total     190M   23.8T   22.4T   22.5T     196M   24.5T   22.8T   22.9T

dedup = 1.02, compress = 1.07, copies = 1.00, dedup * compress / copies = 1.09

Podle výpočtu na stránkách oracle bych pro svůj 24TiB pool potřeboval minimálně 61GiB ram + k tomu ještě standardní režie. Takže jen deduplikace podle Oracle sežere skoro 2,6GiB/1TiB. A to se bavíme jen o deduplikační tabulce. Další ram je např. potřeba na checksumy všech dat v poolu.
Pokud budeš mít míň, můžeš se dostat do stavu, že datasety nepřipojíš, dokud nedoplníš fyzickou ram, jak se stalo mně, když jsem to testoval.

Jinak ZFS používá/má v ram :
- read cache
- write cache
- checksumy všech bloků v poolu
- paritní data
- deduplikační tabulku (viz onen výpočet)
- jisté režie má i komprese

Každopádně ano, 1GiB/1TiB může být v nemálo situacích přestřelený požadavek, ale pokud chceš trochu rozumně cachovat a používat pár základních fičur, tak je to ideální poměr, a to prosím bez deduplikace.
Zdar Max