Dotaz: Úložiště 20TB+

[Filip]

Zdravim řešim v práci takový problém je třeba pořídit úložiště o minimálni papacitě 20TB chráněné nějakým RAIDem.

 

Úložiště bude sloužit pouze k uložení velkého množství dat (video soubory), ke kterým se nebude moc často přistupovat. Bude fungovat jako odkladné místo pro právě nepoužívané soubory. Na úložiště bude nejčastěji přistupovat 1PC ostatní počítače v síti minimálně.

 

Napadlo mě koupit nějaký LSI řadič do PCI XXXX-8i s raid 5 a zapojit do toho 8x SATA HDD 4TB. Dát to do stroje na kterém se bude pracovat a bude k datům přistupovat nejčastěji ostatní by přistupovali pomocí Gbit lan.

K cache řadiči. Ze zkušenosti ze serverů nekupuji servery s řadičem bez cache paměti, ale co v tomto případě, když nepotřebuju z pole něco spouštět apod?

 

Je to reálné? Máte s tím někdo praktickou zkušenost? Budu rád za jakoukoliv praktickou radu. Budu rád za řešení s nějlepším poměrem cena/výkon. DÍKY

Odpovědi

[NN]

Nebude diskove pole vyhodnejsi, s moznosti rozsirit kapacitu do budoucna? Jaky je budget?

[Filip]

Zatím zjištuju kolik by to mohlo stát.

Za 8 HDD se dá minimálně 30 000,- plus řadič 6 000,- A mohlo by se to dát do stroje s i7, 16GB ram.

K budoucímu rozšíření kapacity, bych koupil další řadič a dal bych to do vyhrazeného pc.

[vdusek]

Osobně bych vybíral např. z produktů QNAP - http://www.qnap.com/i/en/product/

 

Pokud to nemáš na provoz, ale na hraní, postav si své vlastní

[Filip]

Taky to zvažuju.

QNAP přes iSCSI připojený do klienta, který nejčastěji na datech pracuje. A následně s klienta nasdílet LUN pro ostatní přes Windows share.

Je přes iscsi rychlejší kopírování dat oproti sambě? Mám pocit že je.

Jedině co mě nahlodává, že když se posere QNAP, tak se docela blbě dává dohromady. Jednou mě jeden SOHO Qnap donutil, celé data přesunout jinam vytvořit nově raid 1. Stalo se to po tom co jeden z disků u raid 1 odešel a při tom se rozmlátil i samotný linux na qnapu a nechtěl spustit disk.

Oproti tomu klasický HW raid mě nikdy nezklamal .. zatím :D

[Jendа]

Oproti tomu klasický HW raid mě nikdy nezklamal .. zatím :D

Ten je na prd. Odejde řadič a nikdo v ČR ho už nemá skladem? S MD RAIDem nastrkáš disky do libovolného jiného Linuxu a všechno funguje. Rozhodneš se, že chceš konverzi z RAID5 na RADI6, nebo si koupíš pár 6TB disků a chceš je přidat? Opět v Linuxu žádný problém, ale HW implementace to umí? A pak prostě libovolný jiný problém se strašně špatně ladí.

Viděl jsem HW řadiče, které měly limit na kapacitu disku (používaly 32b adresování). Viděl jsem řadič, u kterého se výrobce vysral na podporu jader 3.x. Slyšel jsem o řadiči, který ač neměl backup baterkou kecal o tom, která data už byla skutečně na disk zapsána.

Nevidím jediný důvod, proč používat HW RAID. Ještě k tomu na rotačních discích. Kdybys měl SSD, dalo by se uvažovat o tom, že ti to procesor výkonově nedá, ale u rotačních? Těžko.

[j]

Ja zas nevidim jedinej rozumnej duvod proc ve firme nasazovat sw raid ... videl sem ho tolikrat rozesranej, ze by tohle delal leda blazen. HW raid mam v kazdym serveru, a jeste se mi nestalo ze by se posral.

[vagojan]

Souhlasím... od jisté úrovně (řadič za 20k Kč a více) je HW RAID podstatně lepší. Pokud vezmu nahraditelnost řadiče.. kupříkladu u HP se prostě přendají disky do jiného serveru, s jiným řadičem. Ten pozná metadata na discích a RAID jede dál.

Raid 5 bych dal pouze na SAS disky cca do 600 - 900GB kapacity.. a to max v konfiguraci 5+1 (ideálně s hotpsare). Jakékoliv Nearline disky 2TB a výše jedině RAID10 nebo RAID60 (konfiguraci max tak 6+2, nebo 8+2).

Viděl jsem už příliš mnoho polí s kombinací NL 2TB disky, 14 disků v RAID5.. a na tom provozní VMWARE... Většinou to skončilo ztrátou dat.

[Jendа]

Souhlasím... od jisté úrovně (řadič za 20k Kč a více) je HW RAID podstatně lepší.

Proč?

[vagojan]

Většinou jsou řadiče provozovány s disky s testovaným a optimalizovaným FW. Provozují třeba automatické přepisy v případě chyby čtení (parita se lépe uchovává), kontrolují stav disků (opět propojené FW). Optimalizace počítání parity na ASIC čipech, dedikovaná zálohovaná cache, to docela výkonově pomáhá. Optimalizace raid zápisů z pohledu otáček disků a uložení sektorů (aby se nečekalo). A samozřejmě separace od OS. Kdy při IO chybě, pádu SCSI susbystému či OOM prostě pole nezávisle dozapíše data, která k zápisu byla dána.

Ale uznávám, že můj pohled je trochu vyšinutý... přeci jen prakticky denně řeším servery a storage.

[trekker.dk]

Pokud vezmu nahraditelnost řadiče.. kupříkladu u HP se prostě přendají disky do jiného serveru, s jiným řadičem. Ten pozná metadata na discích a RAID jede dál.

AFAIK tohle neplatí obecně - jinej server se stejným řadičem nebo smůla.

[vagojan]

Řadič musí mít stejné funkce, třeba RAID6 (a pro něj zálohovanou cache), firmware v rámci horizontu slučitelnosti, ale není to stejný typ. Jde to i mezigeneračně.

[Jendа]

Jak se dá rozesrat SW RAID a HW RAID to ustojí?

[sigma]

HW RAID může mít checksumy jednolivých RAID stripes (nakonec to by ale mohl mít i SW RAID, že jo ). Ale z běžných serverových karet nevím jestli to některé mají. Je to spíš vlastnost větších SAN řešení.

Nebo bug v kernelu, ale to může být stejně tak bug ve firmwaru té karty...

[Jaromir108]

Panove, ve vsi ucte,  ani jeden z Vas nema pravdu - ani Sw RAID (DMraid, RAIDTool, atd.) i HW RAID jsou uz prekonany. Je to jako vozit se v aute, ktere je na valniku ;O)

[Max]

Ahoj, vesměs jsem řešil v práci to samé. Co největší pole za co nejlevněji. Nakonec se to vyřešilo HP P2000 G3 SAS edition (připojení pole k serveru pomocí SAS) s tím, že jde stohovat a mít myslím 4 šasi na disky.
Problém s HP je, že do toho nelze dát neofiko disky, jelikož to kontroluje fw na diskách, aspoň tak se to všude píše.
Každopádně tak jako tak je nejlevnější koupit pořádný case plný 3,5" hotswap pozic a narvat do toho svoje střeva s klasickými disky.
Pak jsou dvě možnosti, buď serverová střeva (supermicro vychází cenově ok), nebo lehce desktop střeva, tzn. nějakou intel desku, co umí ECC a do toho nějaký Xeon, třeba E3-1230V2 (výkon skoro jak i7 za cenu i5).
Ramky jsou levný, tam snad problém není.
Pokud jde o řadič s cache vs. bez cache. Jde o to, že ty serverové řadiče bez BBWC standardně vypínají cache na diskách, takže bez baterie se s nimi dostaneš na žalostných 10-20MiB/s a silně tragickými IOPS. S obyčejným řadičem a cache na diskách to pak není zas tak zlý. Samozřejmě na HW řadič aka P420 s 2GiB BBWC to nemá, ale to asi není věc, kterou by jsi nutně potřeboval.
Je také otázkou, na čem chceš rozjet pole, zda na řadiči, nebo v systému.
V jobu jsme nakoupili do toho P2000G3 2TB disky a rozjel jsem RAID50.

Kdybych to měl řešit, osobně jdu do E3-1230V2 + deska s ECC + paměti s ECC. Poté bych si vybral řadič, se kterým by šel hotswap a case plný 3,5" pozic s hotswap rámečkama. Na systém bych pak zvolil Debian testing, nebo aktuální Centos7 + BTRFS (ten už používám dlouho na fs backup serveru).
Kdo nemá rád BTRFS, tak ZFS, ty FS mají bezkonkurenční výhody na takové věci a dá se ušetřit nemálo kapacity.
Desktop deska od Intelu s dobrým chipsetem a ECC pamětí není při takovém nasazení nic nebezpečného.
Zdar Max

[Filip]

Souhlas RAID bez BBWC je brutálně pomalej, jednou jsem to řešil asi u Dellu t110. Po celodenním googlení proč ten řadič i po rebuildu jde tak strašně pomalu jsem zjistil, že je vyplá cache na discích. Tak jsem ji krkolomě zapnul a spoléhám na UPS serveru, která to jistí :D

[lertimir]

Podle mne o žádný výkon v tom úložišti nejde. Takže bych viděl cestu buď velkého NASu (Synology/QNAP), třeba Synology RS2414+ Rack Station nebo v desktopu Synology DS2413+ Disc Station. nebo bych šel cestou stavby, jak ji popsal Max, slušný procesor, slušná deska s chipsetem, ECC paměti. Řadiče bych použil bez HW raidu a veškerý raid vyřešil v ZFS nebo btrfs filesystému. Zatím mě nikdo nepřesvědčil o tom, že HW raid je vhodný jen v případě, že procesor serveru je silně zatížený jinou činností a nestíhá řešit raid disku, pak se serveru HW raidem pomůže, ale pokud má hlavní procesor dost výkonu volně, vyřeší raid lépe než procesor řadiče.

[drunkezz]

caf Max...k tym hp only diskoch v hp strojoch. plati to len pre storage class? ci aj pre servery? pac mam znamych co maju nasekane notebookove seagaty v nejakej 380G5/6/7.

Dik
D.

[Max]

Ahoj, vždy jsem našel jen zmínky o polích, o serverech nikoli. Osobně jsem to ale nezkoušel. Každopádně třeba to P2000G3 umí flashovat všechny disky v poli (s OEM disky by to byl asi problém). Teď si také nejsem jistý, ale myslím, že v update firmware pole je mj. i požadavek na určitou úroveň FW disků.
Vtipné také je, že třeba P2000 G3 pro SATA disky umí max. 2TB hdd, větší ne. Osobně jsem to nezkoušel, jen to HP křičí. Přitom stejné pole, jen SAS verze, umí i 3TB a větší disky. Skoro to i vypadá, jako by HP chtělo s dražším řešením vyzdvihovat nejen výkon, ale umělě i kapacitu.
Zdar Max

[mca]

Pro vsechny HW radice SmartArray a i kdyz to bude jen preznaceny Seagate ES.3, tak je v tom firmware HP a bez toho SmartArray HDD neberou. Salamounsky se tak vyhybaji problemum s kompatibilitou. Ostatne to same delal i Dell se svym Perc.

[VSi]

To nevím, v jednom HP serveru mám SmartArray P212, dva originál HP SATA 500 GB + dva WD RE3 500 GB, dohromady v RAID10, a žádný problém to nemá.

[MP]

HP SA P410 s 2TB SATA REDy no problem
HP SA P420 s 3TB SATA REDy no problem

[PanZvedavy]

nesmysl...na Smart Array P800 me uz roky behaji desktopove WD,seagate i samsungy.

[Jendа]

S řádově 10 disky už bych doporučil RAID-6, pravděpodobnost, že se rozbije jeden disk, a než koupíš nový, případně při přečtení všech ostatních při rebuildu, se rozbije druhý, už je dost velká.

RAID bych udělal určitě softwarový.

Pohledal bych, jestli nejde normálně koupit deska s 8 SATA porty, ať nemusíš kupovat přídavný řadič. Nebo kup desku se 6 a řadič a nastrkej tam těch disků ještě víc.

[mca]

Jednoduse koupi SuperMicro s 6x SATA + 8x SAS LSI on-board (SAS jsou vyhodnejsi a cenovy rozdil minimalni), dvojice i210AT a IPMI. Napali tam ZFS s 32GB ECC na caching, Xeon E3 a prida UPS. Komercni toustovace se muzou jit zahrabat.

[Kit]

Možná by stálo za to uvažovat nad vlastním cloudem. To znamená více odlehčených serverů, v každém třeba 2 disky v soft RAID0 a nad tím vším něco jako Cassandra nebo BigTable. Výhodou by byla neomezená škálovatelnost a zero failure point.

Je to jen nástin možného řešení, konkrétní technologie mě nenapadá.

[Kit]

Tak něco jsem přece jen vyhrabal. AFS, GlusterFS a Hadoop. Používá to někdo?

[Logik]

Gluster u nás používáme. Není to asi nejjednodušší na konfiguraci - ale když se to nasadí nad nějakou virtualizací, aby bylo X stejnejch nodů, tak asi ani nic co by nešlo zvládnout - ale běží to spolehlivě.

[Kit]

GlusterFS jsem našel i v repozitářích svého Ubuntu. Uvažuji o tom, že si to také někdy vyzkouším, až budu mít více strojů pohromadě. Očekávám, že u tohoto ani moc nezáleží na výkonu procesorů, jako spíš na celkovém počtu nodů.

Pokud by to bylo třeba 20× Arduino a v každém 2TB disk, dalo by to rozumný výkon a spolehlivost v požadovaném úložišti 20TB+?

[Jendа]

Arduino?

[Kit]

Pardon, píšu Arduino, ale myslím Raspberry Pi. Prostě nějakou nízkopříkonovou desku, ke které by se přilepil HDD a byl by z toho jeden node pro GlusterFS.

[trekker.dk]

Nemá to náhodou jenom 100Mbit ethernet, tj. stěží 10MB/s z jednoho uzlu?

[Kit]

To by asi bylo limitující. Tak tedy popojedu o něco výš: Atom 330, 1.6 GHz, 1GB Ethernet. To už se mi zdá zbytečně moc, ale určitě existuje něco mezi.

Třeba by se dala podobně nakonfigurovat nějaká hromada dvoudiskových nebo čtyřdiskových NAS s RAID0.

[Tik]

Cubietruck? ARM A20, 1x SATA, 1Gb/s LAN atd.

[Jaromir108]

Zdravim,

 

rad bych se podelil se svymi letitymi zkusenostmi, jelikoz se zde podobne dotazy mnozi.

 

Otazka je, jak uz se zde nekdo ptal, na co se bude pole vyuzivat. Nekdo potrebuje redundatnost, nekdo rychlost, nekdo dostupnost, rozsiritelnost, ... vetsina lidi mix techto a jinych vlasnostni. Pokusim se napsat strucne o:

HW:

- HW RAID se az na specialni vyjimky nevyplati pouzivat. Tady se bavime o HW za desitky a stovky tisic USD. Cokoliv levnejsiho zastane lepe VHODNY SW RAID

- doprucuji non-RAID PCI-express x8 SAS HBA, nejlepe starsi verze, overene s vyladenymi ovladaci, jako napr. LSI 1068E (300ka) ci LSI SAS2008 (600ka) a jejich klony. Delaji se v ruznych OEM provedenich, oblibene jsou IBM ci Intel verze, ktere jsou casto na Ebay za par desitem EUR/USD. Na Aukru jsem je videl k mani za cca 100EUR a mene. Vyhoda tohoto reseni je, ze kdy potrebujete vymenit HW, vezmete radic s disky a prenesete jej, kdyz se Vam pode.. radic, vymenite jej za jiny, klidne i jineho vyrobce a nemusite se strachovat, ze by uz za par let nebyl k mani.

-ECC - casto lide delaji chybu, ze kupji drahe HW radice a potom setri na ECC, kde vznikaji neopravitelne chyby. ECC musi byt po cele ceste - tzn, ze napriklad kdyz mate HW RAID, musi byt ECC i tam (casto nejsou)

- nikdy nemixujte disky s 512b a 4k sektory - vyjde vam cca min. 30% pokles, neni dulezite do pise vyrobce, ale jak je na tom disk skutecne - nkedy pise vyrobce 4k a disk je 512b a naopak. Zazil jsem, ze se i zmenilo i upgrade fw disku

-nemixujte disky s ruznymi rychlostmi na jednom poli

- nedavejte do pole vetsi disky nez 1TB, max jeden a pul pokud chcete zachovat dobrou redundanci/dostupnost/rychlost (Vam o to nejde)

- zde plati vice nez jinde, ze se vyplati investovat do kvalitni sitovky - radeji kupit levnejsi disky a kvalitni sitovku (muze byt rychlejsi nez naopak)

- pokud nebudete HW sifrovat disky, neni nutne viceprocesorovy stroj, vyplati se max. dve jadra. Dulezita je frekvence - cim vetsi tim lepe, nad mnozstvim jader (rychle 2 jadro bude rychlejsi, nez pomale osmijadro).

- UPS je nutnost

- idealni je sehnat si disky z ruznych zdroju - pokue je vadna serie ... aby nebyly z jedne serie ;O)

OS:

- osobne bych ve vasem pripade doporucil NAS4Free. Kdyz jsem jej pred rokem naposledy srovnaval s FreeNasem, tak oproti druhemu zminovanemu byl rychlejsi, stabilnejsi a podporoval vetsi skalu HW

- pred casem uz vyslo ZFS on Linux, ktery by mel byt zbaven vetsich chyb, ale na BSD implementaci porad bohuzel nema. Brtfs nam zraje jako vino, ale na critical mission to porad neni.

FS:

- jednoznacne ZFS

- pokud kompresi, pouzivejte hlavne lz4

- co se pameti tyce, tak 1GB na 1TB dat je minimum, pokud nepouzivane dedup

RAID:

- RAID 5 uz je moralne zatarale

- sestka bude moralne zastarala za cca rok

- nej je 10ka

- mirror je spise na rychlost

- pokud by jste chtel mit zajistenou 100%ni dostupnost bez moc starosti, dal bych asi z2, nebo pokud je Vam lito dvou disku, dal bych z1, ale to uz se musi o stroj vice starat

 

Pouzivam doma Athlon II 170u/NAS4Free bez dedupu. Jde o jednojadro a pokud neprovadim obcas sifrovani, tak uplne staci a casto je brzdeno jen sitovkou. Filmy uz jsou obvykle po kompresi tudiz se kompresi nic moc nedosahne, coz je i Vas pripad. S kompresi jede jadro na 70-85%.

 

Snad jsem na nic duleziteho nezapomel - casu moc neni.

 

At se dari! Jaromir

[lertimir]

Skoro se vším souhlasím

nikdy nemixujte disky s 512b a 4k sektory - vyjde vam cca min. 30% pokles, neni dulezite do pise vyrobce, ale jak je na tom disk skutecne - nkedy pise vyrobce 4k a disk je 512b a naopak. Zazil jsem, ze se i zmenilo i upgrade fw disku

Upgrade fw disku nemůže změnit formát fyzického zápisu na disku. Jediné, co může změnit, je formát prezentace informací pro 4k disk z 512 emulated na 4k native. nicméně takový disk byl pořád 4k, se všemi problémy jeho použití když mám granularitu na 512. Moje zkušenost je taková, že v případě použitím disků 512 a 4k musím důsledně si ohlídat, aby veškeré operace po celé datové cestě byly 4k, pak výkon odpovídá použitým komponentám.

- nedavejte do pole vetsi disky nez 1TB, max jeden a pul pokud chcete zachovat dobrou redundanci/dostupnost/rychlost (Vam o to nejde)

Malé disky jsou jen o rychlosti. Není-li rychlost (seek) důležitá jsou velké ekonomičtější.

- co se pameti tyce, tak 1GB na 1TB dat je minimum, pokud nepouzivane dedup

tohle je asi hlavně o zatíženém ZFS. Pokud systém není zatížený, ale jen skladuje velká data, k nimž bude převážně sekvenční přístup limity budou menší.

RAID:

- RAID 5 uz je moralne zatarale

- sestka bude moralne zastarala za cca rok

- pokud by jste chtel mit zajistenou 100%ni dostupnost bez moc starosti, dal bych asi z2, nebo pokud je Vam lito dvou disku, dal bych z1, ale to uz se musi o stroj vice starat

Ne zcela souhlasím s "morální zastaralostí". Vždy je to kompromis mezi rychlostí, dostupností, bezpečností a mírou starání se. Pro málo zatížené systémy RAID5 do 5 disků a RAID6 do 10 disků beru jako dost legitimní volbu, s tím, že o systém se nutné se starat. Takže mít pravidelně automatické short a long smarttesty, které způsobí, že celý povrch všech disků se přečte v pravidelných intervalech a tím se výrazně sníží možnost, že při skutečném výpadku disku bude na ostatních discích čtecí problém. Redundance z2 je zcela jiné množství užitných dat z daného pole než RAID5 či 6 a beru ji jako vhodnou pro produkční datový prostor a ne "úložiště".

[Jendа]

Takže mít pravidelně automatické short a long smarttesty, které způsobí, že celý povrch všech disků se přečte v pravidelných intervalech a tím se výrazně sníží možnost, že při skutečném výpadku disku bude na ostatních discích čtecí problém.

Je lepší SMART test než prosté přečtení (a kontrola parit) md-raidem?

[lertimir]

Mluví o ZFS. Samozřejmě pro mdraid je jedna z údržbových akcí je spouštení raid-check.

[Trubicoid2]

Imho nejlepsi je oboje, ja mam smart long test jednou za mesic a mdraid check jednou za tyden. Short test nedelam, delate to nekdo a jak casto?

[sigma]

Short test děláme akorát na desktopech, pokud se něco objeví/změní v Pending Sectors nebo Reallocated Sectors. Tak v 70 % případů pak short test hodí chybu, což stačí na reklamaci v rámci záruky (u Dell, HP). Pokud se to hned nereklamuje, tak často takový disk jen tak neumře, ale objevují se různé "záhadné" chyby a zátuhy, které na chvíli spraví reinstalace OS. Proto jsme to taky začali monitorovat (no a taky proto, aby se využila ta záruka).

[mca]

Malé disky jsou jen o rychlosti. Není-li rychlost (seek) důležitá jsou velké ekonomičtější.

Tim narazi na resilvering - metla vsech poli, proto nedoporucuje jit pres 1TB, maximalne 2TB.

[lertimir]

Jistě, rekonstrukce pole vždycky trvá a u velkých disků tím víc, ale pokud je to úložiště málo zatížené, tak se dá očekávat, že rychlost rekonstrukce bude kolem 50-80MB/s. Takže z 1TB disků je čas do 20 000 sec a ze 4 TB disků do 80 000 sec, což je sice skoro den, ale pro málo zatížené datové úložiště to může být přijatelná doba rekonstrukce. Samozřejmě při rozhodnutí o volbě disků je třeba to mít na paměti.

[Jaromir108]

ad 1) odstavec - jinymi slovy napsano to same, odborneji ;O) Videl jsem dokonce i nejake disky, kde slo ve fw zapnout jak se disk tvari ;O))

2) nekdo jiz odpovedel, viz nize

3) kdyz jsem naposledy (pred vydanim v5000) toto testoval, tak mi vyslo ze nevytizeny system byl vytizen na 65%, takze 650 kilo na 1TB dat, abych byl presny. Bude samozrejme fungovat i s mene, ale prijde na radu degradace vykonu, o cemz uz se moc nevi. Dotycny nepsal kolik uzivatelu bude mit ... a kdyz jsme treba preba pred casem delali domaci video server (dum na 24 jednotek, tak i kdyz bednu vetsinou sleduje jen par bytu, tak system musi byt pripraven na eventualitu, ze by chteli vsichni.

4) souhlasim, ze sestka neni uplne vhodna pro uloziste, ale podle meho ma pro dotycneho jiste vyhody. Vubec nesouhlasim, ze RAID5 je kompromis, to ani omylem. Nedokazu si dnes predstavit siatuaci, kdy by bylo dnes uziti HW RAID 5 nejvhodnejsi volba!

Jako priklad bych rekl zkusenost mesic starou: uziti stredne draheho HW RAID 5 - 5 ci 4 disky (uz si nevzpominam) + spare - delka jen prekontrolovani pole byla skoro ctyri dny. Pred nejakou dobou doslo k chybe na disku a pole zacalo pouzivat spare a migrovat na nej data a pri tomto procesu dalsi disk zahlasil chybu a pole je v ... . Disky samozrejme kupovany najednou a pri testovani vadnych disku byl jeden absolutne v poradku. Klasika. Na toto uz lidi dopredu pri planovani nepremysleji.

- dodal bych jen, ze obcasne smarttesty jsou dobre, ale nemene dulezity je scrub, na ktery je obecne zapomina.

- mdraid je u ZFS uplne zbytecny krok, Njelep je, kdyz i o kontrolu dat stara fs sam

Jeste jsem chtel neco duleziteho napsat, ale nejak na to zapomel ;O) tak snad nekdy priste. Jaromir

P.S. At uz jsem chtel napsat cokoliv, tak bych snad jen dodal, ze je dobre jednou za cas i v plne fnkcnim poli data vymigrovat, pole smazat, vytvorit nove - identicke a data jen tak nahrat zpatky. Obvykle se zvysi rychlost, a v pripade nevysvetlitelnych problemu .. problemy obvykle zmizi ;o) Az na vyjimky bych doporucoval cca jendou za rok.

[lertimir]

3) kdyz jsem naposledy (pred vydanim v5000) toto testoval, tak mi vyslo ze nevytizeny system byl vytizen na 65%, takze 650 kilo na 1TB dat, abych byl presny. Bude samozrejme fungovat i s mene, ale prijde na radu degradace vykonu, o cemz uz se moc nevi. Dotycny nepsal kolik uzivatelu bude mit ... a kdyz jsme treba preba pred casem delali domaci video server

Právě, že tazatel psal, jak to chce používat:

Úložiště bude sloužit pouze k uložení velkého množství dat (video soubory), ke kterým se nebude moc často přistupovat. Bude fungovat jako odkladné místo pro právě nepoužívané soubory. Na úložiště bude nejčastěji přistupovat 1PC ostatní počítače v síti minimálně.

Tedy v podstatě žádný provoz a používá většinou jeden uživatel, i to, jak píše "nebude moc často přistupovat" vypadá, že ani ten jeden člověk tam nebude pořád nebo většinu času. Proto mi cokoliv, co jakkoliv preferuje výkon připadá jako overkill. Většina provozu toho zařízení bude na to, aby se ujistilo, že data zůstávají v pořádku. Připadá mně to jen jako "aktivní záloha/archiv".

Možná Raid5 je málo, ale provozuji asi 4 Raid5 a s tím, že smart short testy jedou denně a long testy týdně, za poslední 3 roky odešlo 5 disků, ale nikdy jsme nepřišli o data, vždy problém odchytly smart testy a data se zmigrovaly dříve než problém eskaloval. A z hlediska rychlosti, na svém systému doma dělám také týdně mdraidový check na poli Raid5 s 1TB oddílů a Raid10 z 500G oddílů a i když to pohání slabé AMD Zacate tak to trvá tak cca 4hodiny + 1,5 hodiny a ráno je vše hotovo.

[Jaromir108]

Zadny provoz neznamena ze:

a, nepotrebuje rychlost (jak jsem psal, pri mene pameti dochazi k degradaci prupustnosti)

b, ze nebude v budoucnosti system rozsirovat (obvykle se pridaji disky a uz se neresi pamet, atd.)

c, kdyz jeden PC uklada GBty dat ... zkusenost ja takova, ze obvykle nikdo nic nechce a potom par lidi najednou ;O)

Nevim v cem je par korun a W spotreby overkill. Vzhledem k cene disku a dalsich komponent, se mi jevi cena za par GB navic jako zanedbatelna castka.

 

Overkill vidim prave v tom, co vetsina lidi dela - kupuji zbytecne drahy CPU a malo pameti a dokonce i bez ECC.

 

Jak jsou ty disky stare? Kolik jich je tam celkove? Nezda se mi to malo.

 

Problem je, ze vetsina lidi nechape jak funguji moderni FS jako je ZFS. XFS ci BRTFS.

[Jaromir108]

Ted jsem nasel srovnani real case jaky ma vliv na rychlost x vice jader ;O) http://nas4freeinternals.blogspot.com.au/2013/07/nas4free-cpu-usage-on-raid-z2-with-cifs.html

[trekker.dk]

Nedokazu si dnes predstavit siatuaci, kdy by bylo dnes uziti HW RAID 5 nejvhodnejsi volba!

Zálohovací server s 36 pozicemi pro disk. 4x2TB disky v RAID5. Zkuste mi ukázat, jak by to šlo udělat líp (tj. jedno z kapacita/redundance se musí zlepšit a to druhé se alespoň nesmí zhoršit.)

[Jendа]

8x2TB v RAID6 (+ 1 starý RAID 5, protože 36 není dělitelné 8). Redundance se zlepšila, protože když ti teď odejdou ze čtveřice dva disky, pole to dá, předtím by to kleklo.

[trekker.dk]

Redundance se zlepšila, protože když ti teď odejdou ze čtveřice dva disky

Pokud mi v 8x2TB ze čtveřice odejdou 2 disky, jsou to 4 mrtvé disky celkem a pole je v háji. A mám za to - i když tady se musím přiznat, že s matematickou statistikou opravdu nekamarádím - že při obnově ze 6 disků je vyšší šance, že chcípne další, než při obnově ze 3.

[Jendа]

Pokud mi v 8x2TB ze čtveřice odejdou 2 disky, jsou to 4 mrtvé disky celkem a pole je v háji.

Myslel jsem dva disky z právě jedné čtveřice. Tj. třeba

[U__UUUUU]

že při obnově ze 6 disků je vyšší šance, že chcípne další, než při obnově ze 3.

No takhle - když ti odejdou dva disky a máš RAID5, můžou nastat dvě situace - buď již zmíněná

[U__U] [UUUU]

(přišel jsi o data), nebo

[U_UU] [UU_U]

(taky obnovuješ ze 6 disků - i když 2 nezávislá pole, zátěž je stejná - prostě se ty disky musí všechny přečíst)

Rozdíl u RAID6 je v tom, že v první situaci nepřijdeš o data.

[trekker.dk]

Ok, přiznávám se, že co se redundance a spolehlivosti týče, se mi nechce hledat, jak to spočítat (a ani to počítat)

Každopádně když to vezmu čistě prakticky, tak i 6GB filesystém je něco, co se mi vůbec nelíbí (hlavně představa, že by se na to musel pustit fsck). 12GB filesystém... ne, děkuji.

[Sten]

No, zde je potřeba ještě zmínit druhou stranu karty, a to že výpočty parity pro RAID 6 jsou o dost náročnější operace oproti RAID 5, kde je to obyčejný XOR. Takže rychlost zápisu a obnovy u RAID 6 je o dost horší než u RAID 50 a obnova tak trvá o dost déle. Ale i přesto je RAID 6 statisticky spolehlivější.

[Jaromir108]

Na to abyh ve vsi ucte neco solidne navrhnul, mam malo vstupnich dat. Ale  prave v tomto pripade RAID 5 je scela spate reseni! Prirovnal bych to k distuaci, kdy potrebuji prevest vetsi mnozstvi zasilek a misto abych pouzil nakladak, pouziji male Fabky (ne kombi) ;O))

 

Jak jsou disky pripojeny? Na co se data pouzivaji - co se dale dela s daty (jak se zalohuji)? Kolik dat se tam musi vejit? Atp.

 

Vetsina lidi pouziva na polich bezne FS, ktere neposkytuji ochranu pred Silent Errors (ntfs, extx, atd.) Pro mne jeden ze zakladnich pozadavku na pole je ten, aby data i po roce byla porad puvodni. Vetsina lidi co se zabyva RAIDy o tomto nema ani paru a nebo to neresi, jelikoz admini resi pouze to, zdali je pole OK a ne jestli jsou data nezmenena.

 

Priklad je http://storagemojo.com/2007/09/19/cerns-data-corruption-research/ a treba Google zjistil jeste horsi data, pokud si dobre vzpominam.

 

Reknete mi schvalne mnozstvi dat co vam protece touto zalohou, jake tam mate pameti a fs a urcite se najde nekdo kdo vam spocita kolik tam mate asi chyb o kterych nevite ;O))

 

Nejake dalsi info viz http://forums.freenas.org/index.php?threads/ecc-vs-non-ecc-ram-and-zfs.15449/

 

Neco malo infromaci co by mel kazdy kdo planuje delat pole je napriklad tady: https://blogs.oracle.com/relling/entry/zfs_raid_recommendations_space_performance

 

Nekomu se nelibilo, ze jsem napsal ze RAID5 je uz zastarale, tak jsem nahodou nasel http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

 

Pro zacatek nejlepsi info o HW pro RAID co jsem videl na jednom miste je asi tady: http://forums.freenas.org/index.php?threads/so-you-want-some-hardware-suggestions.12276/

 

Pro nekoho kdo ma zajem se neco uzitecneho dozvedet o ZFS http://forums.freenas.org/index.php?threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/

 

Bezna chyba je, ze se zalohovaci/souborove servery virtualizuji ... krome problemu casto dochazi k vyrazne degradaci rychlosti, atd. Mel jsem na to pekne testy z prelomu roku, ale stranky nemuzu naijt v zalozkach.

 

Ale zpet k Vasemu dotazu .. nasel jsem v zalozkach pekny realny test: http://hardforum.com/showpost.php?p=1036276885&postcount=26 .Co vy na to? Hledal jsem jestnu peknou tabulku ohledne pekne nazorne spocitane bezpecnosti a vhodnosti pro jednotlivy pocet disku. Nemuzu vsak najit. Mimochodem, muzete se prosim pochlubit u tech vasich polich jake mate realne prenosove rrychlosti? Meril jste je nekdy? Jak dlouho trva rebuild, atd?

 

Ale dobre na slepo udelam dva scenare:

1, RAID 10 - nejvetsi bezpecnost, rychlost, atd. Priklad pouziti: zalohovaci server pro striznu videa - ulozit najednou velke mnozstvi dat.

2, sice pro vas pripad asi nevhodny, ale porad o versmiry lepsi (nez RAID5) je z2 (u ZFS).

[trekker.dk]

Pro začátek - na tom serveru je ext4. Byly tam různé filesystémy (reiserfs, XFS) a žádný z nich to nevydržel - hodně dat, spousta hardlinků vytvořených rsyncem, dřív či později se ten fs sesypal aniž by hardware hlásil nějaký problém. Takže v podstatě experimentální věci jako Btrfs nebo ZFS (na Linuxu) nemají nárok.

Ale zpet k Vasemu dotazu .. nasel jsem v zalozkach pekny realny test: http://hardforum.com/showpost.php?p=1036276885&postcount=26 .Co vy na to?

Že tam chybí RAID5.

Mimochodem, muzete se prosim pochlubit u tech vasich polich jake mate realne prenosove rrychlosti? Meril jste je nekdy? Jak dlouho trva rebuild, atd?

Rychlost sekvenčního zápisu - IIRC - 270-300MB/s. Náhodný zápis těžko říct, data se přenáší rsyncem, za tři hodiny si to současně přebere 40000 souborů za jeden server a 300000 za druhý, tj. minimálně 340000 nových hardlinků + nová data + čtení alespoň metadat původních souborů. To první je v podstatě součet zápisových rychlostí disků, to druhé těžko hodnotit.

RAID 10 - nejvetsi bezpecnost, rychlost

RAID10 mi sebere třetinu současné úložné kapacity a dostanu za to redundanci, kterou nepotřebuju - v tom serveru se už disky párkrát měnily a přes výhrůžky o tom, že roku 2009 přestane RAID5 fungovat se v roce 2014 nic strašlivého nestalo. Možná protože nedáváme do RAID5 7 disků jako autor toho apokalyptického článku.

2, sice pro vas pripad asi nevhodny, ale porad o versmiry lepsi (nez RAID5) je z2 (u ZFS).

...

[Jaromir108]

Zdravim,

 

vsak ja taky nepsal o pouziti Linux s ZFS. Ja psal o ZFS, coz znamena v praxi BSD ci forky Solarisu. V tom testu sice neni uvedeno jak spravne uvadite R5, ale podivejte se co znamena raidz1 ;o)

 

No, na tolik disku bych videl realne rychlosti minimalne na 10ti nasobku vasich stavajicich rychlosti. Pred casem jsem mel na stole hotove pole, kde bylo sest disku a rychlosti bez ZIL a podobnych ficur pres 1G spojeni byly 680 - 920 mega, coz podle meho byla spise limitace ze strany sitovky.

Pokud by se vase pole vhodne nakonfigurovalo, videl bych realne hodnoty cca 1,5-6 tera, pokud by se jelo na desitce, nebo alespon na necem rychlejsim nez je gigovka. Hodne lidi nesmyslne pouziva bonding 1G, ale ten gunguje pouze pokud mate hodne klientu, coz u backupu samozrejme nebyva.

 

Co se te desitky tyce, tak jsem to psal jako urcitou moznost bez znalosti vaseho prostredi ci pozadavku. Vetsina lidi vidi pouze to, ze ztrati cast mista a nevidi ty vyhody co to prinasi, jako jsou nesrovnatelna bezpenost, rychlost, atd.

 

Co se posledniho odstavce tyce, tak verim, ze jste zkousel hodne veci a hodne veci cetl. Kazdopadne to nic nemeni na faktu, ze vetsina konfiguraci poli co jsem mel za za ty roky cest videt byla nesmyslna. Jsou to stejne nesmysly, jako kdyz se na hrad kupovaly opancerovane Oktavie. Lide proste nekdy vymysleji varianty ktere sice funguji, ale z meho hlediska jsou tak nejak na hlavu.

[trekker.dk]

No, na tolik disku bych videl realne rychlosti minimalne na 10ti nasobku vasich stavajicich rychlosti.

To byly hodnoty za jedno z těch polí.

Hodne lidi nesmyslne pouziva bonding 1G, ale ten gunguje pouze pokud mate hodne klientu, coz u backupu samozrejme nebyva.

Na Linuxu balance-rr - musí to samozřejmě podporovat switche. Ale vzhledem k tomu, že zálohovaná data je hromada malých souborů, tak mě propustnost sítě zase tolik nezajímá, skutečně využitá přenosová rychlost je minimální.

Co se te desitky tyce, tak jsem to psal jako urcitou moznost bez znalosti vaseho prostredi ci pozadavku. Vetsina lidi vidi pouze to, ze ztrati cast mista a nevidi ty vyhody co to prinasi, jako jsou nesrovnatelna bezpenost, rychlost, atd.

Ale já ty výhody samozřejmě vidím a tam, kde jsou potřeba, je RAID10. V tomhle případě tomu tak ale není - rychlost toho pole je dostatečná, bezpečnost taky a místo navíc se hodí.

[Adam]

RAID 5 je samozřejmě mimo mísu. Podívejte se do specifikace a uvidíte tam něco jako 1 chyba na 10^14 bytů nebo tak něco. 10 Tera je ca. 10^13 máte tedy skoro jisté, že chyba nastane. Jen není jasné, kdy.

Řešení: RAID 6 + hot spare. Tím nebudete muset řešit koupi disku a současně provoz degradovaného pole. Deset disků osadíte na rozumnou základní desku. Jinak ten výše zmíněný řadič od LSI 2008 (nebo tak) je opravdu dobrý, používáme jej (nebo varianty) v několika serverech. Ohledeně disků kupte normální SATA. To se vždy dá připojit přes redukci na SAS. Taky bych před osazením do pole všechny prošel shredem + dd a ujistil se, že jsou všechny sektory v pořádku. To šetří nervy a vytřídí transportem poškozené produkty a trochu otestuje kvalitu. Kamarád takhle vytřídil polovinu koupených disků k okamžité reklamaci.

Na RAID samožejmě pouze SW, mdadm, a filesystem XFS. ZFS je pro Vás nevhodný protože vyžaduje více znalostí a pro dosažení výkonu více práce. Taky RAM potřebuje více. A ECC není úplně levná záležitost. Distribuci bych volil stabilní Debian a možná bpo kernel. Síť bych asi koupil 2xGigabit od Intelu a nastavil bonding. Pokud máte peníze, uvažoval bych o 10GbE ať už multimode LC SX tranceiver do SFP+ nebo metalicky (pozor na dosah a kvalitu kabeláže). Pokud rychlost není prioritou, tak je Core i7 overkill a Core i3 serverový ekvivalent bude stačit (kvůli ECC) Takže něco z Xeonů E3. AMD je pod Linuxem taky slušná volba. Tam asi Opterony 6300 nebo 4300 tuším, ale už jsem se moc nestaral asi 5 měsíců, tak nevím přesně. Desky od Supermicro každopádně nejsou terno, často jsou nestandardní a mají divné patice (potřeba jiného chladiče). Tyan nebo nově i Gigabyte jsou dobré firmy.

Hlavně kupujte s rozvahou a ostatní odpovědi zde čtěte kriticky, jen jedna nebo dvě mi připadaly relevantní.

[Jaromir108]

S prvnim odstavcem plne souhlasim!

V druhem uz zacinaji problemy - ve vsi ucte R6 + spare je kravina. Stejne tak byva problemove mix SATA + SAS.

Prvni veta tretiho odstavce je take nesmysl. S druhou vetsou bych uz souhalsil. ECC je nutnost. Bonding se vyplati pouze pri vetsim poctu uzivatelu, coz nebyva u backupu. i7 a dalsi souhlas. Supermicro maji plno jinych vyhod, napriklad ze se nemusi platit zvlast za RM (tusim ze u HP se kdysi platilo zvlast). Nejsou dobre firmy, jsou vsak dobre modely.

[j]

Porid si na to nejaky sasi se sas expanderem (neco na tema MD1000 - MD3000 od dellu nebo od kohokoli jinyho). Pokud to koupis ve frcu, nemusi to stat nijak moc.

A k tomu potrebujes celkem libovolnej stroj se sasovym radicem.

Pokud na tom chces provozovat R5, tak !MAX! pro 5 disku. Pokud ti to kapactine nestaci, tak tech poli udelej vic. Nejde ani zdaleka jen o pravdepodobnost chyby, jde i o vykon - a to jak provozni, tak pripadnej prepocet. I ta 5tidiskova R5 se ti bude prepocitavat celej den. Zapomen na SW raid, teda pokud nechces vecne resit, ze je neco rozjebly a ze vykon je tragickej.

Podotykam, ze to sasi zminovany vejs, ti rekne kterej konkretni disk je v haji. Jop a z mych zkusenosti to spapa disk naprosto libovolnej (vcetne sata samo).

[Jendа]

I ta 5tidiskova R5 se ti bude prepocitavat celej den.

Mně to u běžných disků (Hitachi Ultrastar 7K3000) jede 110 MB/s. Takže i 4T disky to dá za 10 hodin.

Zapomen na SW raid, teda pokud nechces vecne resit, ze je neco rozjebly a ze vykon je tragickej.

Mámj přesně opačnou zkušenost.

[Sten]

Porid si na to nejaky sasi se sas expanderem (neco na tema MD1000 - MD3000 od dellu nebo od kohokoli jinyho).

Bazarový za padesát tisíc, ideální do každé domácnosti

Pokud na tom chces provozovat R5, tak !MAX! pro 5 disku. Pokud ti to kapactine nestaci, tak tech poli udelej vic.

Pokud není potřeba extrémní výkon, tak doporučuji spíš RAID 6 než 50. Přeci jen RAID 6 s jedním vypadlým diskem má pořád ještě redundanci.

Zapomen na SW raid, teda pokud nechces vecne resit, ze je neco rozjebly a ze vykon je tragickej.

Možná ve Windows, v Linuxu s tím problém není. Zápis přes 150 MB/s je (s dostatečně výkonnými disky) běžný, takže i gigabitovou síť můžete snadno vytížit naplno. Čtení je samozřejmě ještě rychlejší. A jako bonus to jde připojit i na jiném řadiči a funguje SMART.