Dotaz: KVM - Gluster setup

[Rocky]

Potřeboval bych poradit s následujícím s scénářem:

Mám server (3x identické), které budou plnit KVM hosta + Gluster store. V serveru je HW řadič z něhož jsou vytvořené 2 virtuální disky. Otázka tedy zní, jak správně vytvořit Gluster store. Jestli ve schématu: HW RAID-LVM THIN-BRICK-?LVM THIN?-image VM nebo jinak?

Děkuji

Odpovědi

[Aleš Kapica]

Viz GlusterFS na naší wiki.

Podle mého názoru je lepší použít na virtuální disky Sheepdog. Psal jsem o něm svého času i tady, viz blogpost sheepdog - hrajeme si v hampejzu.

GlusterFS je užitečnější přímo na sdílení dokumentů mezi hostiteli a virtuály. Ovšem pozor, nevím jak je to dnes, ale když jsem ho zkoušel neměl žádné extra zabezpečení. Tj. že není zrovna nejlepší nápad mít ho na veřejném segmentu. Já měl pro něj zcela izolovanou síť. Zvenčí bylo po síti vidět pouze do virtuálu.

[Aleš Kapica]

Jinak pokud mohu doporučit, vybodni se na LVM THIN. Je potřeba pouze pokud chceš dělat snapshoty u GlusterFS. Ale ty stojí, stejně jako snapshoty na úrovni LVM, za starou belu.

Sheepdog funguje podstatně líp a má snapshotování podobné jako Btrfs. Btrfs je také pro něj optimální podkladový FS, protože řeší interně kompresi i checksumy. I když ty jsou sheepdogu vcelku fuk. Pokud narazí na vadný blok, automaticky ho nahradí zdravým z jiného stroje. Tzn. že můžeš použít Btrfs v single mode – odpadne ti režie spojená s raidem.

Sheepdog udělá kontrolu všech bloků automaticky pokaždé, když mu vypadne nějaký nod, nebo naopak když mu nějaký přibude – tímto krokem pro něj začíná vždy nová "epocha". Ovšem tahle kontrola je podstatně rychlejší, než když řeší split brain GlusterFS. U toho čím je soubor větší, tím déle trvá.

Vražda je, když GlusterFS obsahuje tisíce malých souborů (velká I/O režie) nebo když na něm jsou velké image. Při použití je to jinak vcelku v pohodě, protože s těmi velkými soubory umí pracovat atomicky.

[pavele]

Sheepdog i GlusterFS jsou pořád příliš mladé na stabilní nasazení.

Stačí se podívat, jaké chyby se řeší na domovských stránkách a co doporučuje pro takové použití RedHat (GlusterFS to není).

GlusterFS vypadá strašně jednoduše na použití, skutečnosti se objeví až při testování výpadků jednotlivých nódů.

Doporučil bych vše pořádně otestovat.

[Käyttäjä 11133]

Proto taky v CERNu vymysleli CEPH...

[Aleš Kapica]

Jo. Ceph používáme. Ovšem ani ne tak proto, že by byl lepší, jako spíš proto že kolega který ho nasadil měl k dispozici víc výkonnějších nodů. Mně osobně to je fuk, jaké distribuované blokové zařízení se používá. Můj virtualizační KVM skript umí použít všechno s čím umí binární qemu.

Bohužel v současných podmínkách si vícenodový cluster nepostavím - je to zbytečné.

[Rocky]

Tak jsem se dozvěděl zásadní změnu. Ty servery nebudou 3, ale 2. Což asi zásadně mění situaci s Glusterem. Sheepdog vyžaduje minimálně 3 nody? Stejně tak Ceph?

[Aleš Kapica]

Ne. Minimální množství u sheepdogu ro zajištění redundance jsou 2 nody. V nouzi jede i na jednom.

U dvounodového clusteru bych ale spíš nasadil DRBD.