Dotaz: hardware cluster

[mirko]

Zdravim

co sa dnes vyuziva na tzv. hardware clustering? resp. ako to je riesene v dnesnych IT firmach.

predstavujem si to nejak ze jeden operacny system bezi pod dvomi a viac servermi, tj. vacsi vypoctovy vykon pre tento jeden OS

najlepsie nejake linuxove riesenie.

vdaka

Odpovědi

[Peter Golis]

Závisí či chceš zdieľať výpočtový výkon grid computingu cez CPU, GPU alebo napríklad FPGA. A obvykle sa to rieši paralelizáciou výpočtových úloh.

Chceš prenajímať cloud na účely ťažby bitcoinov?

[mirko]

nie to vobec, predstavme si skor data processing. Python software. Takze skor ten computing cez CPU.

[Jendа]

Hadoop, jeho distribuovaný FS a pythoní bindingy k tomu (třeba Dumbo). Ale na jednotky počítačů se to podle mě nevyplatí.

Dále bych zvážil, jestli je dobrý nápad psát výkonově kritické věci v Pythonu.

predstavujem si to nejak ze jeden operacny system bezi pod dvomi a viac servermi, tj. vacsi vypoctovy vykon pre tento jeden OS

Takhle to nefunguje, alespoň pro dnes běžně používané OS a programy na nich běžící. I ty paralelní a multithreadové jsou většinou navrženy s předpokladem, že komunikace mezi vlákny má nízkou latenci a extrémní propustnost. I ta nejlepší síťová řešení (např. InifiniBand) jsou o řád pomalejší než lokální RAM, low-cost ethernet o několik řádů. Většina aplikací se ti tak zabije na synchronizaci vláken.

Pokud máš aplikaci, která je na toto připravena, používá se Open MPI.

Podle úlohy, pokud jsou ty paralelní části nezávislé, by na tvých dvou počítačích mohlo být jednodušší řešit to prostě ručně.

(disclaimer: s uvedenými věcmi mám zkušenosti na úrovni „četl jsem o tom“ a „jednou jsem to použil jako uživatel“. Nikdy jsem to neadminoval ani nedělal žádné pokročilejší věci)

[mirko]

zaujimave pozriem sa nato, vdaka

[Peter Golis]

Ktorej časti výrazu grid computing si nerozumel? Najprv si o tom niečo naštuduj, a potom si zabezpeč železo. Hoci aj parallela board.

[Ivan]

Hw clustering je pekelně drahá sranda. Téměř nikde se nepoužívá. V praxi jsem se setkal jen s řešením od SGi -altrix - běží to na Itaniu a pro propojení řadičů paměti to pouziva Infiniband(alespoň myslím). Další je v praxi pouzinave řešení je pSeries od IBM. To běží na Power procesorech a všechno je proprietární.

[mirko]

Ak to je takto tak do toho nema nejaky zmysel ist, radsej teda kupit asi viac jadrove masiny s DDR4