Pomalá síť po výměně základní desky

25.1.2011 11:57 | Přečteno: 1888×

Updatoval jsem HW v domácím servříku. Všechno šlo v pohodě až na jednu podivnost. Rychlost síťových operací.

Nový HW

Intel Core i5 540, 8GB DDR3 (z počátku jen 4GB, více níže v článku), GA H55M-UD2H. Další podrobnosti o HW jsou u mě.

Integrovaná grafika v procesoru, deska s 6xSATA II. Nic víc není potřeba. Integrovaná síťovka Realtek 8169. Modří už vědí, ano, původně z toho měl být článek "Nemám rád Realtek II". Ale nebude. Stroj je celkově více než 2x výkonnější (procesorový výkon a rychlost paměti) než předchozí Intel C2D 6320 a žere to o 14W méně (z původních 84W spotřeba klesla na 70W, po zapnutí další šetřících stavů CPU někdy i 67W). Rychlost disků a práce na FS v podstatě stejná jako na starém (možná o pár neměřitelných procent lepší). Po této stránce tedy úspěch.

Přenos OS CentOS 5.5 64b

Tady ani není co psát. Po zapojení disků do nové desky systém prostě nabootoval. Očekával jsem problém s GK (i když ani ne, VGA mód to zvládat musí), problém s řadičem disků atp. Nic z toho, CentOS prostě normálně nabootovat a dokonce i KVM zcela bez problémů nastartovalo stroje. Pro jistotu jsem ale vygeneroval nový initrd s příslušnými moduly. Zkuste si vyměnit desku a procesor (na zcela jinou generaci) u jiného OS .

Problém

Vše tedy ok až na jednu věc a tou byla rychlost sítě. "Tak samozřejmě, je tam Realtek," říkal jsem si a namontoval tam síťovku Intel. Bohužel stejný problém. Abych byl zcela přesný:

• Rychlost samby před výměnou (stará deska, integrovaný intel): 67/102 MB/s (čtení/zápis)
• Rychlost samby (i jiných síťových protokolů) po výměně (integrovaný realtek): 30/14 MB/s
• Rychlost sítě na PCI-E Intel, byla ještě horší: 24/13 MB/s

Zde je dobré poznamenat, že v této chvíli byl systém osazený dvěma 2GB moduly DDR3, tudíž celkově 4GB RAM a také upozornit, že rychlost čtení z FS byla 130MB/s, tedy přístupovou rychlostí na disky to nebylo (a soubory byly stejně po opakovaném testování v RAM).

Takže, Realtekem to není, Intelácká síťovka jede ještě pomaleji. Dokonce i lokální síťový provoz (samba ve virtuálce) byl stejně pomalý (30/15), což ale šlo kompletně mimo síťový HW (ale ne mimo síťový stack). Zajímavé bylo, že jedno jádro CPU bylo při jakémkoliv síťovém přenosu (lokální, vzdálený) plně vytížené soft irq.

Řešení?

Ani jsem to vlastně teď řešit nechtěl. Až tu bude CentOS 6.0 s novým jádrem, tak může být vše jinak, tak jsem to prostě odložil. Jen jsem tam dokoupil další dva 2GB moduly na celkových 8GB (což teď vidím jako chybu a v nejbližší příležitosti tam půjdou 4GB moduly na 16GB).

No a náhle rychlost sítě dosahuje saturace gigabitu (a to prosím na Realteku) a samba lítá krásných 70/110 MB/s (proč je čtení pomalejší než zápis fakt nevím, ale tyhle rychlosti mi stačí, takže to neřeším). Zatížení CPU původními soft interrupty zmizelo a místo toho je standardní a očekávané io wait.

Připomínám, že systém s 4GB netrpěl nedostatkem. Swap nemám a při testech bylo obsazeno max 2GB na aplikace (typicky méně, všechny ostatní služby byly vypnuté) a 2GB měl k disposici jako IO cache (kterou používal).

Tímto celou věc považuji za hotovou (neříkám vyřešenou), protože opravdu nevím, kde byla příčina. Pokud někdo vím, ať se podělí v diskusi.

       

Komentáře

[Ruža Becelin]

Nemuze byt problem ze zapojenim pameti? To by vysvetlovalo, ze problemy zmizi, pokud obsadis vsechny ctyri banky. Pokud mas pouze dva moduly, v jakem poradi je zapojujes? Zkontroluj, jestli tvoje deska nevyzaduje urcite zapojeni modulu.

[Ruža Becelin]

Taky se mrkni sem.

[Heron]

To mě taky napadlo. Podle manuálu byly zapojeny správně.

I kdyby běžely "pomalu" na single channel místo dual, tak to není zase tak pomalu a navíc to (asi) nevysvětlí to soft-irq. Nebo ano? Já s tím strojem nemůžu moc laborovat, tohle jsem postnul jen jako takovou zajímavost a námět k diskusi.

Dokonce jsem zkoušel vypnout i HT. Bez vlivu (a to i na rychlost, ten HT udělá max 10% k dobru).

[Ruža Becelin]

Podivej se do /proc/interrupts, jakmile budes mit 100% CPU, jestli tam neni neco divneho...

[belisarivs]

Jo, to me taky napadlo.

Jenom mi prijde prapodivne to pomalejsi cteni.

[Heron]

Jenom mi prijde prapodivne to pomalejsi cteni.

Což může být dané interakcí linux samba vs windows.

Zkoušel jsem tu různé kombinace a nejlepší výsledek dávala kombinace windows7 vs windows7 (realtek vs intel): 104.9 / 105.1 MB/s

Při teste "jakýkoliv windows stroj" vs linux mělo čtení kolem 60-70MB/s. Bohužel tu nikde nemám další linux abych zkusil sambu linux vs linux (což je ale kravina, v praxi bych tam stejně použil NFS).

[kyytaM]

Aka verzia Samby? Respektive SMB2 zapnute? :)

[Heron]

CentOS 5.5, takže 3.0.33. Btw s 3.3.8 to jede úplně stejně.

Tento komentář mě zaujal. SMB2 je v experimentálním stavu v 3.5.6 a žádná vyšší stabilní verze s produkční podporou smb2 není. Tak jak to asi můžu mít zapnuté?

[kyytaM]

Len ci si to neskusal, ked si uz robil nejake mini bechmarky. Ak sa dobre pamatam, cital som niekde nejaky clanocek, kde nabadali ludi, nech sbm2 odkomentuju, ze je to vraj v pouzitelnom stave. :)

Ale prave pozeram, ze v Debiane je 3.5.6, tak sa skusim s tym pohrat (kompilovat by sa mi nechcelo :)). Rozdiel medzi SMB a SMB2 mal byt aj v rychlosti, kde pri 1gbit LAN uz ukecanost povodneho SMB bola vyrazne na skodu.

[Heron]

Nezkoušel, nemám kde. Navíc opravdu nerad používám "devel" verze, počkám až to bude v produkčním stavu.

[Heron]

Na tu ukecanost starého protokolu jsem se také díval. Opravdu brutální.

Pokud si s tím budeš hrát, zkus změřit rozdíly. Já ty "mini benchmarky" dělal pomocí CrystalDiskMark na připojenou síťovou jednotku.

[kyytaM]

Skusim snad v priebehu tyzdna, napisem sem potom. :)

[kyytaM]

No tak skoncilo to failom. V primitovnom a neobjektivnom teste sposobilo zapnutie SMB2 spomalenie vo svetkych hodnotach v defautlnon bechmarku CrystalDiskMark.

Testovane medzi Windows Vista a Debian Lenny so Sambou 3.5.6 z backportov. Prvy problem je, ze hdd v tom pocitaci neda viac ako 70 MB/s, druhy, ze je to Xen Dom0 s limitovanou pamatou (par MB ram volnych pred testom) a mal som pocit, ze pri SMB2 uz siel do swapu.

Zaver - pockat na Sambu 3.6 (uz mala byt tusim, ale nejako sa odlozila) a netestovat na odpadovom HW. :)

[David Ježek]

Zkuste si vyměnit desku a procesor (na zcela jinou generaci) u jiného OS .

někdy před rokem nebo tak jsem přešel z amd 790x+sb600 na intel p35+ich. tudíž zcela jiná i GLAN, jiný 1394 řadič, jiné úplně všechno. hodně stará zaprasená wxp to zvládla. prostě jsem přeházel karty di nové desky, normálně pustil wxp a po asi 20 minutách "cvičení s ovladači" systém fungoval dál jakoby se nechumelilo.

[trekker.dk]

Tak tak, já dělal přechod WXP "jenom" mezi generacemi AMD - Phenom na Phenom II + zákl. deska a taky to klaplo v pohodě.

[jelení hnůj]

wxp maji na install cd utilitku, ktera odstrani vetsinu ovladacu, je primo urcena na prenosy xp na jiny hw.

[Grunt]

Rychlost samby

Jejda. Herone. Rychlost Samby snad až jako poslední věc (je to krám). První co bych udělal když dostanu nějakou kartu je test pktgenem. Testuje rychlost od sběrnice až po síťovou kartu a dá se všelijak štelovat (viz ten paper) a vymáčknout jako citrón (tudíž až skoro na maximum). Jinak bacha, pakety se cpou do sítě, takže to občas dovede působit jako slušný flood attack. Pak bych vyzkoušel čisté TCP a UDP spojení mezi dvěma GNU/Linuxovými stroji (Windows zavrhuji čistě ze zkušenosti). Klidně můžeš zkusit dva obyčejné netcaty a nějaký /dev/zero nebo /dev/urandom (ten už ale zatěžuje procesor). Jinak ovšem jsou lepší nástroje jako iperf, nttcp a tak. Fungují podobně, ale líp se nastavují. Jinak ze softirq bych si až takovou starost nedělal. On se od klasického HW až tak moc neliší, ovšem co lišit může určitě je kód pro obslužnou rutinu mezi HW a SW přerušení v driveru pro daný NIC. Pokud se chceš hrát, můžeš vyzkoušet tuhle hračku (ale jinak jsou pro jádro i jiné profilery), který ti ukáže přes které funkce paket prochází a kolik času v nich tráví. Kdo ví, třeba se ti povedlo nalézt bug a můžeš se zasloužit na jeho lokalizaci a opravě.

[Heron]

Jejda Grunte možná by sis to měl přečíst znovu. Dva linuxové stroje nemám, vyzkoušel jsem i jiné protokoly (to všechno je tady napsáno), chovalo se to divně to i při lokálním přístup (tak proč floodovat sít, iperf apod jako bývalý ispkář znám taky) a rychlost samby je na file serveru pro windowsí stroje asi to síťově nejpodstatnější co mě zajímá.

Jinými slovy, šel jsem od konce, tedy od samby až po lokální stack.

[Grunt]

možná by sis to měl přečíst znovu

Jejda Herone. To nezakecáš.

Dva linuxové stroje nemám

https://fedoraproject.org/get-fedora? Jinak když to valí z paměti tak máš maximální jistotu, že se to nezakuckalo někde na sběrnicích a tak. Jediný problém může být leda tak když dojde paměť.

a rychlost samby je na file serveru pro windowsí stroje asi to síťově nejpodstatnější co mě zajímá.

No jo, jenže ty pak zmetkovost Samby nebo něco podobného svádíš na Realtek, to je pak problém.

[Heron]

Tak ještě jednou. Jak bych si pomohl Fedorou na jiném stroji, když to lokálně jelo taky blbě? Jinými slovy, vyloučil jsem problém v síťovém HW. To je odpověď i na tu poslední větu (a budu hodný a nebudu chtít citaci, která by toto tvrzení dokazovala).

[Grunt]

Aha. Ten virtuální stroj jsem jaksi přehlédl. Omlouvám se. Stává se i v lepších rodinách.

[Heron]

Ok, v pohodě

[Grunt]

A jak to chodí na reálném stroji? Též s takovýma problémama?

[Heron]

Co teď myslíš? Problém už je vyřešen, běhá to normálně.

[YYY]

Pekna zahada. Btw tomu rikam poradny server pro domaci pouziti. U mne topi stara PII 400MHz Ale je pravda, ze jsem jeste nenasadil gigabitovou sit.

[Heron]

Tohle není pořádný server, tohle je to nejlevnější desktopové, co jde koupit a vyhovuje požadavkům. Mrkni do ceníku.

[YYY]

Ja vim. Jen jsem si predstavil, ze na sve ukladani zdrojaku, dokumentu a fotek z akci budu misto dychavicne PII pouzivat takoveto delo.

[YYY]

Tak jsem se pod vlivem tohoto zapisku rozhodl dnes vecer upgradovat svuj domaci server na duron - 1200MHz a 2GB ram.

[Heron]

Výborně, alespoň k něčemu byl dobrý