Dotaz: BTRFS error state EAL - Debian 12 - 2x SSD

[Howard]

Jednou za 2-3 měsíce se stane, že se server zasekne a na obrazovce je hromada hlášek:

[2420966.279450] BTRFS error (device nvme0n1p2): bdev /dev/nvme0n1p2 errs: wr 1173, rd 2291, flush 0, corrupt 0, gen 0

Jedná se o Debian 12 se standardními repozitáři pravidelně aktualizovaný jednou týdně.
# uname -a
Linux 6.1.0-18-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.76-1 (2024-02-01) x86_64 GNU/Linux

Disky - 2x 1 TB Samsung SSD 990 PRO FS samozřejmě BTRFS, na jednom disku je boot, kořenový oddíl a swap. Druhý disk slouží jako rozříšení kořenového oddílu pomocí btrfs device add, tedy to funguje jako RAID 0.

Badblocks obou disků ani btrfs scrub neukázal žádné chyby. Journalctl -b -1 končí na opakující se takovéto hlášky:

bře 24 16:48:01 207 CRON[3484705]: pam_unix(cron:session): session opened for user root(uid=0) by (uid=0)
bře 24 16:48:01 207 CRON[3484706]: (root) CMD (/root/scripts/load_check)
bře 24 16:48:01 207 CRON[3484705]: pam_unix(cron:session): session closed for user root
bře 24 16:48:21 207 earlyoom[1226980]: mem avail: 45136 of 63436 MiB (71.15%), swap free: 12268 of 19066 MiB (64.34%)

Ani v žádném jiném logu jsem nenašel žádnou chybu, jako když prostě selže disk a systém chybu už nemůže zapsat na disk, pouze na obrazovku.

Zatím jsem neměl příležitost nechat běžet memtest ani btrfs check, server musí běžet. Doporučujete udělat memtest a btrfs check?

Může se jednat o bug v kernelu, i když se jedná o stabilní Debian? Mám zkusit nainstalovat jiné jádro?

Případně co dál řešit?

Odpovědi

[P.V.]

Mozna to chce rebalans.

Doporučujete udělat memtest a btrfs check?

A co bys tak očekával, že dostaneš za radu? Btrfs ti píše, že error... Tak pěkně na btrfs zkontroluj, co můžeš. Pak můžeš přemýšlet, jak postupovat dál.

[Aleš Kapica]

A jenom bych si přisadil. Prostuduj si také blogpost Všechno má svůj čas, speciálně pasáž „Proč nechci mít jen jeden disk”, kde máš odpověď i na otázku, co děláš blbě.

[Aleš Kapica]

Jo a taky nebude od věci když si přečteš blogposty, mého kamaráda: Případ zhrouceného notebooku a Nasysleno.

[Max]

Jakou verzi FW máš v těch NVMe?
Jaký chipset máš v tom serveru?
Zdar Max

[Want]

Jakou verzi FW máš v těch NVMe? Jaký chipset máš v tom serveru?

Vis podrobnosti o rozdilech ve verzich? kdyz ti rekne verzi co bude nasledovat za radu?

[Vantomas]

Prostá zkušenost se Samsung SSD. Mají v těch firmwarech bugy, že ta SSD na dlouho lagnou nebo se nějak zrestartují a zmizí/objeví se na sběrnici, když běží už příliš dlouho. A to samozřejmě filesystémy a jiný věci nemají rády. No a když pošle verzi, co je až moc příliš stará, tak se dá předpokládat, že problém bude tam.

[Max]

Můžu např. zjistit, že existuje novější verze fw. Nebo lze podle konkrétní verze dohledat, zda nemá nějaký problém.
Zdar Max

[Want]

Doufám Maxi, že ti je jasné že můj nick zneužívá nějaký šmudla. Nicméně - jsem nakloněn tomu dát pivko, takže jak budeš mít ideální okno, stačí echo.

[Want]

můj nick

ID? nebo staci byt ve strane?

Jen jestli se ty neskrýváš za nickem nějakého šmudly...

[Want]

Buď bez obav mantáku. Max ví na jaké číslo zavolat.

[X]

Nemuze byt problem s deskou? Nejaka diagnostika neni?

[lertimir]

Nějak vůbec nerozumím slovnímu spojení "server" a "RAID 0". Svým studentům už desítky let tluču do hlav, že jakýkoliv kus hardware může v kterýkoliv okamžik selhat, a tak že je naprosto neopravitelný. A když si přečtu toto, tak mám pocit s klasikem: Je to marné, je to marné, ne to marné.

[alkoholik]

Kde se sakra flaka Andrej?
Hadam, ze do NVMe error logu jsi se uz podival a jsou taky prazdne..

[pavele]

V případě chyby btrfs se Andrej nevyskytuje.

Samozřejmě všichni diskutující označí tazatele za absolutního amatéra, neschopného hlupáka, s vadným hardwarem - nevhodná základní deska, disky nevhodné pro btrfs, zastaralým softwarem, s nepoužitelnou distribucí a poradí mu, aby si raději najal firmu na opravu.

Tak jako už mnohokrát dříve.

[Max]

Pár lidí, co tu mělo rozpadlé btrfs, používalo zabugované Samsungy 960/970 řady, kde opravdu byla chyba v jejich fw a v kombinaci s určitými chipsety mohlo dojít ke ztrátě dat. V linux komunitě se to řešilo několik let a postupně se to vyřešilo tak, že u těch ssd vypínal kernel TRIM, NCQ a další věci.
V případě řady 990 Pro nevím o ničem, ale tazatel nekomunikuje, takže se asi příčiny nedopátráme. Je ale vidět, že ty máš hned jasno :D.
Zdar Max

[chinook]

Já mám asi ten stejný problém.

Model Number:                       Samsung SSD 990 PRO 4TB
Firmware Version:                   0B2QJXG7

Linux node 5.10.0-27-amd64 #1 SMP Debian 5.10.205-2 (2023-12-31) x86_64 GNU/Linux

Co jsem se díval firmware je na webu novější, ale nenašel jsem, že by opravil tyto chyby. Disk je celkem dost vytížen. A po týdnu nebo dvou. Začne hlásit stejné chyby jak tady kolegovi. Restart PC dále disk nenajde. Ale pokud PC vypnu a zapnu, tak to zase nějaký týden jede v pohodě. Měl jsem podezření, že se to přehřívá, koupil jsem chladič otevřel case snížil teplotu o 20stupnu a furt stejný. Přemýšlím, že koupím jiný disk. Ale ještě tomu chci dát šanci. Pomohl by upgrade kernelu na 6x?

[Max]

Díky za info. Hele, v changelogu firmware nemusí být uvedeno vše. Je to na benevolenci vendora. Jinak už jen to, že po restartu nevidíš disk, je velký špatný. To by se dít opravdu nemělo. Buď máš vadný disk, nebo nějaký bug v desce, nebo těžko říci. Začal bych full updatem fw, tj. i biosu desky.
Teploty NVMe můžeš sledovat, např. 80C je už podle mě přes čáru. Já mám běžnou teplotu kolem 47C.
Pasiv používám, bez něj to nejde, ale taktéž to nejde bez průvanu ve skříni. Obzvláště, když má člověk nvme pěkně u výkonné GPU, která topí vostošest.

Hele, poměrně nový kritický bug v 990 Pro: Avoid Loss of Data: Upgrade Your Samsung 980 & 990 Pro SSD to the Latest Firmware (0E error fix).
Ale těžko říci, zda se ho ten bug týká, bo jinde vyráběný s trochu jinými čipy: Samsung 990 PRO Firmware 0B2QJXG7 is it okay?
Pokud je dostupný nový fw, tak bych rozhodně udělal update.
Jinak Debian má aktuálně kernel 6.1 ve stable větvi, takže řekl bych, že to je signál, nebát se do toho jít. Pětkový kernel už je opravdu dědeček.
Zdar Max

[chinook]

Uvidíme, již skoro týden mám aktualizovaný FW na desce od DELLu Precision 3650 Tower. Tuším z verze 1.12 na 1.30.

Jádro na: Linux node 6.1.0-20-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.85-1 (2024-04-11) x86_64 GNU/Linux

Disk je teď sice méně vytížen, protože po upgrade z debian 11 na debian 12 jedna aplikace, která to dosti vytěžovala přestala jet a nedokážu ji zprovoznit.

Teplota ssd disku je 41 stupnu bývala 45 když ještě běžela ta aplikace.

Zatím nedovedu posoudit jestli upgrade pomohl. Uvidíme časem. Disk jsem zatím neupgradoval, budu muset sehnat disk s win, abych tam nabootoval a upgrade provedl.

[Max]

Mělo by to jít i přímo z Linuxu: Samsung SSD Firmware.
Zdar Max

[chinook]

Super, přitom jsem hledal a nenašel to.

Update proveden.

Firmware Version: 4B2QJXD7

Teď ještě zrpovozním tu aplikaci co to vytěžuje a za cca 7-14 dní uvidíme.

[Max]

Díky, tak pak dej info.
Zdar Max

[xxl]

Andrej tady už kolikrát psal, že chyby hlášené btrfs dost často upozorňují na vadný hardware, jako je třeba paměť. A i sám tazatel tušil, že problém nemusí být přímo v btrfs. Kromě toho tazatel také psal, že btrfs scrub skončil bez chyb. To znamená, že data byla patrně dosud v pořádku.

Takže bych netvrdil, že je to chyba btrfs.

[pavele]

Netvrdím, že je to chyba btrfs.

Tvrdím, že co se týče (nejen) btrfs, nikdy (poslední měsíce?) tu nebyla konstruktivní debata, která by vedla k vyřešení problému a pomohla tázajícímu.

Navíc si nejsem jist, jestli většina dotazů nejsou uměle vytvořené, aby to tu aspoň trochu žilo. Tazatel hodí otázku a pak se už neozve.

Před lety měli všichni snahu a ochotu problém vyřešit. Možná se mýlím.

[Jendа]

Kromě toho tazatel také psal, že btrfs scrub skončil bez chyb. To znamená, že data byla patrně dosud v pořádku.

Takže bych netvrdil, že je to chyba btrfs.

Klasický omyl. Scrub nekontroluje strukturu FS, ale jen checksumy bloků. Pokud k chybě (softwarové - race conditions, přepsání kusu paměti nesouvisejícím zabugovaným modulem…; hardwarové - bitflip v paměti) došlo před spočítáním checksumu, tak scrub projde, ale FS není konzistentní. K ověření konzistence slouží btrfs check. Čím ho pak opravit - těžko říct. btrfs-check má v manuálu napsáno že se nemá pro opravy používat. Nejspíš tedy vykopírovat data pryč, FS vytvořit znova, zkopírovat data zpět a doufat že to nebudeš muset dělat moc často. No, furt lepší než ZFS, kde fsck nemají vůbec, ani read-only variantu.

[Max]

No, nevím, ZFS mi přijde super. Rok se ho snažím zbořil a přijít o data, mám v poolu x vadných disků a pořád se to snažím nějak zneškodnit a čekám, kdy to padne. Jednou to mělo na mále (dvě RAIDZ skupiny se rozpadly), ale nakonec to stejně přežil a skupiny znovu sestavil a s datama nebyl problém. Celkově je to hodně drsně dobrý řešení.
Zdar Max

[xxl]

Klasický omyl.

Tak za prvé. Napsal jsem

data byla patrně dosud v pořádku.

protože si uvědomuji, že k podobné věci může dojít.

A za druhé. I pokud k nějaké

chybě (softwarové - race conditions, přepsání kusu paměti nesouvisejícím zabugovaným modulem…; hardwarové - bitflip v paměti) došlo před spočítáním checksumu

tak je to chyba btrfs pouze tehdy, pokud to btrfs sám způsobil. Což u většiny těch věcí, o kterých píšeš, neplatí. Kromě toho si myslím, že pokud by to dělal přímo btrfs, bylo by postižených víc.

Ovšem my nevíme, jak to v našem případě dopadlo, protože tazatel nekomunikuje.

[Max]

Ale máš tu chinooka, který potvrdil nějaký problém se stejným / podobným modelem Samsungu + linky na big fatal chybu ve fw.
Takže i když tazatel nekomunikuj, máme tu další případ se shodným modelem, který naznačuje problém na hw/fw úrovni.
Zdar Max

[xxl]

No jo, ale to přece není chyba btrfs.

Mimochodem, tyhlety chyby:

[2420966.279450] BTRFS error (device nvme0n1p2): bdev /dev/nvme0n1p2 errs: wr 1173, rd 2291, flush 0, corrupt 0, gen 0

jsem měl minulý týden v logu taky. Taky Samsung, ale 2,5' SATA. Ovšem kromě těchto chyb od btrfs mi to hlásilo i hw chyby v logu a také chyby při smart testech. Disk jsem vyreklamoval. Data, zdá se, v pořádku, měl jsem tam raid.

[Max]

Já jen reagoval na "Ovšem my nevíme, jak to v našem případě dopadlo, protože tazatel nekomunikuje.", čímž jsem chtěl říci, že vzhledem k dalšímu podobnému problému asi víme, odkud vítr vane.
Zdar Max

[Jendа]

Nebyla jedna z hlavních propagovaných vlastností btrfs, že má díky svým checksumům proti chybám disku chránit (resp. je scrub má alespoň detekovat)?