Dotaz: Veľmi pomalý rdiff-backup cez sshfs

[Peter]

Dobrý deň vám prajem.

Mám dedikovaný server ku ktorému je v cene 100GB úložiska na zálohy. Pristupovať naň môžem len cez cifs || ftp || scp. rdiff-backup server tam nainštalovaný samozrejme nie je, teda nemôžem využiť interné ssh spojenie. Jediné riešenie je mount sshfs.

Problém je nasledovný, zálohujem 1.6GB web kde je veľa malých súborov a prvá záloha trvala relatívne krátko - cca 10 minút. Druhá záloha (čiže keď už robí diff) trvala 4 hodiny a pritom zmena bola len v cca 50MB.

Co s tým? Vopred vám za pomoc veľmi pekne ďakujem.

Odpovědi

[NN]

Podle dodanych informaci a mnozstvi vystupu muzes, bud vytahnout vesteckou kouli, nebo vykladat karty.

[lertimir]

Problém je proto, že celé je to navržené blbě. Pokud první rdiff-backup trvá 10 minut, tak by to měl být čas celkového přenesení všech souborů po lince, sekvenčním způsobem. Pokud jede rdiff-backup na další inkrementální zálohy, tak se počitají rozdíly. Algoritmy rsync jsou mnohem více navrženy tak že přístup, k disků je lokální, tedy mnohanásobně rychlejší než po síti. Lokálně si postupně spočítají chrakteristiky (blockové hashe) souborů a o nich se postupně dohaduje. Když si představím, že bych měl naprogramovat např. že v souboru bude na místě 145865 bytu vloženo 641 byte, pak na místě 178655 chybí 1633 bytů a na místě 198225 je 468 bytů nahrazeno 1752 byty, tak mnohdy se vícenásobnému čtení nebude možné vyhnout. Což při lokálních rychlostech nemusí vadit, ale tlačit ty změny a najít je přes pomalou linku je problém. Pokud nejede na obou stranách rsync, tak na filsystému to bude pomalé.

řešil bych to tak, že bych nakopiroval vždy celý web (jeden adresář, do kterého bude vytvářena synchronní kopie) a následně tento lokální adresář zálohoval.

[pavele]

Další problém bych viděl v tom, že se tu mažou příspěvky.

Můžeš spustit rdiff-backup -v 9, aby bylo vidět, kde je problém.

Asi by bylo dobré dát sem ten výstup a s jakými parametry ten rdiff-backup spouštíš.

Osobně mi trvá kontrola rdiff-backup necelé tři minuty pro cca 60 GB dat (převážně dokumenty a fotky) na 100 Mb lince, připojení pomocí cifs.

[lertimir]

No ale to se ti určitě nečtou data. 1GB za 3 sekundy přes 100Mb neprojde. Projdou se jen adresáře a souboru s nezměněným datem se to nedotkne. Otázka je co se děje u tazatele. Třeba přes sshfs nemá správné časy a tím pádem čte data, ale to že inkrement trvá násobně déle než full je problém v designu.