abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 22:44 | IT novinky

    Apple představil nový MacBook Pro s čipy M4, M4 Pro a M4 Max.

    Ladislav Hagara | Komentářů: 3
    včera 22:00 | Zajímavý software

    Na GOG.com běží Halloween Sale 2024. Při té příležitosti lze získat zdarma počítačovou hru Return of the Phantom.

    Ladislav Hagara | Komentářů: 0
    včera 20:22 | IT novinky

    Společnost OpenAI spustila internetový vyhledávač ChatGPT search.

    Ladislav Hagara | Komentářů: 0
    včera 14:33 | Pozvánky

    Konference OpenAlt 2024 proběhne již tento víkend 2. a 3. listopadu v prostorách FIT VUT v Brně. Začíná ale už v pátek na warm-up party ve Studentském klubu u Kachničky v 17:00. Pokud jste ještě areál FITu nenavštívili, k dispozici jsou pokyny k orientaci. Na programu je 54 přednášek a workshopů. Témata jsou od silně technických témat jako je třeba GCC nebo PostgreSQL po méně technické témata jako eGovernment, nebo třeba detailní analýzu … více »

    Ladislav Hagara | Komentářů: 2
    včera 13:23 | Nová verze

    Byla vydána nová verze 6.9 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl povýšen na verzi 14.0.1. Tor client na verzi 0.4.8.13. Thunderbird na verzi 115.16.0.

    Ladislav Hagara | Komentářů: 1
    včera 12:33 | Komunita

    Vývojáři free a open source synchronizačního nástroje (a p2p náhrady Dropboxu) Syncthing oznámili, že z důvodu odporu ze strany Google Play ukončují podporu OS Android. Bohužel v rámci toho zmizí i vydání Syncthing na F-Droid, který má slabší uživatelskou základnu. Syncthing je na Androidu implementován formou wrapper aplikace, která spustí Syncthing démon, vyžádá potřebná oprávnění a zpřístupní webové rozhraní démona. Ve srovnání se

    … více »
    Harvie.CZ | Komentářů: 4
    včera 01:11 | Nová verze

    V červnu 2022 bylo oznámeno, že z K-9 Mailu se stane Thunderbird pro Android. Trvalo to poněkud déle, než vývojáři předpokládali, ale včera byl první stabilní Thunderbird pro Android 8.0 vydán.

    Ladislav Hagara | Komentářů: 0
    30.10. 21:33 | Komunita

    Projekt microDMG Racer na Kickstarteru nevyšel, tak se autor rozhodl uvolnit na ESP32 postavené autíčko i ovladač jako open source.

    Ladislav Hagara | Komentářů: 6
    30.10. 13:22 | Nová verze

    Byl vydán TrueNAS SCALE 24.10 „Electric Eel“. Přehled novinek této open source storage platformy postavené na Debianu v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    30.10. 13:11 | Nová verze

    Byla vydána nová verze 24.10.29 svobodného multiplatformního video editoru Shotcut (Wikipedie) postaveného nad multimediálním frameworkem MLT. Nově s podporou AI (whisper.cpp) pro generování titulků. Nejnovější Shotcut je již vedle zdrojových kódů k dispozici také ve formátech AppImage, Flatpak a Snap.

    Ladislav Hagara | Komentářů: 1
    Rozcestník

    Dotaz: luks a fallocate

    10.3.2018 09:36 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    luks a fallocate
    Přečteno: 322×

    Zdravím,

    V diskuzi za tímto blogem mne zaujal příspěvek od KS , kde popisuje vytvoření samosmrskávacího / natahovacího luks kontejneru.

    Síce jsem tam přihodil popis problému který jsem s tím měl, ale dotaz jsem vložil na nesprávné místo, proto jej zkopíruju sem, aby případní následovníci a odpovídající :-) měli snažší hledání.

    Na serveru jsem vytvořil pomocí fallocate ( stejně jako KS ) zárodek kontejneru.

    Z PC jsem coby root připojil složku s kontejnerem přes sshfs.

    Kontejner jsem ze svého PC naformátoval, připojil, vytvořil ext4fs, a ten připojil mountem do svého /mnt/pokus.

    Zkopíroval jsem dovnitř složku ( asi 2,7 GB) a po zkopírování jsem na serveru zkontroloval, že soubor má asi 3,6GB.

    Pak jsem zase z kontejneru odmazal podsložku ( asi 800MB ) a zkontroloval, zda se kontejner zmenšil.

    Nezmenšil, naopak opakovanou kontrolou jsem zjistil, že kontejner stále roste.

    Z mého PC odtékalo konstantně asi 1MB/s směr server, a kontejner zhruba stejně rychle rostl.

    Po odpojení kontejnerovaného ext4 z /mnt/pokus růst kontejneru i tok dat ustal

    Nevím, kde jsem udělal chybu, ani mi není jasné, proč se to takto chová.

    Předem díky za rady a poučení :-)

    M.


    Řešení dotazu:


    Odpovědi

    10.3.2018 10:26 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    Zkusil jsem si to na lokálním systému ( bez sshfs ) a chová se to stejně ...
    10.3.2018 11:29 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: luks a fallocate
    Odhliadnúc od toho že nepíšeš či máš cieľ na flash disku s FS ktorý umožnuje discard, ale mohol by si aspon prezradiť ako to chceš ten signál pretlačiť cez sshfs fuse.

    Len sa pýtam, nechcelo sa mi to skúšať. Idem radšej na bicykel.
    10.3.2018 13:41 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    viz :Zkusil jsem si to na lokálním systému ( bez sshfs ) a chová se to stejně .

    Harddisk na serveru je ext4, na PC btrfs.

    Musí být i systém na disku ( ten úplně vespod ) s discard ? to mně nenapadlo ..

    10.3.2018 17:53 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: luks a fallocate
    Robí to s TRIM. Takže čo myslíš, pôjde to aj keď nebude výsledok zapísaný na Flash/SSD a discard cez trim nebude aktívne?

    PS: Bolo nádherne.
    10.3.2018 14:09 Petr
    Rozbalit Rozbalit vše Re: luks a fallocate
    $ cryptsetup luksOpen encpart encpart_decrypted --allow-discards $ mkfs.ext4 /dev/mapper/encpart_decrypted

    Pouzil jsi --allow-discards ?
    10.3.2018 15:53 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    Ano, podle návodu .. i v tom mount /dev/mapper/encpart_decrypted /mnt/encpart/ jsem dal -o discard ( podle návodu )
    10.3.2018 16:16 Petr
    Rozbalit Rozbalit vše Re: luks a fallocate
    Muzes sem dat vse z toho testovani na lokalnim stroji? Vsechny prikazy, vystupy,..
    10.3.2018 18:55 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    $ fallocate -l1 -o1T kontejner
    
    $ sudo /usr/sbin/cryptsetup -q luksFormat kontejner
    Zadejte heslo:
    
    $du -h kontejner
    136K    kontejner
    
    $ sudo /usr/sbin/cryptsetup open --allow-discards  kontejner dmkontejner
    Zadejte heslo pro kontejner:
    
    $ sudo mkfs.ext4 /dev/mapper/dmkontejner 
    mke2fs 1.42.11 (09-Jul-2014)
    Zahazují se bloky zařízení: hotovo                          
    Vytváří se systém souborů s 268434944 (4k) bloky a 67108864 uzly
    UUID systému souborů=11e39018-fe21-490a-a900-f68201587435
    Zálohy superbloku uloženy v blocích: 
            32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
            4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
            102400000, 214990848
    
    Alokují se tabulky skupin: hotovo                          
    Zapisuji tabulky iuzlů: hotovo                          
    Vytváří se žurnál (32768 bloků): hotovo
    Zapisuji superbloky a účtovací informace systému souborů: hotovo 
    
    du -h kontejner
    139M    kontejner
    
    $mkdir  mntkontejner
    $ sudo mount -o discard  /dev/mapper/dmkontejner mntkontejner/                                        
    
    $ mount | grep mntko                                              
    /dev/mapper/dmkontejner on /home/data/milan/mntkontejner type ext4 (rw,relatime,discard,data=ordered)
    
    $ mount | grep data
    /dev/sdb2 on /home/data type btrfs (rw,nosuid,nodev,noexec,relatime,space_cache,subvolid=257,subvol=/@)
    
    ## V PC mám malý (30G) SSD + 1T HDD na uživ. data. Jak je to propojené , je asi vidět ...
    
    $du -h kontejner
    683M    kontejner     
    
    $du -h kontejner                                                                                           
    759M    kontejner
    
    $du -h kontejner                                                                                           
    803M    kontejner
    
    $du -h kontejner                                                                                           
    839M    kontejner                                                                                                                       
    $ sudo umount /dev/mapper/dmkontejner
                                                   
    $du -h kontejner
    849M    kontejner
    
    $du -h kontejner
    849M    kontejner
    
    $du -h kontejner
    849M    kontejner
    
    

    Hned po připojení FS v kontejneru začíná soubor růst, netřeba nic kopírovat. Zastaví se to až po odpojení FS

    Řešení 1× (Milan Uhrák (tazatel))
    11.3.2018 14:58 Petr
    Rozbalit Rozbalit vše Re: luks a fallocate
    Kdyz to zacne rust bez toho aby jsi tam neco nakopiroval, podivas se do /home/data/milan/mntkontejner je tam neco? Kdyz to nechas rust, zastavi se to nekde? Treba u 50gb?
    Jendа avatar 11.3.2018 00:45 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: luks a fallocate
    Obávám se, že sshfs neumí tuhle magii s proděravěním souborů při TRIMu.

    Mimochodem taky se dá pustit fstrim ručně (nepomůže to na sshfs, ale pokud by byl problém v ext4, tak to pomůže).
    11.3.2018 09:21 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    Dělá to i lokálně na btrfs ..

    A že netrimuje, to mě teď skoro nebolí ... ale on ROSTE bez jakékoliv další akce hned po mountu
    11.3.2018 15:20 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: luks a fallocate
    Neprepisuje sa ti to nulami aby to mohlo "zahodiť nepoužívané bloky plné núl"? V ombinácii s nefunkčným TRIM by som takéto chovanie pochopil.
    Řešení 1× (Milan Uhrák (tazatel))
    11.3.2018 16:31 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: luks a fallocate
    Počkaj, nebude to samovolné narastanie len nejaká malá časť na koľko to narastie kvôlivá vytvoreniu žurnálu?

    Som si to len zo srandy nasimuloval pri 1G sparse file. A po naformátovaní mi to zaberalo 16M. Po pripojení kedy sa mi pripravil žurnál a alokácia sa zastavila na 32M. Po zapísaní cca 200M do kontajnera to poskočilo o cca 200M. Po odmazaní tých 200M sa mi to zmenšilo naspäť na 32M.
    11.3.2018 20:00 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    OK, a zařízení musí být TRIM-able ? a mountnuto s volbou discard ?

    když ten kontejner udělám na obyč HDD patrišně mountnuté bez discard ( nebo ekvivalentu ) , tak to smrskáváni nebude fungovat ?
    11.3.2018 20:31 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: luks a fallocate
    Pri staršom SW áno. Pri novšom mi to shrinklo aj na rotačnom disku. Akurát to narastanie disku pri prvom pripojení kvôli vytvoreniu žurnálu ...

    Ale silno by som odporúčal mať aktívny a funkčný trim ak chceš aby sa ti to shrinklo a aby sa uvoľnené dáta zmazali.
    11.3.2018 22:06 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
    Rozbalit Rozbalit vše Re: luks a fallocate
    Zrušte poplach !

    u 1T kontejneru jsem nevěděl, co to bude dělat, když ho nechám růst do nekonečna. vytvořil jsem tedy 10G kontejner a růst se zastavil na 291M ... uf .. tady plaším .. a ono je to v pořádku.

    Nakopíroval jsem 363M soubot, a velikost kontejneru poskočila na 648M ... po smazání se vrátila zpet na 291..

    Tak se omlouvám, že tady vyvolávám zmatky ..

    a děkuji všem ta trpělivost .. :-)

    M.
    12.3.2018 09:04 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: luks a fallocate
    To potom sedí na ten žurnál, spravil sa ti na 10G disku cca 10x väčší ako mne na 1G :-)

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.