Dotaz: Find v cyklu a vypis duplikace

[Rodeo65]

Zdravim, mam takovy dotaz. Snazim se vyhledat z jedne slozky soubory a zkopirovat je do jine. A nasledne vypsat rozdil souboru techto slozek za nejaky cas. Chtel jsem pouzit prikaz diff, ale nevim jak presne vyuzit funkci find aby mi zobrazila jen soubory a ne cestu, jelikoz jedna slozka ve ktere to hledam ma x tisic slozek. Dekuji

 

Odpovědi

[pht]

Řekl bych, že jak je dotaz napsán, tak ho nikdo nechápe :) Co nějaký příklad?

[rastos]

jak presne vyuzit funkci find aby mi zobrazila jen soubory a ne cestu

man find:
...
-printf format
...
%f File's name with any leading directories removed (only the last element).

[Rodeo65]

Mam za ukol vyhledat v slozce stable soubory obsahujici GPG klice a zkopiruju je do adresare dnesniho data. To udelam prikazem cp -ib `find stable -type f -name "*.gpg"` `date '+%Y-%m-%d-%H-%M'` a ted je problem, ze musim nejspis udelat cyklus protoze jsou zde ve slozce stable soubory ktere maji stejny nazev a ja je nechci prepsat. A chci vypsat ktere ty dva stejne soubory to jsou a kde jsou ulozeny. Tento prikaz to vypise find stable -name "*.gpg" -exec ls -l {} \; ale porad nevim jak presne udelat ten cyklus v kterym by to jelo a podminku abych vypsal jen ty duplikovany.

V tom cyklu jeste kazdy *.gpg soubor importuju do gpg klicenky. To by bylo vse v tom cyklu ktery nevim jak udelat.

Premyslel jsem forem, protoze si spocitam kolik GPG souboru jsem zkopiroval,ale nejsem si jist jak...

 

A potom porovnat obsah souboru *.gpg ve vytvorene slozce napr. 2009-06-03-20-30 a obsah souboru v nove vytvorene slozce dnesniho data. To bych asi udelal diffem. A rozdil vypsat. 

 

 

[pht]

Aha, tak to si stačí přečíst manuál k cp.

--reply[=HOW]
     Using `--reply=yes' makes `cp' act as if `yes' were given as a
     response to every prompt about a destination file.  That
     effectively cancels any preceding `--interactive' or `-i' option.
     Specify `--reply=no' to make `cp' act as if `no' were given as a
     response to every prompt about a destination file.  Specify
     `--reply=query' to make `cp' prompt the user about each existing
     destination file.

tj. "--reply=no" nebude nic přepisovat, případně

-u, --update
     copy  only  when  the  SOURCE file is newer than the destination
     file or when the destination file is missing

[Ash]

Pokud chcete nějak rozumně zobrazit ty duplicity názvů, tak mne tak narychlo napadlo:

find stable -name "*.gpg" > files
find stable -name "*.gpg" | while read f; do
  filename=$(basename "$f")
  if grep -E ".*/$filename\$" files | grep -v "$f"; then
    echo "\\$f"
  fi
done

[Ash]

grep -vE "^$f\$"

[Rodeo65]

Diky za pomoc to co jsi napsal mi fakt pomohlo. Uz jsem to mel taky v soboru, ale ten cyklus mi delal problem. Teprv se v shellu ucim.

Kdyz bych chtel taky cyklem projizdet slozky a hledat urcite soubory tak to udelam taky pres while, nebo je nejaka vychytavka?

[Ash]

Záleži na tom co o tom souboru potřebujete zjistit. Na hodně věcí stačí jen find (typ souburu, práva, mtime...), na něco složitější (typ kodeku videosouboru) je to už lepší předávat whilecyklu a tam to pořešit utilitami pro danou úlohu vhodnými.

[pht]

Z toho mi bliká červená kontrolka N²

[Ash]

Tak když se zamyslíte kolik je to N, tak kontrolka zase rychle zhasne.

[pht]

Myslíte tohle?

jedna slozka ve ktere to hledam ma x tisic slozek

Z toho mi nic nezhasíná.

[Ash]

Aha, no tak jestli tím bylo myšleno že těch *.gpg souborů je několik tisíc (?), tak pak se vyplatí řešení od deadmail uvedené níže. Já o něm původně uvažoval, ale dostal jsem se jen k uložení do souboru a setřídění podle basename, pak už se mi to nechtělo parsovat protože awk moc neumím :) Asi bych to byl napsal v bashi:

find original -name "*.gpg" -printf "%f\t%p\n" | sort -k1,1 -t"      " | while IFS="      " read filename fullname; do
[[ "$filename" == "$oldfilename" ]] && echo -e "$fullname\n>$oldfullname";
  oldfilename="$filename";
  oldfullname="$fullname";
done

[deadmail]

To riesenie s awk-om vypise subory s opakujucimi sa menami, kazdy prave raz.

Uvedene riesenie v bash-i je zjednodusena verzia, vzdy vypise subor a k nemu nazov suboru ku ktoremu sa porovnava - teda ak su tri subory, tak celkovo vypise styri nazvy (v tvare druhy >prvy treti >prvy).

[Ash]

Sem doufal že to po mně někdo opraví :D ale asi bych měl sám no.

oldfullname="";
find original -name "*.gpg" -printf "%f\t%p\n" | sort -k1,1 -t"    " | while IFS="    " read filename fullname; do
  if [[ "$filename" == "$oldfilename" ]]; then
    echo -e "$oldfullname$fullname";
    oldfullname="";
  else
    oldfullname="$fullname\n";
  fi;
  oldfilename="$filename";
done

[pht]

Jo to už vypadá použitelně, jen místo toho tabu v uvozovkách bych použil něco jako `echo -ne '\t'`

[Ash]

Já bych zase použil $'\t', kdybych to tedy chtěl komplikovat.

[deadmail]

este na zaciatok doplnit oldfilename="", aby tam nahodou niekto nedal nazov prveho suboru

a to IFS=" " by mohlo byt pred while, aby sa nemuselo nastavovat pre kazdy riadok, nie?

[Ash]

1) ano oldfilename mi vypadlo ale neřešil jsem to protože pravděpodobnost je nízká :D

2) záleží na situaci, pokud to spouštíte v aktuálním shellu který ještě míníte používat, musel by se zazálohovat a pak obnovit, pokud to pouštíte ve skriptu, lze s určitým rizikem pozdější chyby zálohu neudělat. A nebo pokud byste to třeba chtěl mezi pajpu a while což je častá chyba tak tam to syntakticky nejde. Určitě si každý najde své optimální řešení.

[Ash]

Také by šly vynechat nadbytečné středníky, těch je tam taky hodně.

[Ash]

Jinak mne napadlo že jako oddělovač by šlo v uvedeném případě místo tabu použít lomítko, čímž bychom se zbavili problému (pravda spíš hypotetickému) s tabem v názvu souboru.

[Ash]

Tohle bude fungovat i pro soubory se znaky \t či \n v názvu :)

oldfilename=""
oldfullname=""
find original -name "*.gpg" -printf "%f/%p\0" | sort -k1,1 -t/ -z | xargs -n 1 --null echo | while IFS=/ read filename fullname; do
  if [[ "$filename" == "$oldfilename" ]]; then
    echo -e "$oldfullname$fullname";
    oldfullname=""
  else
    oldfullname="$fullname\n"
  fi
  oldfilename="$filename"
done

[Ash]

jo nebude, problém je pořád s tím readem :( Dneska nemám den :)

[pht]

Pokud chcete řešit takovéto zrůdnosti, tak to přepište do Perlu nebo podobně.

[Ash]

Ale principiálně by mne zajímalo jestli se dají způsobem find | read nějak řešit soubory s \n v názvu. Připadá mi, že ne, ale zase přepisovat každý podobný problém do perlu jen aby byl obecně se mi také nelíbí :(

[Ash]

Nejschůdnější mne napadlo dát vnitřek cyklu o funkce a jméno souboru jí předávat přes xargs -0, to by nevyžadovalo žádné velké změny v kódu.

[deadmail]

ale da sa, read ma prepinac na zmenu delimitera. Akurat treba dat pozor, ze znak null znamena aj koniec riadku v bash-i, tak sa musi tam zapisat $

find ... -print0 | while read -d $'\0' file; do echo "---$file---"; done

[deadmail]

a este asi prepinac -r, kvoli spatnemu lomitku v nazvoch ... snad uz ten read zoberie vsetko mozne

[Ash]

No výborně, díky!!

oldfilename=""
oldfullname=""
find original -name "*.gpg" -printf "%f/%p\0" | sort -k1,1 -t/ -z | while read -d $'\0' line; do
  filename=${line%%/*}
  fullname=${line#*/}
  if [[ "$filename" == "$oldfilename" ]]; then
    echo -e "$oldfullname\"$fullname\"";
    oldfullname=""
  else
    oldfullname="\"$fullname\"\n"
  fi
  oldfilename="$filename"
done

[Ash]

Jo a to -r

[pht]

Mně spíš šlo o to, že pak už neřešíte expanzi parametrů a kdovíco.

[deadmail]

Riesenie v O(NlogN) pomocou sort a awk-u fungujuce ak v nazvoch suborov nie je tabulator ani znak konca riadku

find -name "*.gpg" -printf "%f\t%p\n"|sort -k1,1 -t" "|awk 'NR == 1{fn=$1;f=$2;b=0} NR>1 {if ($1 == fn) {if (b == 0) {print f};print $2; b=0} else {b=0};fn=$1;f=$2}'

Pozn: v prikaze sort za prepinacom -t je zadany tabulator v uvodzovkach ( CTRL-V, TAB)

[Rodeo65]

Moc dekuju vsem. Velice mi to pomohlo. Sam bych si neporadil, fakt diky moc VSEM