Boinc GUI a program na sťahovanie súborov z rapidshare

22.12.2008 12:00 | Přečteno: 4303× | Programovanie | | poslední úprava: 22.12.2008 11:59

V dnešnom blogu som sa rozhodol podeliť o dva moje (nie moc dokončené) programy. Oba sú napísané v pythonovi (paradoxne väčšinou píšem v c++). Boinc GUI využíva PyQt4. Sťahovač z rapidshare nepoužíva žiadne gui. Na sťahovanie používa štandardnú pythonovskú knižnicu (konkrétne urllib) takže na jeho používanie pravdepodobne nebude potrebné nič doinštalovať.

PyBoincGui

Ako som už povedal tento program používa PyQt4 (voliteľne aj PyKDE4). Všetky podrobnosti sa môžete dozvedieť na webe projektu. Podrobnosti o požiadavkách, ako sa to spúšťa a čo to dokáže sa môžete dozvedieť v užívateľskom manuáli.

rs_downloader

Druhý (rovnako narýchlo) napísaný program v pythonovi je rs_downloader. Tento program sťahuje súbory z rapidshare. Podporované je len free konto. Program je možné stiahnúť z webu projektu. Zatiaľ je tam umiestnený len program bez pokecu. Takže drobný návod na použitie napíšem tu.

Návod na použitie

Ako vstupný súbor stačí pripraviť novým riadkom oddelený zoznam odkazov. Skript sa spúšťa s 1 argumentom - názov vstupného súboru. Tento program si priebežne výtvorí / aktualizuje rovnako nazvaný súbor ako vstup akurát s príponou .zostava. V tomto súbore je zoznam súborov, ktoré je ešte nutné stiahnúť. Súbory sa sťahujú v takom poradí, v akom sú uvedené v tomto súbore. V prípade neúspešného pokusu sa názov sťahovaného súboru presunie na koniec súboru. V prípade prerušenia program pokračuje korektne ďalej v sťahovaní (ak bol prerušený počas sťahovanie niektorého súboru je nutné samozrejme celý súbor stiahnúť znovu keďže rapidshare nepodporuje pokračovanie v sťahovaní).

Screenshoty

Stahujem http://****
Cakam este 6s

Stahujem http://****
 47.6%   45.55 MB / 95.78 MB

       

Komentáře

[edois]

Nechcete ten prográmek na stahování z rapidshare upravit tak, aby se mu nějak předhodil seznam různých proxy a on jel v několika threadech/procesech, aby to stahovalo rychleji? :)

[mirec]

No teoreticky by sa dalo .. upravím keď bude trochu času, nebolo by s tým moc roboty. Zatiaľ mi stačí trochu upravená verzia ktorá mi automaticky reštartuje ppp (kvôli novej IP) ;)

[mirec]

No v podstate už mám funkčné vlákna, trošku som popracoval na zobrazení (každé vlákno vypisuje na 2 riadky pod sebou takže je možné sledovať sťahovanie niekoľkých vlákien). No už len proxy do toho nejako zamontovať a odladiť.

[edois]

Super :)

[mirec]

No snáď by to už mohlo fungovať, takže všetky ďalšie argumenty za vstupným súborom sú proxy servery (pri špecifikovaní proxy už bude ťahať len z proxy, ak má niektoré vlákno sťahovať vo východzom nastavení sýstému napr. bez proxy tak stačí uviesť ako proxy server none).

[edois]

Porad mi to hazi nejakou chybu (s none to funguje), v jakem formatu ma byt ta proxy? zkousel jsem http://x.x.x.x:port/ a rika to non-numeric port

[edois]

uz to mam, staci zmenit

        req.set_proxy(proxy['http'], 'http')

na

        req.set_proxy(proxy['http'].replace("http://", ""), 'http')

a pak zadavat proxy ve formatu http://host:port

[mirec]

Ďakujem za opravu. Nejako som nenašiel príklad na nastavenie proxy pre request, predpokladal som, že sa to bude správať rovnako ako urllib (kde sa zadáva aj s http).

[hikikomori82]

Ked uz sme u SETI, pohovorme o datach ktore z toho lezu. Arecibo, odkial sa beru data, skenuje strasne siroke spektrum strasne "jemne" takze kym preskenuje cely rozsah trva to asi 1s. Cize jednu sledovanu frekvenciu (napr. H1) to vzorkuje frekvenciou 1Hz. Ked 3 rozne signaly - biely sum, bachovu 9. symfoniu a jednotkovy sinus - ovzorkujes frekvenciou 1 Hz, ak su to realne signaly, dostanes na vystupe biely sum. Ma to nejaky zmysel tieto konkretne data z areciba takto analyzovat? Nehovoriac o tom ze ked je to realny signal tak bude "plavat" a jeho nosna uz bude po dalsej sekunde uplne niekde inde pri tak velkom frekvencnom rozliseni. Imho jedine co moze zachitit je obalku (napr. double sideband AM) ale to moze byt hocico, nejaky pulzar alebo upsouknutie ionosfery nejakej hviezdy. Ak k nam nedaj boze vysielaju morzeovkou (to by som asi pouzil ja), nezachytime vobec nic.

[Joseph]

ja by som jednoznacne pouzil energeticky luc smrti namiesto morzeovky buehehe.

[Jardík]

Dovolím si doporučit FreeRapid Downloader i když je to Java program. Dokáže stahovat i z mnoha dalších serverů.

[kozzi]

No já používám k stahování (i z rapidshare) prográmek aria2, kterej imho nemá konkurenci, podporuje http,ftp,torrent, metalink

[Scarabeus IV]

To gui k boincu vypada opravdu pekne,
akorat par veci mu schazi:

1) ty stranky by museli bejt v en aby si toho vsimnul i nekdo mimo cz/sk
2) build system, obcas to budou chtit treba distributori balickovat a neveril bys jakej opruz to je hackovat kolem takoveho makefile jako mas ty :]
3) nejefektnejsi je psat komentare k commitum v EN ze stejneho duvodu jako pro prvni bod.

No to by bylo asi tak vsechno co me takhle vod pohledu napada.

[Fluttershy, yay!]

Ale mirec přece neumí anglicky!

[mirec]

No .. nezdá sa mi, že by to malo dostatočné kvality aby sa to dalo zaradiť do nejakej distribúcie, je to podľa mňa len narýchlo napísaný kód. Čo sa týka anglických stránok .. no ledva som zo seba niečo dostal v slovenčine. Anglicky rýchlo text nezbúcham, moja znalosť anglického jazyka asi na takej úrovni, že rozumiem technickej dokumentácii. Písanie v anglickom jazyku by mi zabralo výrazne viac času ...

[Kaio]

Ja ti to prelozim :) for free :D

[mirec]

No trebalo by urobiť nejaké úpravy .. potom (asi o také 3 mesiace, teraz mám plné ruky roboty) napíšem eng verziu takže budem potrebovať akurát kontrolu (fakt gramatiku neviem ..) a na to mám pár ľudí v kontaktoch vytipovaných ;)

[otasomil]

Nemam co bych dodal. rs_downloader je perfektni prace.

Otestovano na sekvenci 11 url. Vse v poradku stazeno.

Dekuji za vsechny.

[belisarivs]

Jak se to dela s tou proxy? V pythonu neumim.

[belisarivs]

Respektive, jak tahas tech X veci naraz. Spustis ten downloader vickrat?

[otasomil]

Proxy neresim pac vsechny co jsem testoval tak "kopou" tzn prerusuji spojeni a na rapid nelze ve free rezimu navazat (proste nic ve smyslu wget -c URL se nekona) a daj se pouzit tak akorat na anonymni prohlizeni webu (mj k tomuto jsou primarne urceny)

Pythonovsky skript proste spustim s predhozenyma URL v souboru a uz se o nic nestaram - vono se to nejak stahne - casem a hlavne bez obsluhy a v noci.

Proxy jsem zkousel v prohlizeci. Jeden prohlizec (Seamonkey) mam primo na net a druhej (Firefox) mam pres proxy. Toto jsem udelal abych mohl stahovat dva soubory soucasne. Bohuzel zadne proxy co jsem na netu dohledal tak mi neumoznil zcela stahnout onen 100 MB soubor z rapidu - navic rychlost byla v mnoha pripadech zalostna.

Pokud nekdo mate nejak overeny proxy tak sem s nim.

Otestuju

[mirec]

./rs_downloader vstupný súbor [zoznam proxy ...], samostatné vlákna si vytvorí pre každý proxy, pozor pri použití proxy prestane sťahovať bez proxy (je teda nutné uviesť do zoznamu none, teda bez proxy ak má 1 vlákno sťahovať aj bez proxy).

[anonym]

som asi blbec ale neukamenujte ma :) 

ako sa ten rs_down. vlastne spusta? z toho mininavodu som to nepochopil.. skade berie linky na stihnutie treb spravit nejaky novy subor ci to dopisat ? 

[mirec]

python rs_downloader.py vstupný_súbor_s_linkmi

Vstupný súbor je vo formáte každý link na nový riadok.

[anonym]

ahha okej uz to fici ale neda sa to spustit ja nwm v pozadi ako daemon alebo take nieco ? proste ked sa prihlasim ssh spustim ten program a mozem sa odhlasit a on bude pokracovat.. ? 

[mirec]

Na to má linux nástroj nohup.

nohup python rs_downloader.py vstupný_súbor_s_linkmi &

[anonym]

o dakujem pekne ale este by som mal par otazok: 

1. da sa tam nastavit zlozka kde to bude ukladat? 

2. dal by sa ten program spustat na webe ? bezi mi tam apache+php ci by sa to nejako jednoducho nedalo spustit... nejaky link ktory by spustil ten prikaz alebo take nieco.. 

[mirec]

No ukladá do štandardného dočasného adresára a po dokončení presunie dáta do adresára odkiaľ sa spúšťa. Pre ukladanie do iného adresára stčí spustiť v inom adresári. No a na webe ... možno tak cez CGI ale bolo by to dosť divoké, pre niečo ovládateľné na diaľku odporúčam fatrat.

[anonym]

no ten fatrat by bol asi dobry ale vobec netusim ako to mam nainstalovat .. v debiane zacinam a viem akurat tak stihnut balicky ale fatrat medzi nimi nieje.. presiel som aj nejake tie komentare aj web fr ale nikde som nenasiel ako sa to ma instalovat..