Archivace blogů

7.10.2018 22:07 | Přečteno: 1851× | Obecné IT

Nedávno zde bylo opět nakousnuto téma zálohování obsahu blogů na abclinuxu. Protože už jsem na to kdysi psal script, rozhodl jsem se to trochu učesat a podělit se o mé řešení, aby si každý mohl vytvořit vlastní kopii i s komentáři, čistě pro vlastní potřebu, či případ nějaké neblahé katastrofy.

Technikality

Script je založen na abclinuxuapi, knihovně, kterou jsem napsal pro externí scrappování zdejšího portálu. Tato knihovna vám umožňuje pracovat v mnoha zdejšími funkcemi poměrně primitivním, ale hlavně strukturovaným způsobem.

Data jsou ukládána jako serializované objekty s backendem v sqlite databázi, pomocí knihovny sqlitedict. To má své nevýhody - nejde s nimi pracovat bez pythonu a formát není úplně nejefektivnější na ukládání a indexování.

Má to také své výhody:

Je to primitivní z hlediska programátora. Prostě dáte objekt do dictionary, commitnete a on už tam zůstane. A když s tím chcete pracovat, tak s tím pracujete, jako kdyby data byla celou dobu pořád v paměti. Nemusíte řešit nějaké normalizace a denormalizace, skládání tabulek a další nepodstatné pitomosti. Prostě sáhnete po objektu blogu a iterujete přes jeho komentáře.

Chcete vidět všechny komentáře, kde někdo někdy zmínil vaše jméno? Žádný otravný databázový COBOL. Prostě projděte přes všechny komentáře a podívejte se do obsahu textů. Jednodušší už to být nemůže. Efektivnější jo, ale to nebylo účelem.

Pro ty komu tenhle přístup nevyhovuje je zde možnost si dataset zkonvertovat do sqlite pomocí scriptu convert_blogtree_to_clean_sqlite.py.

Instalace

Celé je to napsané nad pythonem dva. Repozitář si prostě naklonujte gitem, nainstalujte závislosti přes

python2 -m pip install --user -r requirements.txt

a můžete vesele stahovat.

Repozitář

• https://github.com/Bystroushaak/Abclinuxu_analysis

Ukázka použití

./download_blogtree.py -a -f -u /home/bystrousak/Plocha/tests/blogtree.sqlite
Estimating number of blogs.................
1 / ~20300 Abíčko neumírá, jen žije jinak.
2 / ~20300 Nový hw - bugy 3
3 / ~20300 Netrapte se
4 / ~20300 Umírá abíčko? (odpověď v textu)
5 / ~20300 Záhadné správanie v Bashi
6 / ~20300 Tablet  iGET Smart G81 Black koupit bo ee?

...

Doba běhu je na mé lince něco kolem hodiny.

Filosofický přesah

Moje první programátorská práce byla pro Národní knihovnu, sekci digitalizace. Mimo jiné jsem úzce spolupracoval s lidmi z českého webarchivu (zdravím Rudu, Jardu a Zuzku). Ti se zabývají uchováváním různých digitálních dat pro budoucí generace. Díky nim jsem získal povědomí, že uchovávat data do budoucnosti může být záslužná činnost.

Internet je místo, které se neustále mění. Osobně považuji abclinuxu za svého druhu poklad, u kterého by mi bylo vážně líto, kdyby zmizelo. Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii). V průběhu jsem si ovšem povšiml titulků různých blogů a začal číst.

Pohled do historie, který se mi takhle naskytl byl fascinující, tak jsem se časem rozhodl sklízet abclinuxu pravidelně, abych ho uchoval pro další generace, kdyby ho náhodou jednoho dne někdo smazal. To dělám už několik let. A protože jediná možnost, jak zajistit skutečnou nesmrtelnost je decentralizace, máte dneska možnost si udělat vlastní sklizeň.

       

Komentáře

[tydýt]

máte ve svém archivu sadámův blog o teorii mrdání? to jeho vidění světa, to bylo neuvěřitelné, bohužel všechny své blogy promazal a to je velká škoda

[Bystroushaak]

Máš odkaz?

[Bystroushaak]

/blog/SALAM_OLEJKUM/2009/4/vymaz-mozku

Bohužel v roce 2012 kdy jsem dělal první sklizeň už to bylo smazané.

[Blaazen]

A Wayback Machine neudělal v roce 2009 ani jeden záznam.

[Bystroushaak]

Google cache to taky nemá a archive.is taky ne :] Jediné kde by to mohlo být jsou nějaké zálohy databáze a ty nám provozovatel těžko zpřístupní.

[Luboš Doležel (Doli)]

Takové zálohy nikde nejsou, takže smůla.

[stps]

Je to ono?

Pripadne si o projdete sami tady.

[Bystroushaak]

To už je ta smazaná verze.

[Bystroushaak]

Hm, ale zrovna dneska jdu náhodou po několika měsících na oběd s jedním z Webarchivářů, tak se zkusím poptat jestli to nemají v neveřejných částech (sklízí celý český net, zpřístupnit smí ale díky copyrightu jen poměrně malou část).

[Bystroushaak]

Hm, tak nic.

[Jendа]

Původně jsem se stahováním začal, když jsem prováděl analýzu, zda je neregistrovaný uživatel Kvakor pseudonym pro člověka jinak známého jako Shaddack (pravděpodobně jo, linkuje 29 jeho jeho článků na wikipedii).

To mi moc nesedí (Shaddacka znám osobně, Kvakora ne). Podle mě je Kvakor tento.

[Andrej]

> Shaddacka znám osobně, Kvakora ne to nejako dokazuje ze to nie je ta ista osoba?

[Bystroushaak]

Tak dneska už je to stejně jedno, zajímalo mě to někdy v roce 2012.

[Jendа]

Ne, nedokazuje. Můj příspěvek netvrdil že by to dokazovalo. (jenom že na základě toho můžu zkusit lépe tipnout jak a o čem by sem Shaddack psal a nepřijde mi, že by to odpovídalo)