Dotaz: Jak stahovat obsah Českého rozhlasu

[palardd]

Ahoj konfero.

Tentokrát z jiného soudku. Rád poslouchám hry, četbu knih z Českého rozhlasu, ale v režimu offline.

1. mám vyrobený skript, který ze stránky: https://vltava.rozhlas.cz/daniel-defoe-denik-moroveho-roku-o-zoufalstvi-i-odvaze-celit-neznamemu-desivemu-8472540 vyseparuje mp3 a ty podhodí wget a stáhne pro offline pouštění do jedné složky se správnými jmény.
   
   Ten skript je jednoduchý, protože na této stránce jsou celá URL těch mp3 souborů.
   
   
2. ovšem z těchto stránek se mi nedaří vymyslet něco podobného, mp3 je totiž schovaná POD tlačítkem scriptu.
   jde o následující URL:
   https://www.mujrozhlas.cz/hra-na-nedeli/diplom-svezi-komedie-s-jirinou-bohdalovou-v-roli-starostlive-matky-nezdarneho-syna7
   https://www.mujrozhlas.cz/specialy/volani-jara-poslechnete-si-hlasy-ptaku-s-komentarem-ludvika-muhlsteina
   https://www.mujrozhlas.cz/tip-mujrozhlas/hvezdne-hodiny-lidstva
   https://www.mujrozhlas.cz/cetba-na-pokracovani/koruna-fascinujici-pribeh-britske-kralovske-rodiny
   
   Tyto URL totiž žádné mp3 dokazy nemá...
   

Vy, co jste zkušenější kolem webu, poradíte mi, jak na to?

Děkuji moc

Hezký víkend

TP

---

---

Odpovědi

[Nezkuseny]

Nenapda me nic jineho, nez proc nenapises do Rozhlasu? Pokud z tebe nebudou mit pocit ze jsi nekdo typu pirat sluzeb ulozho, proc by ti to neposkytli?

[palardd]

To mě nenapadlo. možná stojí za to zkusit. Díky

[Olaf]

No, mohu-li posoudit, tak ČRo nabízí některé pořady "ke stažení" z vlastní produkce a ke kterým drží výhradní práva. Ty jdou normálně "stáhnout".

Pak je ale další obsah, který na webu poskytují k přehrání jen pro určitou dobu, pak jim vyprší licence. Takto jsem stihl dcerkám stáhnout jednu pohádku, která pak byla nepřehratelná. V ničem nešla stáhnout, ale v jDownloaderu ano. No a tyto nové pořady, nebo kterých se týká nová politika, jsou chráněné. Stejně jak ČT šifruje některé streamy, takže pouštění např. přes IINA / MPV nepřichází v úvahu.

ČRo měl v DB spoustu inscenací, her, povídek, které si člověk mohl kdykoli pustit. Ale teď je jen prodává.

[Olaf]

Tak abych ČRo nekřivdil, tady jsou rozhlasové hry zdarma. A jdou i stáhnout.

[OldFrog {Ondra Nemecek}]

Cena mp3 je na e-shopu českého rozhlasu přijatelná. Četba na pokračování jde ovšem stáhnout v příslušném časovém oknu pomocí konzole F12 (Firefox). Když si chci něco poslechnout později tak mi to tak většinou stačí.

[palardd]

Škoda, že jste nečetl pečlivě můj dotaz.
F12 nic neřeší, protože v případě například tohoto linku se žádné mp3 neukáže.

Musíte kliknout na jednotlivé Play a teprva pak ručně stahovat jednotlivé MP3
To je vysoce neefektivní.

[OldFrog {Ondra Nemecek}]

Ale četl. Je to neefektivní, ale dělám to právě tak. Zabere mi to dvě tři minuty, což ještě skousnu. Skript je samozřejmě lepší.

[Vtipnéř]

Škoda, že jste nečetl pečlivě můj dotaz.
F12 nic neřeší, protože v případě například tohoto linku se žádné mp3 neukáže.

Musíte kliknout na jednotlivé Play a teprva pak ručně stahovat jednotlivé MP3
To je vysoce neefektivní.

Radši hledám pořady na rozhlas.cz. Tam zpravidla odkazy přímo na mp3 soubory najdu - viz např. tento link na stejný seriál (už tam ty odkazy dlouho nebudou). Místo F12 používám Ctrl+u (zobrazení zdrojového kódu).

Jirka

[David]

Dobrý den, nevíte, jak bych mohl stahovat z ČRo z Chromu? Je ten postup nějak podobný? Zkoušel jsem to, ale marně. Děkuji za pomoc. D.

[Gréta]

v chromiu to de takže myslim že by to jako mělo fungovat i v chromu :D ;D

votevřeš si nějakou stránku na tom rozhlase pak máčkneš ctrl+u aby ti to ukázalo zdrojáček tý stránky pak máčkneš ctrl+f by si vtom textu moch hledat a dotoho hledacího okýnka napišeš záponu zvukovýho souboru věčinou asi .mp3

mužeš ji tam najít několikrát ale to správný bude vypadat takle nějak 'https://dvojka.rozhlas.cz/sites/default/files/audios/45645656654654566544654564654.mp3?uuid=123456789' a ztoho si mužeš už vytáhnout ten správnej stahovací link a stáhnout třeba wgetem

wget -O stazenySoubor.mp3 https://dvojka.rozhlas.cz/sites/default/files/audios/45645656654654566544654564654.mp3

[Meh]

Kdyz kliknes na prehravani, stahne se soubor manifest.mpd, ktery popisuje, odkud se po kouskach stahuje a prehrava audio. Takze bud najdes nejaky nastroj, ktery to stahne za tebe (treba youtube-dl, ktery to dokaze pro audio+video z webu CT, ale tady se nejak nechyta), nebo si napises skript, kteremu predhodis manifest.mpd, ten z nej vycte URL pro kazdy kousek, pocet kousku, postahuje je a ffmpegem slozi dohromady.
Pripadne hodne stupidni metoda: pustis nahravani pres ffmpeg, pustis audio na webu, vypnes repraky a jdes spat. Rano to mas nahrane.

[palardd]

stahovat řešit mpd umím pomocí youtube-dl, jen je v tom to.. musíš kliknout... Potřebuju podhodit URL s mnoha díly toho pořadu, aby se to stáhlo celé bez další práce nebo asistence.

[Jendа]

To první: https://portal.rozhlas.cz/sites/default/files/audios/73c89469b1c3a98aea5051d11e0cd6d0.mp3

Další jsem nezkoušel. https://addons.mozilla.org/cs/firefox/addon/video-downloadhelper/. Taky to bude vidět v developer tools v network tabu.

[Olaf]

Potvrzuji, že přes vývojářské nástroje to lze snadno odhalit. Stačí kliknout na Síť, seřadit dle velikosti a Bohdalová je tady.

Prostě nevím, proč to tak komplikují. Kdo chce "pirátit", tak si ty soubory prostě najde a bude sdílet, děj se co děj. Kdo to chce pro offline poslech, tak utře nos. A kdo vyhrál? Nechápu tyto praktiky.

[Olaf]

Chtěl jsem sem nahrát obrázek, abys věděl, co dělat, ale bůhvíproč mi ABCL odmítlo "tak velký" soubor přijmout. Obyčejný screenshot v PNG. Ale v roce 2021 je moc velký. Tak je tady. Je to sice Safari pod macos, ale snad ti to pomůže (openSUSE jsem už měl vypnuté).

[Jendа]

Příloha:

• abc.png (109823 bytů)

Ano, je velký, protože:

• to PNG je strašně špatně udělané, optipng ho zmenší skoro o polovinu
• polovinu z té zbylé poloviny žere upscalovaná fotka ptáka s kompresními artefakty
• a když zredukuješ rozlišení na polovinu (1920px na šířku), dostaneš se na 152 kB, tedy desetinu původní velikosti
• a ještě jsem to ze srandy posterizoval na 64 úrovní, což není skoro poznat a dostal jsem se na 110 kB

[Masox]

bez ptaka to neni ono

[jiwopene]

Při 8 úrovních tento obrázek (dle volby GIMPu „Generate optimum palette“ bez ditheringu) má něco kolem 25k a přitom je všechen text stále čitelný (trochu hranatější, ale jde to).

[jiwopene]

(S paletou.)

[Jendа]

Příloha:

• abc-indexed.png (66391 bytů)

Ha, ještě lepší možnost: vygenerovat tomu paletu! Pak jsme na 67 kB!

[otasomil]

Jo taky jsem kolikrat si chtel poslechnout nejaky porad kdy casove nemohu a v archivu treba neni k nalezeni resp. neni nabizen ke stazeni ci pozdejsimu prehrani. Jedine snadne reseni bylo zaznamenat live stream do souboru a pak si v nem porad najit, prehrat, pripadne vystrihnout. Zrovna nedavno jsem si takto zaznamenal porad z radia Wawe:

wget http://icecast5.play.cz/crowave-128.mp3 -O wave.mp3

Staci jen odlozit start pomoci sleep nebo pouzit at pro spusteni ve spravny cas. Samozrejme toto vsechno pocita s tim ze jste dopredu a nikoliv pozadu, tam uz jedine archiv.
Nechapu tu neustalou snahu porad neco nejak komplikovat, omezovat, kdyz stejne neni sance zabranit ulozeni multimedialniho obsahu do lokalniho umisteni a disponovat se souborem bez omezovani. Takoveto ciny povazuji za naproste mrhani casu programatora.

[jiwopene]

Mají tam někde celodenní záznamy, které jsou asi kompletní. Takže přinejhorším je možné stahovat z toho zpětně.

[Pavel Stárek]

Osobně to dělám ve Firefoxu přes Nástroje->Nástroje pro vývojáře->Síť, pak dám do filtru mp3 a až pak spustím přehrávání daného pořadu. Poté si zkopíruju url toho mp3 souboru, wgetem ho stáhnu, přejmenuju a otaguju.

Bohužel ale u některých si člověk musí pohlídat dobu, po kterou jsou ty nahrávky přehratelné (a lze tedy získat url k mp3), poté už nejspíš není možnost jak se k url dobrat, byť si myslím že ta url budou fungovat stále.

U některých pořadů ČRo začal používat ten "styl" s mpd, ale i to šlo vyřešit. Buď jsem to stahoval pomocí youtube-dl nebo pomocí ffmpeg, nebo vlc, už nevím přesně.

Kdysi byl i archiv iRadio třeba tady scifi povídky bývalého ČRo Leonardo, ale i tam zmizelo tlačítko "Stáhnout".

Vcelku mne tohle "obfuskace" jako poplatníka povinného poplatku štve. Veškeré pořady, které udělá ČRo za peníze poplatníků by měly být v archivu dostupné a stažitelné nějakým normálním způsobem. Chápu, že některé jsou omezené bůhví jakými licencemi a jsou dostupné jen omezenou dobu, ale i v této omezené době by měly být tyto pořady rovněž stažitelné normálním způsobem.

[jiwopene]

Co tohle? Předá se tomu na příkazové řádce adresa stránky (mujrozhlas).

#! /usr/bin/env perl

use strict;
use v5.13;

use File::Fetch;
use HTTP::Tiny;
use HTML::TagParser;
use JSON::PP;
use File::Copy qw(move);

sub download {
	my ($url) = @_;

	my $resp = HTTP::Tiny->new->get($url);
	#say "$url : $resp->{status} $resp->{reason}";
	die "Nemůžu stáhnout $url\n" unless $resp->{success};

	return $resp;
}

my $page_url = $ARGV[0];

my $page_resp = download $page_url;
my $page = HTML::TagParser->new($page_resp->{content});

my @episode_elems = $page->getElementsByClassName("b-episode");
for my $episode_elem ( @episode_elems ) {
	my $episode_info_json = $episode_elem->getAttribute('data-entry');
	my $episode_info = decode_json($episode_info_json);

	say '';
	say "#$episode_info->{id}: $episode_info->{title}";

	my $name_base = "$episode_info->{id}_$episode_info->{title}";
	$name_base =~ tr@/@-@;

	my $episode_meta_resp = download "https://api.mujrozhlas.cz/episodes/$episode_info->{uuid}";
	my $episode_meta = decode_json $episode_meta_resp->{content};

	open my $meta_file, ">", "$name_base.json";
	print $meta_file $episode_meta_resp->{content};
	close $meta_file;

	for my $audio_link ( $episode_meta->{data}->{attributes}->{audioLinks} ) {
		my $audio_link = @$audio_link[0];

		my $audio_file_name = "$name_base.$audio_link->{bitrate}.$audio_link->{variant}";
		$audio_file_name =~ tr@/@-@;

		if (-e $audio_file_name) {
			say "$audio_file_name již existuje, přeskakuji.";
			next;
		}

		say "Stahuji $audio_file_name";

		my $fetch = File::Fetch->new(
			uri => $audio_link->{url}
		);
		unless ($fetch) {
			say "Přeskakuji $audio_link->{url}";
			next;
		}

		my $where = $fetch->fetch(to => '/tmp');
		unless ($where) {
			say "Nemůžu stáhnout $fetch->uri";
			next;
		}
		move $where, "./$audio_file_name";
	}
}

[palardd]

Krásný! Zkouším...

Ubuntu:

Can't locate HTML/TagParser.pm in @INC (you may need to install the HTML::TagParser module) (@INC contains: /etc/perl /usr/local/lib/x86_64-linux-gnu/perl/5.26.1 /usr/local/share/perl/5.26.1 /usr/lib/x86_64-linux-gnu/perl5/5.26 /usr/share/perl5 /usr/lib/x86_64-linux-gnu/perl/5.26 /usr/share/perl/5.26 /usr/local/lib/site_perl /usr/lib/x86_64-linux-gnu/perl-base) at ./dej.bat line 8.
BEGIN failed--compilation aborted at ./dej.bat line 8.

 

Bude to fungovat na tomto odkazu?

[palardd]

Perl module jsem nainstaloval a FUNGUJE!!! Super, díky. Perlu moc nerozumím. Mohl bych mít skromný dotaz pro doplnění? Hodilo by se, kdyby se vytvořil adresář se jménem toho URL a do něj se sypaly ty mp3?

[Gréta]

taky perl jakoby vůůůbec nemumim tak ať to dyštak pak jiwopene vokoukne :D

takovýdleho něco sem vygooglila na udělání roskrájení stringu substringem + mkdir/chdir :O ;D strč sito někam nahoru za tu proměnou $page_url

...........
my @spl = split('/', $page_url);
my $dir_name = $spl[-1];
print $dir_name;
mkdir( $dir_name ) or die "Nejde vyrobit složšku $dir_name, $!";
chdir( $dir_name ) or die "Nejde vlízt do složšky $dir_name, $!";
...........

[palardd]

BUG report:

• tato stránka se přestane stahovat u 9. dílu https://www.mujrozhlas.cz/stripky-z-archivu/stare-povesti-ceske
• starobyl�ch proroctv� (7-14).128.mp3 - jsou tam nějaké problémy s codepage

Děkuji!

[Gréta]

jeto jenom na tom výstupu ty soubory stažený to pomenovává dobře :O ;D

jestli setoho chceš itak zbavit tak asi jakoby přidělat dotoho skriptíku někam nahoru todleto hele;D

binmode(STDOUT, ":utf8");

[jiwopene]

(Grétě děkuji za připomenutí nastavení módu na stdout.)

S tím, že se to přestane stahovat po 9. díle, něco udělám. (Další díly nejsou vyjmenované v HTML, které parsuji.) Očekávejte blogpost, pak sem na něj dám odkaz.

[palardd]

GOOD, díky moc

[jiwopene]

Blogpost

[palardd]

Výtečně děkuji moc!

funguje dvě poznámky:

1. Když dám URL jako parametr, rád bych, aby se skladby (mp3) uložily do složky s podobným názvem - aby to by všechny díly v jedné složce
2. Když zadám URL tohle: https://www.mujrozhlas.cz/hra-pro-pametniky/g-b-shaw-pygmalion-jirina-bohdalova-milos-kopecky-v-brilantni-komedii-irskeho stáhne se všechno, jenom ne ten Pygmalion s Bohdalovou

Děkuji moc

[jiwopene]

Ten první bod tam je řešený – volba --subdirs vytvoří podadresář pro každý pořad.

[Olaf]

Super. Mohl bys to popsat v nějakém pseudokódu (jako je Python, haha). Perl vůbec neumím a asi to bude rychlejší, když to popíšeš. Když ne, tak se to pokusím přelouskat. Ještě jednou dík.

[palardd]

Ahoj,
pracuji s touto verzí, ale tento odkaz mi nefunguje
verze 1.1
Link je https://www.mujrozhlas.cz/povidka/fabianova-ferkova-gina-poslechnete-si-povidky-romskych-autoru-v-prekladu-mileny

Výsledek:

• Nemohu najít odkaz na více episod. Stahuji to co mám. #2494509: Co si vyprávějí Indové. Dva krátké příběhy z knížky Perličky Mádhavánandovy radosti (1/7)
Stahuji 2494509_Co si vyprávějí Indové. Dva krátké příběhy z knížky Perličky Mádhavánandovy radosti (1-7).256.dash
Stahuji 2494509_Co si vyprávějí Indové. Dva krátké příběhy z knížky Perličky Mádhavánandovy radosti (1-7).256.hls


Ale mp3 se nestáhnou...
Poradíte někdo?

[X]

https://api.mujrozhlas.cz/serials/aad30da2-69ad-3953-8a94-28533784a8e3/episodes

youtube-dl https://croaod.cz/stream/bed53cd6-ee80-420b-bece-6d95ddde9672.m4a/manifest.mpd

[TechnikTom]

Škoda, že ačkoliv podobný příspěvek s API rozhlasu dáváte myslím už podruhé, jste pekelně stručný :o(

Jak má běžný smrtelník zjistit to šílené ID, které tomu API předhodí?

Odpovím si tedy sám - vyhledá ho ve zdrojovém kódu stránky s díly seriálu hned za řetězcem "contentId"

Ten kód pak předhodí API a ve vráceném výsledku musí pustit youtube-dl na všechny odkazy končící "manifest.mpd"

Možná znáte jednodušší způsob jak získat to Id, ale nechcete se s námi o něj podělit.

Jinak odkaz co tazatel poslal není klasický archiv rozhlasu, ale audio zveřejněné ke 100 výročí rozhlasu.

Na klasické pořady v novém formátu v audioarchivu jsem zveřejnil funkční skript stahování do mp3 v podobném vláknu minule.

https://www.abclinuxu.cz/blog/Supi_hnizdo/2023/3/jak-snadneji-stahovat-hry-a-cetbu-z-ceskeho-rozhlasu#12

[TechnikTom]

Příloha:

• 2023-06-13-223457_1920x1080_scrot.png (319616 bytů)

Pro stahování těch audiosouborů ke 100 letům ČRO mi pro Firefox funguje následující postup.

Na stránce toho vašeho odkazu - třeba

https://www.mujrozhlas.cz/povidka/fabianova-ferkova-gina-poslechnete-si-povidky-romskych-autoru-v-prekladu-mileny

stiskněte F12 a do řádku "filtr výstupu" napište "manifest" ( bez uvozovek )

Pak postupně klikněte na spuštění přehrávání všech dílů - stačí každý krátce

Objeví se ( v tomto případě ) 7 řádků s odkazy na jednotlivé díly, které zkopírujte a uložte do souboru

Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/bed53cd6-ee80-420b-bece-6d95ddde9672.m4a/manifest.mpd app.js:27:210611
Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/09ecd3d8-412f-4d20-a520-4858c24619b2.m4a/manifest.mpd app.js:27:210611
Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/e77faefb-055f-41e4-aff6-8f3b605c5756.m4a/manifest.mpd app.js:27:210611
Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/4924c9a8-c2c4-42ec-97f8-bbde53caded2.m4a/manifest.mpd app.js:27:210611
Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/972577b5-1a49-433b-9699-60289212def2.m4a/manifest.mpd app.js:27:210611
Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/20a802c9-fbbb-40ac-be42-266d0ce5e93d.m4a/manifest.mpd app.js:27:210611
Referrer Policy: Ignoring the less restricted referrer policy “no-referrer-when-downgrade” for the cross-site request: https://croaod.cz/stream/5c8e4721-f185-4ac1-a9a3-56864f64c6b4.m4a/manifest.mpd app.js:27:210611

Vymažete vše mimo odkazy

https://croaod.cz/stream/bed53cd6-ee80-420b-bece-6d95ddde9672.m4a/manifest.mpd
https://croaod.cz/stream/09ecd3d8-412f-4d20-a520-4858c24619b2.m4a/manifest.mpd
https://croaod.cz/stream/e77faefb-055f-41e4-aff6-8f3b605c5756.m4a/manifest.mpd
https://croaod.cz/stream/4924c9a8-c2c4-42ec-97f8-bbde53caded2.m4a/manifest.mpd 
https://croaod.cz/stream/972577b5-1a49-433b-9699-60289212def2.m4a/manifest.mpd
https://croaod.cz/stream/20a802c9-fbbb-40ac-be42-266d0ce5e93d.m4a/manifest.mpd
https://croaod.cz/stream/5c8e4721-f185-4ac1-a9a3-56864f64c6b4.m4a/manifest.mpd

A soubor pojmenujte třeba "povidky.txt"

Pak stačí spustit

youtube-dl --output "povidka_%(autonumber)s.%(ext)s" -a povidky.txt

A dostanete očíslovaných 7 souborů formátu m4a, který v PC i mobilu normálně přehrajete, ale klidně můžete následně převést hromadně na mp3.

Samozřejmě lze jednotlivé fáze zautomatizovat nějakým skriptem.

[X]

Chtelo by to zalozit "rozhlas-downloader" na gitu a vyresit stahovani MPD bez youtube-dl.

[TechnikTom]

Tak na většinu obsahu ten youtube-dl nepotřebuji.

Jen teď mimořádně ty pořady k výročí mi nefungují.

Jinak seriály, hry, povídky a četba v pohodě.

[TechnikTom]

V archivu to většinou mají minimálně týden, takže jednou týdně postahuji pomocí doplňku Firefoxu Video DownloadHelper. Jedu ve vyhledávání toho jejich archivu po příslušných pořadech ( četba, hry atd. ), postupně pouštím na chvíli daný díl, dám stáhnout, ukončím a jdu na další a tak pořád dokola. Když to tak děláte pár let, je toho ke stahování pořád méně a méně, jelikož se dost opakují....

[Gréta]

hele api