Google nerado wget

Přihlášení | Registrace

napište » Zprávičky

inzerujte » Pracovní nabídky

Wayland 1.23.0

včera 22:44 | Nová verze

Wayland (Wikipedie) byl vydán ve verzi 1.23.0. Z novinek lze vypíchnout podporu OpenBSD.

Ladislav Hagara | Komentářů: 0

Novinky ve Windows Subsystému pro Linux (05/2024)

včera 21:22 | Zajímavý článek

Craig Loewen na blogu Microsoftu představil novinky ve Windows Subsystému pro Linux (WSL). Vypíchnout lze GUI aplikaci pro nastavování WSL nebo správu WSL z Dev Home.

Ladislav Hagara | Komentářů: 0

Maker Faire Ostrava

včera 12:44 | Pozvánky

V sobotu 1. června lze navštívit Maker Faire Ostrava, festival plný workshopů, interaktivních činností a především nadšených a zvídavých lidí.

Ladislav Hagara | Komentářů: 0

Caddy 2.8

včera 12:22 | Nová verze

Webový server Caddy (Wikipedie) s celou řadou zajímavých vlastností byl vydán ve verzi 2.8 (𝕏). Přehled novinek na GitHubu.

Ladislav Hagara | Komentářů: 3

HAProxy 3.0

29.5. 22:11 | Nová verze

Byla vydána verze 3.0 (@, 𝕏) svobodného softwaru HAProxy (The Reliable, High Performance TCP/HTTP Load Balancer; Wikipedie) řešícího vysokou dostupnost, vyvažování zátěže a reverzní proxy. Detailní přehled novinek v příspěvku na blogu společnosti HAProxy Technologies.

Ladislav Hagara | Komentářů: 3

Framework Laptop 13 s Intel Core Ultra Series 1

29.5. 21:11 | IT novinky

Společnost Framework Computer představila novou vylepšenou verzi svého modulárního notebooku Framework Laptop 13 s Intel Core Ultra Series 1, displej s lepším rozlišením a novou webovou kameru. Přímo do Česka jej zatím koupit nelze.

Ladislav Hagara | Komentářů: 0

Flowblade 2.16

29.5. 15:44 | Nová verze

Byla vydána nová verze 2.16 svobodného video editoru Flowblade (GitHub, Wikipedie). Přehled novinek v poznámkách k vydání. Videoukázky funkcí Flowblade na Vimeu. Instalovat lze také z Flathubu.

Ladislav Hagara | Komentářů: 2

TerminalTextEffects (TTE)

28.5. 21:22 | Zajímavý software

TerminalTextEffects (TTE) je engine pro vizuální efekty v terminálu. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 43

Veletrh vědy

28.5. 17:11 | Pozvánky

Od čtvrtka 30. 5. do soboty 1. 6. lze v Praze navštívit Veletrh vědy, tj. největší populárně naučnou akci v České republice, kterou každoročně od roku 2015 pořádá Akademie věd ČR. Vstup zdarma.

Ladislav Hagara | Komentářů: 14

Ubuntu pro Milk-V Mars

28.5. 14:11 | Komunita

Canonical představil Ubuntu optimalizované pro jednodeskový počítač s RISC-V procesorem Milk-V Mars.

Ladislav Hagara | Komentářů: 0

Centrum | Napsat | Starší

navrhněte » Anketa

Podle hypotézy Mrtvý Internet mj. tvoří většinu online interakcí boti.

Jsem bot. (90%)

Jsem člověk. (3%)

Opravdu jsem člověk! (4%)

Jsem něco jiného. (4%)

Celkem 1013 hlasů

Komentářů: 16, poslední 14.5. 11:05

Rozcestník

AbcLinuxu

HDmag.cz

Semo - Semo

Aktuální zápisy

? Archív

? Navigace

Nej blogů na AbcLinuxu

Nejčtenější za poslední měsíc

Nejkomentovanější za poslední měsíc

AbcLinuxu:/ Blogy / Semo / Zo sveta / Google nerado wget

Štítky: AbcLinuxu, blacklist, cURL, Google, Internet, stahování, wget

Google nerado wget

18.8.2009 16:13 | Přečteno: 1722× | Zo sveta

Google cache nejde tahat wget-om alebo curl-om. Staci ale zmenit user agent a uz nie je problem. Lubovolny nahodny user agent retazec je postacjuci.

Soudruzi z Google si pravdepodobne uzmysleli, ze ochrania svoju cache databazu pred hromadnym stahovanim. Tak filtruju pristup k nej podla toho ci polozka user-agent v HTTP hlavicke obsahuje retazec wget alebo curl. Ak neobsahuje, tak poslu obsah. Ak hej, tak vratia "403 Forbidden".

Cache sa da vyhladat zadanim do google vyhladavacieho policka "cache:<url>". Napr. cache:http://www.abclinuxu.cz. Presmeruje to na nejaky server z Google clustru a posle naspat stranku ako ju google-bot videl pri poslednej navsteve.

Whitelist browserov by som mozno este pochopil (aj ked je uplne rovnako na nic), ale blacklist nechapem uabsolutne. 90% ludi, ktori uz vedia spustit wget, vedia aj zmenit user-agent.

$ wget --user-agent wge 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:00:46--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.1'

    [ <=>                                                                                              ] 91,817       526K/s   in 0.2s

2009-08-18 16:00:47 (526 KB/s) - `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.1' saved [91817]

$ wget 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:00:50--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2009-08-18 16:00:51 ERROR 403: Forbidden.

$ wget --user-agent curl 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:03:44--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2009-08-18 16:03:45 ERROR 403: Forbidden.

$ wget --user-agent cur 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:03:49--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.2'

    [ <=>                                                                                              ] 91,817       523K/s   in 0.2s

2009-08-18 16:03:49 (523 KB/s) - `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.2' saved [91817]