Byla vydána nová stabilní verze 24.05 linuxové distribuce NixOS (Wikipedie). Její kódové označení je Uakari. Podrobný přehled novinek v poznámkách k vydání. O balíčky se v NixOS stará správce balíčků Nix.
Byla vydána nová verze 1.48.0 sady nástrojů pro správu síťových připojení NetworkManager. Novinkám se v příspěvku na blogu NetworkManageru věnuje Fernando F. Mancera. Mimo jiné se v nastavení místo mac-address-blacklist nově používá mac-address-denylist.
Před 25 lety, 31. května 1999, započal vývoj grafického editoru Krita (Wikipedie). Tenkrát ještě pod názvem KImageShop a později pod názvem Krayon.
Farid Abdelnour se v příspěvku na blogu rozepsal o novinkám v nejnovější verzi 24.05.0 editoru videa Kdenlive (Wikipedie). Ke stažení brzy také na Flathubu.
David Revoy, autor mj. komiksu Pepper&Carrot, se rozepsal o své aktuální grafické pracovní stanici: Debian 12 Bookworm, okenní systém X11, KDE Plasma 5.27, …
Wayland (Wikipedie) byl vydán ve verzi 1.23.0. Z novinek lze vypíchnout podporu OpenBSD.
Craig Loewen na blogu Microsoftu představil novinky ve Windows Subsystému pro Linux (WSL). Vypíchnout lze GUI aplikaci pro nastavování WSL nebo správu WSL z Dev Home.
V sobotu 1. června lze navštívit Maker Faire Ostrava, festival plný workshopů, interaktivních činností a především nadšených a zvídavých lidí.
Webový server Caddy (Wikipedie) s celou řadou zajímavých vlastností byl vydán ve verzi 2.8 (𝕏). Přehled novinek na GitHubu.
Byla vydána verze 3.0 (@, 𝕏) svobodného softwaru HAProxy (The Reliable, High Performance TCP/HTTP Load Balancer; Wikipedie) řešícího vysokou dostupnost, vyvažování zátěže a reverzní proxy. Detailní přehled novinek v příspěvku na blogu společnosti HAProxy Technologies.
Při vkládání velkého množství záznamů do SQLite pomocí příkazu INSERT OR IGNORE pozoruji výrazné zpomalení. Data vkládám přes python z csv souborů. Mám desítky souborů o velikosti cca 300 MB a každý obsahuje statisíce až milion záznamů - textové popisky definující význam a k nim přiřazená číselné hodnoty. Python vytváří několik číselníků, do kterých se ukládají ty popisky, aby se šetřilo místo, protože ty jsou hodně duplicitní.
Zpracování prvních takových souborů trvá pár desítek vteřin/několik minut na každý soubor. Postupně se čas zpracování souboru prodlužuje a dosahuje i desítek minut/pár hodin. Nějak významně nepomohlo ani vypnutí indexování během vkládání. Transakce používám.
K datům bude přistupovat pouze jeden program běžící lokálně. Proto jsem volil sqlite. To zpomalování při vkládání mě ale nutí zeptat se, jestli by na tom jiné databáze nebyly lépe?
Řešení dotazu:
Díky za tip. Zkusím tu dočasnou tabulku.
Data převádím do databáze pro trvalé uložení. Vyhledávání v původních csv souborech celkem trvá. Dotaz do SQL je mnohonásobně rychlejší. Těch dotazů může být v dávce několik tisíc, výsledkem každého je několik desítek řádků pro další zpracování. Zpočátku to vypadalo, že databáze je řešení. Ale s prodlužujícím se časem zpracování insertů už to tak růžové není. Už je skoro jedno, jestli čekat hodiny na přípravu dat pro sql dotazy, nebo hodiny na zpracování dotazů do csv.
Velikost databáze je dnes cca 12 GB. Za rok naroste cca o 1 GB, to je asi 6 mio záznamů.
Tiskni Sdílej: