Administrace komentářů

UTF-8 poznas snadno

S tím bych ještě souhlasil, stačí se pokusit daný bajtový řetězec jako utf-8 interpretovat a v případě úspěchu ho za utf-8 prohlásit.

soubor by mel mit na zacatku hlavicku.

Ovšem toto se nebojím prohlásit za čirou idiocii. Kódování utf-8 žádnou (povinnou) hlavičku nemá, navíc hovořit o detekci kódování v kontextu toho, že jinak čistě textový soubor opatřím hlavičkou s informací o kódování, to jaksi nedává smysl. Já osobně jsem se do kódování utf-8 bez jakýchkoli hlaviček zamiloval kvůli jeho výtečným znalostem především v kontextu ASCII světa, mezi něž patří, že nad utf-8 řetězci a soubory fungují prakticky všechny operace stejně jako nad ascii souborem. Snad jedinou výjimkou jsou operace vyžadující práci s počtem znaků. Ovšem pro utf-8 opatřené nesmyslnou značkou pořadí bajtů v kódové jednotce, kterou je jediný bajt, už touto vlastností neoplývá a osobně ho tak považuju za podobný odpad jako utf-16.

TL;DR verze: Nikoliv, u textových souborů v osmibitových kódováních včetně utf-8 se minimálně na unixových systémech nevyžaduje hlavička označující kódování. A můj osobní názor je, že systémy, které jen a pouze u tohoto konkrétního osmibitového kódování vyžadují speciální hlavičky v textových souborech, jsou idiotsky navržené.

Zbytek je prevazne o tom, ze se hledaji konkretni znaky, v idealnim pripade se dela neco jako frekvencni analyza(= vemes nejakej dostatecne velkej vzorek pro danej jazyk, znej si zjistis jak casto se vyskytuje ten kterej znak a pak zjistujes neznamej text)

Analýza frekvence jednotlivých znaků je sice super věc na hraní, ale u detekce jazyka/kódování krátkých textů (v řádu jednotlivých vět) se mi vůbec neosvědčila, což by u detekce jazyka/kódování obecných souborů mohl být docela problém, ale pravda je, že na titulky by to stačit mohlo.