abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:11 | IT novinky

    Virtualizační softwary VMware Workstation Pro a VMware Fusion Pro jsou nově pro osobní použití zdarma. Softwary VMware Workstation Player a VMware Fusion Player končí.

    Ladislav Hagara | Komentářů: 0
    dnes 02:11 | Nová verze

    Linuxová distribuce Endless OS (Wikipedie) byla vydána ve verzi 6.0.0. Přehled novinek i s náhledy v příspěvku na blogu, poznámkách k vydání a také na YouTube.

    Ladislav Hagara | Komentářů: 0
    včera 15:44 | Nová verze

    Byl vydán Mozilla Firefox 126.0. Přehled novinek v poznámkách k vydání, poznámkách k vydání pro firmy a na stránce věnované vývojářům. Vylepšena byla funkce "Zkopírovat odkaz bez sledovacích prvků". Přidána byla podpora zstd (Zstandard). Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 126 je již k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 0
    včera 15:22 | Nová verze

    Grafana (Wikipedie), tj. open source nástroj pro vizualizaci různých metrik a s ní související dotazování, upozorňování a lepší porozumění, byla vydána ve verzi 11.0. Přehled novinek v aktualizované dokumentaci.

    Ladislav Hagara | Komentářů: 0
    včera 14:55 | Nová verze

    Byla vydána nová verze 24.0 linuxové distribuce Manjaro (Wikipedie). Její kódové jméno je Wynsdey. Ke stažení je v edicích GNOME, KDE PLASMA a XFCE.

    Ladislav Hagara | Komentářů: 2
    včera 13:00 | Nová verze

    Byla představena oficiální rozšiřující deska Raspberry Pi M.2 HAT+ pro připojování M.2 periferii jako jsou NVMe disky a AI akcelerátory k Raspberry Pi 5. Cena je 12 dolarů.

    Ladislav Hagara | Komentářů: 2
    včera 12:44 | Pozvánky

    V Praze o víkendu proběhla bastlířská událost roku - výstava Maker Fair v Praze. I strahovští bastlíři nelenili a bastly ostatních prozkoumali. Přijďte si proto i vy na Virtuální Bastlírnu popovídat, co Vás nejvíce zaujalo a jaké projekty jste si přinesli! Samozřejmě, nejen českou bastlířskou scénou je člověk živ - takže co se stalo ve světě a o čem mohou strahováci něco říct? Smutnou zprávou může být to, že provozovatel Sigfoxu jde do

    … více »
    bkralik | Komentářů: 0
    včera 12:33 | Humor

    Kam asi vede IllllIllIIl.llIlI.lI? Zkracovač URL llIlI.lI.

    Ladislav Hagara | Komentářů: 1
    13.5. 22:00 | IT novinky

    Společnost OpenAI představila svůj nejnovější AI model GPT-4o (o jako omni, tj. vše). Nově také "vidí" a "slyší". Videoukázky na 𝕏 nebo YouTube.

    Ladislav Hagara | Komentářů: 0
    13.5. 15:44 | Zajímavý článek

    Ondřej Filip publikoval reportáž z ceremonie podpisu kořenové zóny DNS. Zhlédnout lze také jeho nedávnou přednášku Jak se podepisuje kořenová zóna Internetu v rámci cyklu Fyzikální čtvrtky FEL ČVUT.

    Ladislav Hagara | Komentářů: 0
    Podle hypotézy Mrtvý Internet mj. tvoří většinu online interakcí boti.
     (74%)
     (5%)
     (10%)
     (11%)
    Celkem 275 hlasů
     Komentářů: 16, poslední včera 11:05
    Rozcestník

    Dotaz: C++ - AI a mining adries firiem

    hermes avatar 11.6.2022 13:30 hermes | skóre: 6 | blog: Elektro | BA
    C++ - AI a mining adries firiem
    Přečteno: 667×
    Ahojte mám taký nástroj, ktorý prejde niektoré stránky so zoznamami firiem napr.
    1. https://www.zoznam.sk/katalog/Spravodajstvo-informacie/Abecedny-zoznam-firiem/
    2. https://www.azet.sk/katalog/

    a nahodí firmy štruktúrovane do mojej SQL databázy. Nahadzuje ich podľa:

    krajina / kraj / mesto / firma

    Každá položka oobsahuje:

    1. Názov firmy
    2. Adresu
    3. Kontaktné údaje (tel, email)

    S mojou SQL DB potom môžem ďalej pracovať a používať tento zoznam firiem v mojich aplikáciách. Problém je, že som odkázaný len na hotové weby s katalógom firiem. A vždy pre každý nový katalóg musím pripraviť šablónu, podľa ktorej sa budú dáta minovať.

    Napadlo ma urobiť univerzálnejšie riešenie. Ktoré by fungovalo na akékoľvek weby. Nejakou heurestikou by sa mohla detegovať adresa. Adresa by sa dala nájsť podľa nejakého klúča. V adrese sú prítomné:

    1. Meno fyzickej osoby / Názov firmy (právnická osoba) - v niektorých prípadoch viem detegovať (ak je na konci názvu s.r.o. alebo a.s. inak neviem ako by som to detegoval)
    2. Ulica Číslo - viem detegovať regexom aj keď asi nie na 100%
    3. Mesto - viem detegovať podľa nejakého zoznamu miest (informácia o meste mi dáva aj ďalešie info o kraji a krajine)
    4. PSČ - viem detegovať regexom
    5. EMAIL(y) - viem detegovať regexom
    6. Telefón(y) - viem detegovať regexom

    Možno by bolo fajn detgovať aj logo firmy a uložiť ho do DB ako blob, ale to asi zatiaľ vynechám a budem sa tomu venovať až na záver, lebo ma nenapadá spôsob ako na to

    Rozmýšlam ako spraviť na jednej strane čo najpresnejšie a zároveň najuniverzálenejšie riešenie. Prechádzanie stránok, by fungovalo podobne ako pri google bote cez odkazy. To neni problém a viem si s tým ľahko poradiť. Ale ako na detekciu názvu firmy a jej adresy? Nedal by sa na detekciu použiť strojové učenie. Pozeral som si kedysi nejaké tutorialy pre technológiu CUDA a tam bolo dosť veľa deep learning frameworkov, neviete s ktorým začať niečo čo by bolo vhodné aj pre začiatočníka? Najlepšie nejaký framework pre C++

    Odpovědi

    11.6.2022 14:47 Olaf
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Není ML na tohle -- alespoň z počátku -- trošku kanón na vrabce? Zkraje mě napadalo, že to je jak počítat průměrné telefonní číslo ze seznamu, ale to bych ti asi křivdil.

    Každopádně z počátku bych to zkusil z těch tvých zdrojů přes web scraping pomocí Pythonu (BeautifulSoup, Selenium, Pandas...). Pak tam můžeš zkusit nějaké ML pomocí SciKit-Learn či TensorFlow. A až si vybuduješ představu, jak by to mělo fungovat, přesuň se k C++ (ale k tomu asi nebude důvod).
    Gréta avatar 13.6.2022 14:30 Gréta | skóre: 36 | blog: Grétin blogísek | 🇮🇱==❤️ , 🇵🇸==💩 , 🇪🇺==☭
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem

    hele spacy umí :O :O

    13.6.2022 17:59 Olaf
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ani jeden z nás mu vlastně neporadil. :-) Já to domotal úplně. Ale to asi ty moje horečky v tom období. ;-) Nicméně kdyby to chtěl řešit Pythonem, tak jsme mu to vyřešili.
    13.6.2022 19:34 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Čo by mal byť výsledok? Na Slovensku máme Obchodný Register v ktorom sú tieto dáta pravidelne aktualizované. Pravda je že asi bez loga firmy, ale na ňom až tak nezáleží. A nejaké API by bolo tiež k dispozícii.
    AraxoN avatar 14.6.2022 12:31 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    V obchodnom registri nie je e-mail a telefón.
    14.6.2022 13:41 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    V Obchodnom registri sú zapísaní konatelia a vlastníci, ktorí majú obvykle utajený kontakt. Teda pokiaľ sa nejedná o živnostníkov alebo one man show sro.

    Kontakt (email, fax alebo telefón) má firma obvykle na svojej stránke, aj keď sa v dnešnej dobe skôr prechádza na chatboty alebo kontakt cez facebook. Živnostníci majú svoje kontakty v dnešnej dobe u centrálnych dispečingov nech si nehľadajú prácu.

    To je dôvod prečo som sa pýtal na účel takéhoto zberu údajov.

    Ak je to len vyťaženie už existujúcich štrukturálnych zoznamov z Azetu a Slovenských Telekomunikácií (kedysi kúpili Zoznam), tak by som sa poobzeral u nich na pobočke či nemajú k dispozícii v elektronickej forme Firemný Telefónny Zoznam známy aj ako yellow pages. Pamätám časy keď bol zdarma v papierovej podobe.

    A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.
    AraxoN avatar 15.6.2022 07:40 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ja nie som OP, takže neviem, čo s tým zamýšľa...
    A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.
    Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???
    15.6.2022 18:29 Peter Golis | skóre: 64 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ja nie som OP, takže neviem, čo s tým zamýšľa...
    Pýtal som sa jeho, odpovedal si ty. Predpokladám že má dosť chcochmesu aby len nevyťažil hotový katalóg. Pri tom ho s najväčšou pravdepodobnosťou zabanuje minimálne Captcha.
    Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???
    Neviem. Mne zavolajú automatické vyvolávacie systémy (ktoré to prepoja na operátorku) tak max 2x za rok. A už mi chceli predať aj lisované rybacie kože ako zázračný zdroj vitamínu D (chodím na slnko), alebo výborný olej s antioxidantom (najlacnejší repkový olej s vymáchanou mrkvou ktorý je napustený tokofenolom). Produkty týchto rádobypredajcov sú ozaj rôzneho, a nezriedka humorného charakteru.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.