abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    17.5. 13:44 | Nová verze

    Byla vydána (𝕏) nová major verze 17 softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech GitLab (Wikipedie). Představení nových vlastností i s náhledy a videi v oficiálním oznámení.

    Ladislav Hagara | Komentářů: 0
    17.5. 12:22 | Komunita

    Sovereign Tech Fund, tj. program financování otevřeného softwaru německým ministerstvem hospodářství a ochrany klimatu, podpoří vývoj FFmpeg částkou 157 580 eur. V listopadu loňského roku podpořil GNOME částkou 1 milion eur.

    Ladislav Hagara | Komentářů: 0
    17.5. 01:55 | Komunita

    24. září 2024 budou zveřejněny zdrojové kódy přehrávače Winamp.

    Ladislav Hagara | Komentářů: 12
    16.5. 23:33 | Nová verze

    Google Chrome 125 byl prohlášen za stabilní. Nejnovější stabilní verze 125.0.6422.60 přináší řadu oprav a vylepšení (YouTube). Podrobný přehled v poznámkách k vydání. Opraveno bylo 9 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře.

    Ladislav Hagara | Komentářů: 1
    16.5. 21:11 | Nová verze

    Textový editor Neovim byl vydán ve verzi 0.10 (𝕏). Přehled novinek v příspěvku na blogu a v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    16.5. 20:55 | Nová verze

    Byla vydána nová verze 6.3 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Přehled změn v příslušném seznamu. Tor Browser byl povýšen na verzi 13.0.15.

    Ladislav Hagara | Komentářů: 0
    16.5. 13:33 | IT novinky

    Dnes ve 12:00 byla spuštěna první aukce domén .CZ. Zatím největší zájem je o dro.cz, kachnicka.cz, octavie.cz, uvycepu.cz a vnady.cz [𝕏].

    Ladislav Hagara | Komentářů: 10
    16.5. 13:22 | Nová verze

    JackTrip byl vydán ve verzi 2.3.0. Jedná se o multiplatformní open source software umožňující hudebníkům z různých částí světa společné hraní. JackTrip lze instalovat také z Flathubu.

    Ladislav Hagara | Komentářů: 0
    16.5. 12:22 | Pozvánky

    Patnáctý ročník ne-konference jOpenSpace se koná 4. – 6. října 2024 v Hotelu Antoň v Telči. Pro účast je potřeba vyplnit registrační formulář. Ne-konference neznamená, že se organizátorům nechce připravovat program, ale naopak dává prostor všem pozvaným, aby si program sami složili z toho nejzajímavějšího, čím se v poslední době zabývají nebo co je oslovilo. Obsah, který vytváří všichni účastníci, se skládá z desetiminutových

    … více »
    Zdenek H. | Komentářů: 0
    16.5. 03:11 | Nová verze

    Program pro generování 3D lidských postav MakeHuman (Wikipedie, GitHub) byl vydán ve verzi 1.3.0. Hlavní novinkou je výběr tvaru těla (body shapes).

    Ladislav Hagara | Komentářů: 9
    Podle hypotézy Mrtvý Internet mj. tvoří většinu online interakcí boti.
     (77%)
     (5%)
     (10%)
     (8%)
    Celkem 355 hlasů
     Komentářů: 16, poslední 14.5. 11:05
    Rozcestník

    Kinect pro Xbox 360 a GNU/Linux – OpenKinect a libfreenect

    17. 1. 2012 | Ladislav Hagara | Návody | Hardware | 6031×

    Další díl seriálu věnovanému snímacímu zařízení Kinect pro Xbox 360 a jeho využití v operačním systému GNU/Linux. V dnešní části Kinect k počítači s nainstalovaným Linuxem už konečně připojíme. Nejprve jej použijeme jako webovou kameru. Následně se zaměříme na projekt OpenKinect a knihovnu libfreenect. Tu si stáhneme, přeložíme a nainstalujeme. Seznámíme se s programy, jež jsou s knihovnou instalovány.

    Obsah

    Připojení Kinectu k Linuxu

    link

    Máme-li k dispozici Kinect, napájecí kabel a samozřejmě počítač s nainstalovaným Linuxem, tak už nic nebrání jejich propojení. Můžeme přitom monitorovat činnost linuxového jádra, tj. nechat si zobrazovat obsah souborů /var/log/messages nebo /var/log/everything/current pomocí tail nebo multitail. Použít lze také příkaz dmesg.

    Příkazem lsusb si můžeme vypsat připojené USB zařízení. Připojením Kinectu se ve výpisu objeví 4 nové řádky. Uvnitř Kinectu je umístěný USB rozbočovač (Hub), ke kterému jsou připojené 3 zařízení. Motorek, pomocí kterého lze Kinect naklánět (Xbox NUI Motor), k snímaní zvuku sloužící čtyři mikrofony (Xbox NUI Audio) a kamera (Xbox NUI Camera).

    # lsusb > lsusb.no.kinect; lshw -short > lshw.no.kinect
    
    
    Jan 04 03:42:03 [kernel] usb 2-1.2: new high speed USB device number 13 using ehci_hcd
    Jan 04 03:42:03 [kernel] usb 2-1.2: New USB device found, idVendor=0409, idProduct=005a
    Jan 04 03:42:03 [kernel] usb 2-1.2: New USB device strings: Mfr=0, Product=0, SerialNumber=0
    Jan 04 03:42:03 [kernel] hub 2-1.2:1.0: USB hub found
    Jan 04 03:42:03 [kernel] hub 2-1.2:1.0: 3 ports detected
    Jan 04 03:42:04 [kernel] usb 2-1.2.2: new full speed USB device number 14 using ehci_hcd
    Jan 04 03:42:04 [kernel] usb 2-1.2.2: New USB device found, idVendor=045e, idProduct=02b0
    Jan 04 03:42:04 [kernel] usb 2-1.2.2: New USB device strings: Mfr=1, Product=2, SerialNumber=0
    Jan 04 03:42:04 [kernel] usb 2-1.2.2: Product: Xbox NUI Motor
    Jan 04 03:42:04 [kernel] usb 2-1.2.2: Manufacturer: Microsoft
    Jan 04 03:42:06 [kernel] usb 2-1.2.1: new high speed USB device number 15 using ehci_hcd
    Jan 04 03:42:06 [kernel] usb 2-1.2.1: New USB device found, idVendor=045e, idProduct=02ad
    Jan 04 03:42:06 [kernel] usb 2-1.2.1: New USB device strings: Mfr=1, Product=2, SerialNumber=4
    Jan 04 03:42:06 [kernel] usb 2-1.2.1: Product: Xbox NUI Audio
    Jan 04 03:42:06 [kernel] usb 2-1.2.1: Manufacturer: Microsoft
    Jan 04 03:42:06 [kernel] usb 2-1.2.1: SerialNumber: A44866C06560038A
    Jan 04 03:42:07 [kernel] usb 2-1.2.3: new high speed USB device number 16 using ehci_hcd
    Jan 04 03:42:07 [kernel] usb 2-1.2.3: New USB device found, idVendor=045e, idProduct=02ae
    Jan 04 03:42:07 [kernel] usb 2-1.2.3: New USB device strings: Mfr=2, Product=1, SerialNumber=3
    Jan 04 03:42:07 [kernel] usb 2-1.2.3: Product: Xbox NUI Camera
    Jan 04 03:42:07 [kernel] usb 2-1.2.3: Manufacturer: Microsoft
    Jan 04 03:42:07 [kernel] usb 2-1.2.3: SerialNumber: A00362902514039A
    
    
    # lsusb > lsusb.yes.kinect; lshw -short > lshw.yes.kinect
    
    # diff lsusb.no.kinect lsusb.yes.kinect 
    9a10,13
    > Bus 002 Device 013: ID 0409:005a NEC Corp. HighSpeed Hub
    > Bus 002 Device 014: ID 045e:02b0 Microsoft Corp. Xbox NUI Motor
    > Bus 002 Device 015: ID 045e:02ad Microsoft Corp. Xbox NUI Audio
    > Bus 002 Device 016: ID 045e:02ae Microsoft Corp. Xbox NUI Camera
    
    # diff lshw.no.kinect lshw.yes.kinect 
    108a109,112
    > /2/100/1d/1/1/2               bus            HighSpeed Hub
    > /2/100/1d/1/1/2/1             generic        Xbox NUI Audio
    > /2/100/1d/1/1/2/2             generic        Xbox NUI Motor
    > /2/100/1d/1/1/2/3             generic        Xbox NUI Camera
    

    Pokud se ve výpisu objeví pouze USB rozbočovač a motorek, máte pravděpodobně problém s napájením. Napájecí kabel není připojen k elektrické síti, nebo elektrický proud právě vypadl.

    Kinect jako webová kamera

    link

    Podpora Kinectu jako webové kamery je obsažena v linuxovém jádru od verze 3.0. Jedná se o modul gspca_kinect.

    Kinect

    # modinfo gspca_kinect
    filename:       /lib/modules/3.1.7/kernel/drivers/media/video/gspca/gspca_kinect.ko
    license:        GPL
    description:    GSPCA/Kinect Sensor Device USB Camera Driver
    author:         Antonio Ospite <ospite@studenti.unina.it>
    srcversion:     E4EA2B198A5655ED6A34252
    alias:          usb:v045Ep02AEd*dc*dsc*dp*ic*isc*ip*
    depends:        gspca_main
    vermagic:       3.1.7 SMP mod_unload modversions CORE2
    

    Po zavedení modulu lze obraz z Kinectu zobrazit ve standardních video aplikacích jako cheese, vlc (vlc v4l2://) nebo mplayer (mplayer tv://).

    Instalace knihovny libfreenect

    link

    Knihovna libfreenect se zatím v běžných linuxových distribucích nenachází. Binární balíčky nenaleznete ani na síti. Pokud ano, budou zcela jistě neaktuální (Ubuntu, Fedora 1, 2).

    Nezůstává tak nic jiného, než knihovnu libfreenect přeložit ze zdrojových kódů. Uživatelům linuxové distribuce Source Mage GNU/Linux k tomu stačí zadat příkaz „cast libfreenect“ a zdrojové kódy knihovny budou automaticky staženy, přeloženy a knihovna nainstalována (v Source Mage terminologii vykouzlena).

    Kinect Kinect

    Uživatelé jiných, ne tak kouzelných distribucí :-) budou muset spustit příkazů mnohem více. Popis instalace je popsán na stránkách projektu OpenKinect (Getting Started). Jedná se o wiki stránky. Naleznete-li na nich nesrovnalosti, nebo budete-li chtít něco doplnit, máte možnost stránky vylepšit.

    Pro stažení aktuálních zdrojových kódu knihovny je potřebný git (yum install git). Spuštěním příkazu:

    $ git clone git://github.com/OpenKinect/libfreenect.git

    jsou zdrojové kódy staženy (zjednodušeně řečeno, ve skutečnosti je vytvořen klon celého repozitáře). Pro překlad zdrojových kódů je potřebný cmake a několik devel balíčků (libusb, freeglut, …).

    Na Fedoře 16 stačí pro jejich instalaci spustit:

    $ yum install git cmake gcc gcc-c++ libXi libXi-devel libXmu libXmu-devel freeglut freeglut-devel libusb1-devel

    Následuje vlastní překlad:

    $ cd libfreenect
    $ mkdir build
    $ cd build
    $ ccmake ..
    

    Pro nastavení stačí v ccmake stisknout klávesu „c“ a případně upravit cesty k potřebným knihovnám.

    Kinect

    Po nastavení je nutné stisknout klávesu „g“ pro vygenerování potřebných souborů. Pak už jenom zadat příkazy cmake a make.

    $ cmake ..
    $ make
    

    Posledním krokem je instalace:

    $ sudo make install

    Knihovnu lze odinstalovat příkazem:

    $ sudo make uninstall

    Ukázkové programy

    link

    S knihovnou jsou instalovány i ukázkové programy.

    $ ls bin
    cppview  glpclview  glview  hiview  record  regtest  regview  tiltdemo
    

    Správnost instalace knihovny lze ověřit příkazem glview (při nedostatečných právech sudo glview). V okně jsou zobrazena dvě videa. Nalevo video zobrazující hloubková data a napravo video z klasické webové kamery. Pomocí kláves w (nahoru), s (na střed) a x (dolu) lze Kinect naklánět. Pomocí kláves „0“ až „6“ lze nastavovat barvu kontrolky a pomocí klávesy „f“ lze měnit formát videa.

    Kinect Kinect Kinect

    Program glpclview využívá hloubková data a v okně vykreslí 3D obraz. Ten lze myší otáčet a pomocí kláves „w“ a „s“ přibližovat a vzdalovat.

    Kinect Kinect Kinect Kinect Kinect Kinect

    Pokud programy neběží pod běžnými uživateli, je potřeba nastavit přístupová práva. V případě použití udev lze využít přiložený soubor 51-kinect.rules a zkopírovat jej do adresáře /etc/udev/rules.d/.

    Podpora audia

    link

    Minulý díl byl věnován rozlousknutí komunikace. Pravděpodobně nejtvrdším oříškem bylo zpracování zvuku. Přenos videa fungoval již v listopadu 2010. Získat zvuk z Kinectu pomocí knihovny libfreenect bylo ale možné až v dubnu 2011.

    Drew Fisher alias zarvox přidal podporu audia do knihovny libfreenect 3. dubna 2011 (audio.c). Problémem je, že do Kinectu je potřeba nahrát audio firmware. Ten lze získat z oficiální aktualizace konzole Xbox 360. Aktualizace je stažena pomocí skriptu fwfetcher.py (aktuální soubor SystemUpdate_14699_USB.zip) z Xbox.com.

    Další podrobnosti například v přednášce Drewa Fishera s názvem “Reverzní inženýrství USB zařízení” (video, pdf) přednesené 28. prosince 2011 na konferenci 28c3 (Chaos Communication Congress).

    Při překladu a instalaci knihovny libfreenect je audio standardně zakázáno. Povolit jej lze pomocí volby BUILD_AUDIO v nástroji ccmake, nebo cmake spustit s volbou -DBUILD_AUDIO=YES.

    $ make
    
    ...
    Downloading SystemUpdate.zip from http://www.xbox.com/system-update-usb
    Reading response...
    done, saved to SystemUpdate.zip
    Extracting $systemupdate/FFFE07DF00000001 from system update file...
    done.
    Handling LIVE/PIRS file.
    Writing information file FFFE07DF00000001.txt
    Creating and filling content directory FFFE07DF00000001.dir
    Moving audios.bin to current folder
    Cleaning up
    Done!
    [100%] Built target firmware
    
    # ls -l /usr/share/libfreenect/audios.bin 
    -rw-r--r-- 1 root root 473600 Nov 15  2002 /usr/share/libfreenect/audios.bin
    
    $ ls bin
    cppview  glpclview  glview  hiview  micview  record  regtest  regview  tiltdemo  wavrecord
    

    Při instalaci se navíc nainstalují programy micview a wavrecord. Při jejich spuštění je prováděna kontrola, zda je v Kinectu firmware audios.bin natažen. Pokud tomu tak není, před zobrazením okna nebo spuštěním nahrávání natažení firmware proběhne. Program micview (OpenGL audio viewer) zobrazuje v okně 4 křivky představující zvuky snímané jednotlivými mikrofony. Mezerníkem lze aktualizaci pozastavit. Klávesou „q“ lze okno uzavřít. Program wavrecord zvuk nahrává. V aktuálním adresáři vytvoří soubory channel1.wav až channel4.wav. Ty lze přehrát například příkazem play (play channel1.wav).

    $ micview
    
    Number of devices found: 1
    Trying to open ./audios.bin as firmware...
    Trying to open /usr/local/share/libfreenect/audios.bin as firmware...
    Trying to open /usr/share/libfreenect/audios.bin as firmware...
    About to send: 09 20 02 06 00 00 00 00 00 40 00 00 03 00 00 00 00 00 08 00 00 00 00 00 
    Reading reply: 00 E0 6F 0A 00 00 00 00 00 00 00 00 
    About to send: 09 20 02 06 01 00 00 00 00 40 00 00 03 00 00 00 00 40 08 00 00 00 00 00 
    Reading reply: 00 E0 6F 0A 01 00 00 00 00 00 00 00 
    About to send: 09 20 02 06 02 00 00 00 00 40 00 00 03 00 00 00 00 80 08 00 00 00 00 00 
    Reading reply: 00 E0 6F 0A 02 00 00 00 00 00 00 00 
    ...
    Firmware successfully uploaded and launched.  Device will disconnect and reenumerate.
    This is the libfreenect microphone waveform viewer.  Press 'q' to quit or spacebar to pause/unpause the view.
    

    Kinect

    Rozšíření pro Python

    link

    Ke knihovně libfreenect naprogramované v jazyce C existují rozšíření (Wrappers) i pro další programovací jazyky. Ke Kinectu tak lze přistupovat z jazyků Python, Actionscript, C++, C#, JAVA JNI i JNA, Javascript, Common Lisp nebo i Haskell.

    Rozšíření pro Python je naprogramováno v jazyce Cython. K instalaci Python rozšíření je tedy nutné doinstalovat samotný Cython a balíčky python-devel a numpy (yum install Cython python-devel numpy).

    V adresáři wrappers/python se nacházejí ukázkové aplikace. Například demo_cv_threshold.py má pouze 54 řádků (z toho 16 prázdných) a umožňuje z videa s hloubkovými daty vybrat pomocí posuvníků pouze oblast definovanou hloubkou a prahem.

    #!/usr/bin/env python
    import freenect
    import cv
    import frame_convert
    import numpy as np
    
    
    threshold = 100
    current_depth = 0
    
    
    def change_threshold(value):
        global threshold
        threshold = value
    
    
    def change_depth(value):
        global current_depth
        current_depth = value
    
    
    def show_depth():
        global threshold
        global current_depth
    
        depth, timestamp = freenect.sync_get_depth()
        depth = 255 * np.logical_and(depth >= current_depth - threshold,
                                     depth <= current_depth + threshold)
        depth = depth.astype(np.uint8)
        image = cv.CreateImageHeader((depth.shape[1], depth.shape[0]),
                                     cv.IPL_DEPTH_8U,
                                     1)
        cv.SetData(image, depth.tostring(),
                   depth.dtype.itemsize * depth.shape[1])
        cv.ShowImage('Depth', image)
    
    
    def show_video():
        cv.ShowImage('Video', frame_convert.video_cv(freenect.sync_get_video()[0]))
    
    
    cv.NamedWindow('Depth')
    cv.NamedWindow('Video')
    cv.CreateTrackbar('threshold', 'Depth', threshold,     500,  change_threshold)
    cv.CreateTrackbar('depth',     'Depth', current_depth, 2048, change_depth)
    
    print('Press ESC in window to stop')
    
    
    while 1:
        show_depth()
        show_video()
        if cv.WaitKey(10) == 27:
            break
    

    Kinect

    Příště

    link

    Příště se blíže podíváme na projekt OpenNI.

           

    Hodnocení: 100 %

            špatnédobré        

    Nástroje: Tisk bez diskuse

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    17.1.2012 15:10 Ladislav Hagara | skóre: 102 | blog: Ride the Raven
    Rozbalit Rozbalit vše Re: Kinect pro Xbox 360 a GNU/Linux – OpenKinect a libfreenect
    Včera se v Getting Started objevil odkaz na novější Ubuntu balíčky.
    25.3.2012 23:47 petr.nosek | skóre: 2
    Rozbalit Rozbalit vše Re: Kinect pro Xbox 360 a GNU/Linux – OpenKinect a libfreenect

    Přiznám se, že jsem čekal poněkud lepší podporu software pro samotný Linux.

    Googlil jsem několik dní. Narazil jsem na spoustu zajímavých projektů. Překvapilo mě, že většina projektů je buď pro Windows nebo Mac Os X.

    Měl jsem krásnou představu o propojení TV (zobrazovací jednotka) + Raspbery Pi (OS Linux) + Kinect.

    Na Raspberry bude XMBC a ideálně i nějaký grafický režim s prohlížečem. Kinect měl jednoduchými příkazy ovládat XMBC.

    Objevil jsem spoustu šikovného software, problém je s portací na linux.

    Nejprve začnu samotným NITE. Jestli jsem to správně pochopil, tak je NITE pouze binárka a to pro architektury x86 nebo x64. Raspberry je jina architektura. Snad to nebude nepřekonatelný problém a bude i binárka pro ARM architekturu. Zatím se mi nic bližšího nepodařilo zjistit.


    XBMC

    Začněme nejprve ovládáním samotného XBMC. K ovládání je již hotová šikovná aplikace KINEMOTE. Vývoj je bohužel uzavřený a pouze pro Windows. http://www.kinemote.net/ nebo také http://www.makeuseof.com/tag/control-windows-pc-kinect/

    Po dlouhém hledání jsem našel jedinou možnou alternativu pro linux a to KLIRC. http://groups.google.com/group/openni-dev/browse_thread/thread/da57ce22c7c72b6b

    Nevýhodou projektu KLIRC je, že vývoj dále nepokračuje. Projekt je především testován pro MythTV a je k provozu potřeba ještě daemon LIRC. Propojení tedy není tak jednoduché. Když pomineme všechna tato fakta, tak jako největší nevýhodu považuji nekvalitní rozpoznání gest. Ještě budu zkoušet, ale zatím mi to přijde nepoužitelné.


    Ovládání kurzoru myši

    Pokud bych dokázal ovládat kurzor myši, získal bych jinou formu kontroly nad XMBC. Hledal jsem tedy způsob, jak pomocí KINECTu ovládat kurzor myši.

    Tento projekt vypadá nádherně http://kinect.dashhacks.com/mouse-control Umožňuje ovládat desktop. Problém je, že projekt je psán pouze pro Mac OS X.

    Ovládání kurzoru myši pod linuxem umožňuje tento projekt: https://github.com/Ooblik/Kinect-Mouse. Ovládání pod linuxem je nepřesné a nemá jinou funkci, než pohyb kurzoru a jeden klik myši. Na ovládání nepoužitelné - spíše jde o prezentaci možností.


    Ovládání prohlížeče

    Jediný nadějný projekt pro linux, který jsem objevil je ovládání webového prohlížeče pomocí KINECTu formou pluginu.http://www.omgubuntu.co.uk/2010/11/browser-extension-allows-website-control-via-kinect/ Bohužel projekt se mi zatím nepodařilo pro linux zkompilovat. Dokumentace k projektu pro linux je téměř nulová. Máte někdo zkušenosti s projektem?




    Google ve spojení LINUX + kinect také docela mlčí. Přiznám se, že jsem se na KINECT docela těšil a doufal jsem, že pro linux bude větší podpora. Přiznám se, že mě mrzí, že se ovládání KINECTu točí pouze kolem Windows a Mac OS X. Přitom mně přijde KINECT jako zajímavý kousek hardware s krásnými možnostmi.


    Můžete někdo přispět svými zkušenostmi? Víte o funkčních projektech ve spojení s KINECTem pro Linux nebo o portaci projektů z Mac OS X na linux? Nechci se své myšlenky vzdát.

    1.4.2012 23:08 petr.nosek | skóre: 2
    Rozbalit Rozbalit vše Re: Kinect pro Xbox 360 a GNU/Linux – OpenKinect a libfreenect

    Tak zatím se mi podařilo přijít na to, že ovládání prohlížeče přes kinect se pro Linux (DEPTHJS) je spíše v přípravě. https://github.com/doug/depthjs/issues/27 Možná to bude první použitelný projekt, otázkou je, kdy se tak stane. Jiné použitelné projekty jsem bohužel nenašel. Nějaké zkušenosti?

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.