Portál AbcLinuxu, 1. listopadu 2024 00:26

Hlídání logu v Pythonu a Qt5

7.11.2023 12:30 | Přečteno: 985× | linux

Hledal jsem možnost, jak sledovat logy, kreré vytváří python přes logger logging. Programy tail, more a všechny ostatní metody nesplňovaly moje požadavky ( nebo neumím číst man a google ).

Moje bádání v tomto směru bylo ukončeno rozhodnutím udělat takový program v Pythonu. Cesta (pro mně) síce zdlouhavější, zato však inspirativní.

(doufám, že se tady dozvím, že i zbytečná, protože tohle už přece dávno existuje a všichni to dobře vědí... kromě mně, tedy.)

Program jsem psal Pythonu + pySide2. Je jednoúčelový, hlídá jen jeden log, jednoho typu, ale plně funguje a navíc logy obarvuje. Ještě mě napadá dodělat pořádně otevírání souborů a barvení ANSI sekvencí, tak možná později, až na to bude čas...

Přikládám kód: Pro znovuotevření jiného souboru jsem plánoval odpojit a znovu připojit signál fileChanged (aby se nezdvojoval), ale nepovedlo se mi najít správnou kombinaci pro fuknci receivers .. nějak nevím čím ji nakrmit, no vyřešil jsem to jinak.

#! /usr/bin/python3
# This Python file uses the following encoding: utf-8
import sys
import os


from PySide2.QtWidgets import QApplication, QMainWindow
from PySide2.QtCore import QFile, Slot, Signal, SIGNAL, QFileSystemWatcher
from PySide2.QtUiTools import QUiLoader


class Reader(QMainWindow):
    def __init__(self):
        super(Reader, self).__init__()
        self.load_ui()
        self.fwatcher = QFileSystemWatcher()
        self.fwatcher.fileChanged.connect(self.fileWasChanged)

    def load_ui(self):
        loader = QUiLoader()
        path = os.path.join(os.path.dirname(__file__), "form.ui")
        ui_file = QFile(path)
        ui_file.open(QFile.ReadOnly)
        self.ui = loader.load(ui_file)
        ui_file.close()
        self.ui.action_Open_file.triggered.connect(self.readFile)
        self.ui.show()

    @Slot()
    def readFile(self):
# noConnection = self.fwatcher.receivers("filechanged")
        watchedFiles = self.fwatcher.files()
        if watchedFiles:
            self.fwatcher.removePaths(watchedFiles)
        self.fname = "/home/blabla/muj.log"
        self.fwatcher.addPath(self.fname)
        self.fillBrowser()

    def fillBrowser(self):
        content = ""
        with open(self.fname, "r") as fh:
            while True:
                line = fh.readline()
                if not line:
                    break
                line = self.loggerConvert(line)
                content += line
        self.ui.textBrowser.setHtml(content)

    @Slot(str)
    def fileWasChanged(self, path):
        self.fillBrowser()

    def loggerConvert(self, line):
        line = line.replace("NOTSET", '<font color="gray>NOTSET</font>')
        line = line.replace("DEBUG", '<font color="blue">DEBUG</font>')
        line = line.replace("INFO", '\
            <font color="green">INFO</font>')
        line = line.replace("WARNING", '<font color="orange">WARNING</font>')
        line = line.replace("ERROR", '<font color="red">ERROR</font>')
        line = line.replace("CRITICAL", '<span style="background-color:red"><font color="white"b>\
            CRITICAL</font></span>')
        line = line.replace("DEBUG", '<font color="blue">DEBUG</font>')
        line = line + "
" return line if __name__ == "__main__": app = QApplication([]) widget = Reader() # widget.ui.show() sys.exit(app.exec_())

Log vzniká pomocí modulu logging :

import logging
...
...
    logging.basicConfig(
            filename=logFilename,
            format="%(asctime)s [%(levelname)s] %(module)s: %(lineno)d\
            %(funcName)s:  %(message)s",
            level=logging.DEBUG,
            datefmt='%d %H:%M:%S',
            filemode="w"
            )

 

       

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Nástroje: Začni sledovat (1) ?Zašle upozornění na váš email při vložení nového komentáře. , Tisk

Vložit další komentář

7.11.2023 13:21 tttttttttttttt
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Odpovědět | Sbalit | Link | Blokovat | Admin
A jaké jsou tvé požadavky?
7.11.2023 13:47 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Hlídat soubor třeba logu. Listovat v něm. Log se obnovuje, takže hlídat znovuvytvoření logu. Barevný výstup je jen šidítko, nemusí umět ( ale při ANSI by to asi vadilo). Less umí listovat, neumí hlídat znovuvytvoření. tail pěkně hlídá znovuvytvoření, neumí listovat.

Můj prográmek mě naučil zase něco nového z Qt, a dělá všechno tak, jak potřebuju. A ještě mi dělá barvičky :)
7.11.2023 14:55 RealJ | skóre: 4
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Libi se mi, ze jsi se neco naucil a ze mas tool ktery dela presne to co chces.
7.11.2023 15:21 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5

Jako bych slyšel ironii ... ale máš pravdu ...  :-)

7.11.2023 19:21 Tom
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Bez ironie, proč QT a ne Electron ?
7.11.2023 20:21 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Tak v pySide jsem už pár věcí spíchl, trochu Qt znám, a plasma je můj velmi oblíbený desktop. Qt je taky multiplatformní, takže proč se učit kvůli malému nástroji nový jazyk a přístup.
8.11.2023 00:06 RealJ | skóre: 4
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Bylo to mysleno bez ironie. Sice mi nedava smysl to co s tim delas ale chapu ze kazdy mame jine potreby. A ze se neco naucis je fajn, nebudes za blbce.
12.11.2023 08:21 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
:).. ok, beru
7.11.2023 16:18 tttttt
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Co tailspin? Mezi listováním a sledováním jde přepínat, znovuvytvoření myslím dělá stejně jako tail.
7.11.2023 19:22 ±
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Umi tailspin i strankovani? (jako more, less)
8.11.2023 00:34 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Ano, pomocí page-up / page-down.
-- OldFrog
7.11.2023 16:24 Martin Tůma | skóre: 39 | blog: RTFM | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Odpovědět | Sbalit | Link | Blokovat | Admin
less --follow-name
Každý má právo na můj názor!
7.11.2023 16:48 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
No ... vidíš, říkal jsem, že man nečtu pořádně .. děkuji , Vyzkoušel jsem a je to to, co jsem víceméně chtěl ... tuhle volbu jsem asi v beznaději přeskočil ...

M
8.11.2023 00:28 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Odpovědět | Sbalit | Link | Blokovat | Admin
K danému účelu používám (mimo tail -f) program https://klogg.filimonov.dev anebo https://glogg.bonnefon.org/index.html
-- OldFrog
8.11.2023 15:16 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Ten klogg je fakt dobrej .. ještě se mi teda nepovedlo stáhnout verzi pro můj obstarožní Debian 11, ale podle popisu supr.
8.11.2023 23:17 OldFrog {Ondra Nemecek} | skóre: 36 | blog: Žabákův notes | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Jj, používá se fakt příjemně. Já ho stáhnul jako AppImage:

https://github.com/variar/klogg/releases/tag/continuous-linux
-- OldFrog
8.11.2023 22:53 prt
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Odpovědět | Sbalit | Link | Blokovat | Admin
Programy tail, more a všechny ostatní metody nesplňovaly moje požadavky ( nebo neumím číst man a google ).
Nebýval kdysi tohle portál pro fanoušky linuxu?
10.11.2023 09:20 .:.:.
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Linux nikdy nemel fanousky. Jenom trpici otroky svazane temnou GPL licenci.
10.11.2023 00:47 kvr
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Odpovědět | Sbalit | Link | Blokovat | Admin
V zásadě pěkné.

Možná by stálo za to nečíst celý soubor znovu. Na malém logu to je v pohodě, ale pokud něco zapisuje každou chvilku, tak to může docela zahltit a taky budou refresh okna asi dost nepohodlné. Nevím, jestli file watcher reportuje každý zápis nebo jich dá několik dohromady, v prvním případě by to chtělo ignorovat všechno předtím, než se soubor začal načítat.

Konverze do HTML by měla obsahovat escaping. Replace by mohl být na word boundary, záleží, co je cílem. A pro debugging by nebylo špatné přidat za br textový new line :-)
Bystroushaak avatar 10.11.2023 02:16 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Dá se to řešit přes inotify nebo pokud na tom člověk nechce záviset, tak nějak takhle:
import os
import time


class TailFIterator:
    """
    Text file iterator, which yields new lines added to the file, like
    tail -F. It can detect when the file descriptor was changed (logrotated) or
    the file was truncated (also used by logrotate).

    You can overload:
        .on_file_not_found()
            To change behaviour when the file was followed, but was deleted
            in the process (logrotated). Standard behaviour is to wait 5 seconds,
            try again forever. See also .file_not_found_counter for details.

        .on_no_changes_detected()
            To decide what to do when no change was detected. Default is to
            wait 1s.
    """
    def __init__(self, file_path: str, file_mode: str = "rt"):
        self.file_size = 0
        self.file_path = file_path
        self.file_mode = file_mode

        self.inode_number = os.stat(file_path).st_ino
        self.logfile = open(file_path, self.file_mode)

        self.file_not_found_counter = 0

    def __iter__(self):
        while True:
            try:
                size = self._get_current_size()
                self.file_not_found_counter = 0
            except FileNotFoundError as e:
                self.file_not_found_counter += 1
                self.on_file_not_found(self.file_not_found_counter, e)
                continue

            if size > self.file_size:
                self.logfile.seek(self.file_size)
                for line in self.logfile:
                    yield line
                self.file_size = self.logfile.tell()

            # in case the .truncate() was called
            elif size < self.file_size:
                self._check_and_handle_logrotate()
                self.file_size = 0
                continue

            if self._check_and_handle_logrotate():
                continue

            self.on_no_changes_detected()

    def _get_current_size(self) -> int:
        return os.stat(self.file_path).st_size

    def _check_and_handle_logrotate(self) -> bool:
        current_file_info = os.stat(self.file_path)
        current_inode_number = current_file_info.st_ino
        if current_inode_number != self.inode_number:
            self.inode_number = current_file_info.st_ino
            self.logfile = open(self.file_path, self.file_mode)
            self.file_size = 0

            return True

    def on_file_not_found(self, file_not_found_counter: int, exception):
        if file_not_found_counter > 5:
            raise exception
        time.sleep(5)

    def on_no_changes_detected(self):
        time.sleep(1)
(Psal jsem kdysi pro jeden starší projekt co běžel někde kam jsem nechtěl tahat závislosti).
10.11.2023 06:02 kvr
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Ten QFileSystemWatcher už používá inotify (nebo cokoliv relevantního na daném OS) : https://github.com/radekp/qt/blob/master/src/corelib/io/qfilesystemwatcher_inotify_p.h

Jo, aktivním čekáním se to dá taky, docela zastaralý způsob :-) . Za starých časů jsem psal něco podobného pro PHP a používalo to externí inotify. Dneska už zbytečné, každý jazyk to podoporuje.
Bystroushaak avatar 10.11.2023 10:11 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Jo, čistější by bylo hodit si select na fd, ale tohle mělo svůj důvod :)
10.11.2023 17:15 kvr
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
select na soubor by nefungoval, bo data jsou přístupná pořád, i když potenciálně jako prázdný read. inotify nebo aktivní kontroly jsou jediný způsob.
12.11.2023 08:29 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Váš návrh není špatný ale protože to klepu v Qt, (a ještě jsem nevěděl o FileWatcheru), tak jsem to hlídání řešil původně přes QTime. Ale jinak dobrá ukázka, jak řešit problém minimalisticky (co se týče závislostí ) díky

M
12.11.2023 08:18 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Pár dní jsem byl na druhém konci světa, už jsem si myslel, že téma uvadlo, a hle, takový gejzír.

Váš komentář (a také "ukázky z cizí dílny" jako odpověď na ten komentář ) je velmi přínosný. Se znovunačítáním jsem si nedělal hlavu, ale vlastně vidím, že stačí načíst jen "nový kus" toho logu, je přece blbost načítat celý soubor pořád dokola ...

Tomu word boundary asi nerozumím, v Pythonu něco takového je? Hledal jsem, ale našel jen regexy, což mi moc přínosné nepřipadá, nebo neumím hledat, nebo jste myslel to INFO,DEBUG ... obklíčit mezerami...

Konverze do HTML by měla obsahovat escaping ... přemýšlím, co jste tím chtěl říci ... jako místo hranatých závorek použít ecsape kódy jako tady na ABC ? Nevím ... možná je to dobrý nápad, ale jen nechápu, co jste tím vlastně myslel ...

A ten textový newline ... to máte plnou pravdu.. myslel jsem, že při načítání souboru je součástí řetězce, a uloží se do textVieweru, a ejhle ...

Děkuji za fakt šikovné podněty ... I komentátorům vašeho příspěvku... Zvlášť Jenda musel prohrabávat staré (.. co - prastaré) archivy, aby našel prastarý kód ( i když podle syntaxe možná zase tak prastarý není, ale stejně) ... fakt dík :)

M
12.11.2023 08:19 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Tedy ... Liška Bysrouška, ne Jenda, pardon ..
Bystroushaak avatar 13.11.2023 10:50 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Děkuji za fakt šikovné podněty ... I komentátorům vašeho příspěvku... Zvlášť Jenda musel prohrabávat staré (.. co - prastaré) archivy, aby našel prastarý kód ( i když podle syntaxe možná zase tak prastarý není, ale stejně) ... fakt dík :)
Je to několik let staré, prohledávat jsem nemusel, mám v notionu složku se snippety kam si házím použitelné věci a různé ukázky.
14.11.2023 19:14 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
hmm .. máš to vykoumané ...

Odkládám tak maximálně do nextcloudu ... občas ...

Už jsem si říkal, jestli nemáš konečně nějaké napojení desktopu na GPT :-) .. jak jsi onehdá snil ... no počkáme ... a snad se dožijem

Bystroushaak avatar 24.11.2023 11:35 Bystroushaak | skóre: 36 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Chci se k tomu dostat o vánocích, měl bych mít asi 14 dní dovolené. Nedávno jsem koukal že openAI zpřístupnilo asistenty, se kterýma se dá dobře pracovat přes API, dají se pro ně definovat různé funkce které pak můžou volat a taky umí pracovat s (až) 512M soubory. Zkoušel jsem to předevčírem na vyhledávání v PDF a funguje to dost dobře*. Co chci vyzkoušet je jak moc se dají použít i mimo vyhledávání, z toho co jsem zatím viděl, tak to v tom sandboxu i může vyrábět soubory, takže by to mělo být použitelné i pro věci jako generování a transformace (třeba tam nahraješ blog, řekneš mu ať ti ho přeloží do jiného jazyka, a on vyplivne rovnou soubor s překladem).

*Různé abstraktní dotazy, typu najdi mi kde v knize se mluví o tomhle a tomhle, nebo kde všude se řeší tohle téma.
27.11.2023 08:28 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Tak přeju, ať se zadaří... Tohle moc neznám, tudíž jen závistivé koukám ..
14.11.2023 04:48 kvr
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
\b(ERROR|INFO|WARN)\b

Výhoda je, že to nebude matchovat třeba information nebo terror.

Escape HTML - například <1> by se měla změnit na &lt;1&gt; , jinak to může být hezký námět nat code injection :-)

S těmi newline a načítáním nového souboru - bude tam nějaká komplexita navíc, neboť match či přidání nového řádku by se mělo dít jenom v případech, kdy se dokončilo načtení aspoň jednoho řádku. To jenom detail, když už to tak komplikuju.
14.11.2023 19:28 Milan Uhrák | skóre: 31 | blog: milan_at_ABC
Rozbalit Rozbalit vše Re: Hlídání logu v Pythonu a Qt5
Děkuji za dovysvětleni ...

Jelikož ten můj log ( ale zase by ten prográmek měl být trošku univerzální, tak nevím ) má [ERROR], hodím tam i hranaté jako možnost. Donačítání souboru už funguje, pokud je nový soubor menší než předtím, vypíše se i hláška o resetování ... to donačítání je výkonově perfektní návrh. Moje logy jsou síce zatím malé, ale kdoví, jak se to vše vyvine .. takže toto byla dobrá připomínka.. no ale zase když je tu klogg ... tak už je ten můj prográmek leda na hraní, nebo zkusit si něco víc, než zatím umím.

A zkusím udělat i tu ANSI konverzi .. Našel jsem hotovou Python třídu na githubu, tak to bude taky zdroj námětů ( autor to tam bere seširoka, a zpracovává i kódy posunu a všeho možného, exportuje to do (asi) latexu, no mám představu něčeho kratšího.

Jinak díky..

Založit nové vláknoNahoru

ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.