Re: vykreslování grafů z velkého množství dat

[Jindrich Fucik]

Já v tom nevidím žádný problém. 
Když se podívám na to co prohazuju skrz USB při každém videocallu, tak přenášet a ukládat 4kB za vteřinu je naprosté nic.
Takže jak jsem psal hned na začátku - pro software pro digitální osciloskopy je to celkem přijatelná míra informací. Kolik toho nasampluje normální osciloskop? 40 mega samplů je spíš základ, 10 bitů na vzorek je spíš horší osciloskop, dva kanály zase úplně běžně. Takže Vláďa se pokouší přenášet 1000x méně informace za vteřinu.

---------- Původní e-mail ----------
Od: Petr Labaj <labaj na volny.cz>
Komu: hw-list na list.hw.cz
Datum: 9. 12. 2024 4:45:42
Předmět: Re: vykreslování grafů z velkého množství dat

    No proč ne. Náš zákazník, náš pán.

    Já bych to tak ale určitě nedělal.

    Ukládat místo 10GB dat zbytečně třeba 50GB - děkuji, neprosím si.

    

    PL

    

    *****************

    

    Dne 9.12.2024 v 4:30 Pavel Hudeček
      napsal(a):

    

    
      
      Já bych si teda s rychlostí ukládání TXT dat ve windows nedělal
      starosti. Na ukládání dat z detektorů částic máme textové i
      binární, zákazníci slině preferujou textové. A vůbec jim nevadí,
      že je dat tolik, že to vytíží USB 2 na 100 %, nebo jiný zas vesele
      ukládaj text z dat co plně vytížily Gb ethernet a ani s USB3 není
      problém. Až když je těch USB 3 víc ks paralelně, začínaj speciální
      přístupy.

      

      PH

      

      Dne 08.12.2024 v 23:56 Petr Labaj
        napsal(a):

      

      
        
        Přijde mi to hodně dat a hodně rychle na to, aby se používaly
        nějaké univerzální prostředky a postupy.

        Je to přes 1.2 miliardy řádků. To už je (podle mě) hodně na to,
        aby se plýtvalo místem na nějaký neúsporný textový formát dat,
        který znamená nárůst proti syrovým datům aspoň na 4-násobek.

        Navíc frekvence zápisu 2kHz možná může být už na PC s Windows s
        jeho latencemi občas moc.

        

        Já bych tam strčil nějaký ESP32 nebo něco podobného, který by to
        sbíral tou rychlostí 2kHz a posílal do PC třeba jednou za
        sekundu nebo třeba 10 sekund.

        V nějakém proprietárním úsporném formátu.

        A vyhodnocení nad tím si udělat uživatelsky.

        

        Trochu mi uniká jak v grafu s miliardou 4-položek budete očima
        něco hledat. Na to je snad lepší nějaké předzpracování
        procesorem, který vyrobí průměry a označí maxima nebo jinak
        významné body a tak.

        

        Připadá mi to jako jednoznačný kandidát na nějaké specializované
        zpracování. Ne na nějaký Excel nebo jiný univerzální nástroj.

        Když už univerzální nástroj, tak pak nějakou TSDB (Time series
        database) a nad tím pak nějaký nástroj typu Grafana.

        

        PL

        

        *******************

        

        Dne 8.12.2024 v 12:30 Vláďa Anděl
          napsal(a):

        

        
          
          Dobrý den,

          zase mám volněji a zabývám se
              myšlenkou na dataloger. Celkem běžně používaný formát
              zápisu je textový csv, na každém řádku datum, čas a
              neměřené hodnoty. Dá se to naimportovat do excelu (calcu).
              Jenže tam je počet řádků omezený na 2^20 a vždycky jsem si
              říkal, jak je ten calc pomalý. Tady jsem si přečet
              vysvětlení https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648
              že vlastně ta buňka neobsahuje jen to číslo, které jsem do
              ní vložil, ale má spoustu dalších vlastností, což pak
              nejen žere paměť, ale zpomaluje jakoukoliv manipulaci -
              třeba vykreslení grafu.

          Co bych potřeboval -
              vzorkovací kmitočet 2 KHz a dobu záznamu aspoň týden.
              Milion řádků v excelu by bylo 500 vteřin záznamu, to by
              bylo strašně rozkouskované. Potřebuju zapisovat dva kanály
              (napětí, proud) a tak mě napadlo použít formát wav
              souboru. Zapíše se hlavička a pak už se tam hrnou data dva
              bajty levý, dva bajty pravý. Audacity s velkým balíkem dat
              umí, dokáže hledat maxima (o ty mi právě jde), jen nevím,
              jestli vezme vzorkování 2 KHz. Ale jde jen o měřítko času,
              není to až tak zásadní. Problém je tam v tom, že graf nemá
              nějaké rozumné měřítko. Vidím sice průběh, ale jsou tam
              čtyři čárky na celý rozsah. 

            

          Je něco jiného na zobrazení
              tak velkého balíku dat, aby to ukazovalo nějaké rozumné
              měřítko a aby tam bylo případně i nějaké kurzorové
              odměřování? Pokud možno free? Taky si to mohu celé zhruba
              zobrazit v audacity a pak jen ty vybrané kousky
              vystříhnout, uložit jako wav, převést do csv a zobrazit v
              excelu. Lepší by bylo, kdyby to nějaký nástroj uměl přímo.

        
      
      

    
    

  

_______________________________________________

HW-list mailing list  -  sponsored by www.HW.cz

Hw-list na list.hw.cz

http://list.hw.cz/mailman/listinfo/hw-list