Re: vykreslování grafů z velkého množství dat

[Pavel Hudeček]

Před 15 lety byly sice počítače pomalejší, ale EKG, to je tak 6 kanálů, ne?
Takže 6x dejme tomu 10 B, to je 60 B. 1 kHz, takže 60 kB/s. To je nic.
Tam musel bejt nějakej fatal error. Možná použití klasického sériáku, 
ten má pidibuffer. Nebo potíže s driverama.

Tehdy bych použil RS485 a u PC převodník na USB, dnes ethernet. Obojí to 
muselo s přehledem zvládnout i tehdy.

Možnej je ale i nějakej jinej problém. Je fakt, že téma Doporučte 
sériákový terminál začalo zjištěním, že RealTerm má problém 1 za 4 
sekundy zpracovat řádek kolem 250 znaků... Teď mi tu od tý doby trvale 
běží YAT a nemá problém.

Zato jestli Excel nebo Calc, to je velkej rozdíl. Calc je z nějakého 
záhadného důvodu na větší množství dat nepoužitelnej.

PH

Dne 09.12.2024 v 7:32 Jan Waclawek napsal(a):
> [preposielam]
>
> Ahojte,
> pred nejakymi 15-rokmi som robil na podobnom probleme a to prenos EKG na 1kHz, takze nieco si z toho este pamatam. Zdanlivo trivialny problem, ktory sa zda byt jednoducho riesitelny. Avsak, ked sa clovek do toho pusti, tak zisti, ze to az take trivialne nie je...
> Ako by som to robil dnes ja, zobral by som raspberry pi s xx GB ram, pak dual-port ram a na drúhom porte "digitizer 2kHz". Toto riesenie vyriesi vsetky problemy s prenosom dat do pomaleho PC s Windowsom. Ono to ma este samozrejme sw cast a tu by som sa zase inspiroval starymi 20-rocnymi scopmi HP, ktore prenasali len hlavicku s nastaveniami a potom uz len integerovske data z prevodnika. A takto sa to robi uz najmenej 25-rokov, sudiac podla nejakej starej APP note od Analog Devices, ktoru som nasiel. Len clovek si to riesenie musi ubastlit sam. Neviem, ci to dokazu urobit aj profi-pristroje. Mozno ano. A ked to uz bude v PC tak tam je uz jedno, ci excell, calc, origin ci nejaky specializovany matematicky sw.
>
> A.
>
> Přijde mi to hodně dat a hodně rychle na to, aby se používaly nějaké
> univerzální prostředky a postupy.
> Je to přes 1.2 miliardy řádků. To už je (podle mě) hodně na to, aby se
> plýtvalo místem na nějaký neúsporný textový formát dat, který znamená
> nárůst proti syrovým datům aspoň na 4-násobek.
> Navíc frekvence zápisu 2kHz možná může být už na PC s Windows s jeho
> latencemi občas moc.
>
> Já bych tam strčil nějaký ESP32 nebo něco podobného, který by to sbíral
> tou rychlostí 2kHz a posílal do PC třeba jednou za sekundu nebo třeba 10
> sekund.
> V nějakém proprietárním úsporném formátu.
> A vyhodnocení nad tím si udělat uživatelsky.
>
> Trochu mi uniká jak v grafu s miliardou 4-položek budete očima něco
> hledat. Na to je snad lepší nějaké předzpracování procesorem, který
> vyrobí průměry a označí maxima nebo jinak významné body a tak.
>
> Připadá mi to jako jednoznačný kandidát na nějaké specializované
> zpracování. Ne na nějaký Excel nebo jiný univerzální nástroj.
> Když už univerzální nástroj, tak pak nějakou TSDB (Time series database)
> a nad tím pak nějaký nástroj typu Grafana.
>
> PL
>
> *******************
>
> Dne 8.12.2024 v 12:30 Vláďa Anděl napsal(a):
>> Dobrý den,
>>
>> zase mám volněji a zabývám se myšlenkou na dataloger. Celkem běžně
>> používaný formát zápisu je textový csv, na každém řádku datum, čas a
>> neměřené hodnoty. Dá se to naimportovat do excelu (calcu). Jenže tam
>> je počet řádků omezený na 2^20 a vždycky jsem si říkal, jak je ten
>> calc pomalý. Tady jsem si přečet vysvětlení
>> https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648 
>> že vlastně ta buňka neobsahuje jen to číslo, které jsem do ní vložil,
>> ale má spoustu dalších vlastností, což pak nejen žere paměť, ale
>> zpomaluje jakoukoliv manipulaci - třeba vykreslení grafu.
>>
>> Co bych potřeboval - vzorkovací kmitočet 2 KHz a dobu záznamu aspoň
>> týden. Milion řádků v excelu by bylo 500 vteřin záznamu, to by bylo
>> strašně rozkouskované. Potřebuju zapisovat dva kanály (napětí, proud)
>> a tak mě napadlo použít formát wav souboru. Zapíše se hlavička a pak
>> už se tam hrnou data dva bajty levý, dva bajty pravý. Audacity s
>> velkým balíkem dat umí, dokáže hledat maxima (o ty mi právě jde), jen
>> nevím, jestli vezme vzorkování 2 KHz. Ale jde jen o měřítko času, není
>> to až tak zásadní. Problém je tam v tom, že graf nemá nějaké rozumné
>> měřítko. Vidím sice průběh, ale jsou tam čtyři čárky na celý rozsah.
>>
>> Je něco jiného na zobrazení tak velkého balíku dat, aby to ukazovalo
>> nějaké rozumné měřítko a aby tam bylo případně i nějaké kurzorové
>> odměřování? Pokud možno free? Taky si to mohu celé zhruba zobrazit v
>> audacity a pak jen ty vybrané kousky vystříhnout, uložit jako wav,
>> převést do csv a zobrazit v excelu. Lepší by bylo, kdyby to nějaký
>> nástroj uměl přímo.
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <http://list.hw.cz/pipermail/hw-list/attachments/20241209/53d65bd3/attachment.htm>