Re: vykreslování grafů z velkého množství dat

[Petr Labaj]

No proč ne. Náš zákazník, náš pán.
Já bych to tak ale určitě nedělal.
Ukládat místo 10GB dat zbytečně třeba 50GB - děkuji, neprosím si.

PL

*****************

Dne 9.12.2024 v 4:30 Pavel Hudeček napsal(a):
> Já bych si teda s rychlostí ukládání TXT dat ve windows nedělal 
> starosti. Na ukládání dat z detektorů částic máme textové i binární, 
> zákazníci slině preferujou textové. A vůbec jim nevadí, že je dat 
> tolik, že to vytíží USB 2 na 100 %, nebo jiný zas vesele ukládaj text 
> z dat co plně vytížily Gb ethernet a ani s USB3 není problém. Až když 
> je těch USB 3 víc ks paralelně, začínaj speciální přístupy.
>
> PH
>
> Dne 08.12.2024 v 23:56 Petr Labaj napsal(a):
>> Přijde mi to hodně dat a hodně rychle na to, aby se používaly nějaké 
>> univerzální prostředky a postupy.
>> Je to přes 1.2 miliardy řádků. To už je (podle mě) hodně na to, aby 
>> se plýtvalo místem na nějaký neúsporný textový formát dat, který 
>> znamená nárůst proti syrovým datům aspoň na 4-násobek.
>> Navíc frekvence zápisu 2kHz možná může být už na PC s Windows s jeho 
>> latencemi občas moc.
>>
>> Já bych tam strčil nějaký ESP32 nebo něco podobného, který by to 
>> sbíral tou rychlostí 2kHz a posílal do PC třeba jednou za sekundu 
>> nebo třeba 10 sekund.
>> V nějakém proprietárním úsporném formátu.
>> A vyhodnocení nad tím si udělat uživatelsky.
>>
>> Trochu mi uniká jak v grafu s miliardou 4-položek budete očima něco 
>> hledat. Na to je snad lepší nějaké předzpracování procesorem, který 
>> vyrobí průměry a označí maxima nebo jinak významné body a tak.
>>
>> Připadá mi to jako jednoznačný kandidát na nějaké specializované 
>> zpracování. Ne na nějaký Excel nebo jiný univerzální nástroj.
>> Když už univerzální nástroj, tak pak nějakou TSDB (Time series 
>> database) a nad tím pak nějaký nástroj typu Grafana.
>>
>> PL
>>
>> *******************
>>
>> Dne 8.12.2024 v 12:30 Vláďa Anděl napsal(a):
>>>
>>> Dobrý den,
>>>
>>> zase mám volněji a zabývám se myšlenkou na dataloger. Celkem běžně 
>>> používaný formát zápisu je textový csv, na každém řádku datum, čas a 
>>> neměřené hodnoty. Dá se to naimportovat do excelu (calcu). Jenže tam 
>>> je počet řádků omezený na 2^20 a vždycky jsem si říkal, jak je ten 
>>> calc pomalý. Tady jsem si přečet vysvětlení 
>>> https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648 
>>> že vlastně ta buňka neobsahuje jen to číslo, které jsem do ní 
>>> vložil, ale má spoustu dalších vlastností, což pak nejen žere paměť, 
>>> ale zpomaluje jakoukoliv manipulaci - třeba vykreslení grafu.
>>>
>>> Co bych potřeboval - vzorkovací kmitočet 2 KHz a dobu záznamu aspoň 
>>> týden. Milion řádků v excelu by bylo 500 vteřin záznamu, to by bylo 
>>> strašně rozkouskované. Potřebuju zapisovat dva kanály (napětí, 
>>> proud) a tak mě napadlo použít formát wav souboru. Zapíše se 
>>> hlavička a pak už se tam hrnou data dva bajty levý, dva bajty pravý. 
>>> Audacity s velkým balíkem dat umí, dokáže hledat maxima (o ty mi 
>>> právě jde), jen nevím, jestli vezme vzorkování 2 KHz. Ale jde jen o 
>>> měřítko času, není to až tak zásadní. Problém je tam v tom, že graf 
>>> nemá nějaké rozumné měřítko. Vidím sice průběh, ale jsou tam čtyři 
>>> čárky na celý rozsah.
>>>
>>> Je něco jiného na zobrazení tak velkého balíku dat, aby to ukazovalo 
>>> nějaké rozumné měřítko a aby tam bylo případně i nějaké kurzorové 
>>> odměřování? Pokud možno free? Taky si to mohu celé zhruba zobrazit v 
>>> audacity a pak jen ty vybrané kousky vystříhnout, uložit jako wav, 
>>> převést do csv a zobrazit v excelu. Lepší by bylo, kdyby to nějaký 
>>> nástroj uměl přímo.
>>>
>
------------- další část ---------------
HTML příloha byla odstraněna...
URL: <http://list.hw.cz/pipermail/hw-list/attachments/20241209/fcda359c/attachment.htm>