<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body>
Já bych si teda s rychlostí ukládání TXT dat ve windows nedělal
starosti. Na ukládání dat z detektorů částic máme textové i binární,
zákazníci slině preferujou textové. A vůbec jim nevadí, že je dat
tolik, že to vytíží USB 2 na 100 %, nebo jiný zas vesele ukládaj
text z dat co plně vytížily Gb ethernet a ani s USB3 není problém.
Až když je těch USB 3 víc ks paralelně, začínaj speciální přístupy.<br>
<br>
PH<br>
<br>
<div class="moz-cite-prefix">Dne 08.12.2024 v 23:56 Petr Labaj
napsal(a):<br>
</div>
<blockquote type="cite"
cite="mid:d81f19ec-20a4-32b2-690a-65894fcedd1b@volny.cz">
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
Přijde mi to hodně dat a hodně rychle na to, aby se používaly
nějaké univerzální prostředky a postupy.<br>
Je to přes 1.2 miliardy řádků. To už je (podle mě) hodně na to,
aby se plýtvalo místem na nějaký neúsporný textový formát dat,
který znamená nárůst proti syrovým datům aspoň na 4-násobek.<br>
Navíc frekvence zápisu 2kHz možná může být už na PC s Windows s
jeho latencemi občas moc.<br>
<br>
Já bych tam strčil nějaký ESP32 nebo něco podobného, který by to
sbíral tou rychlostí 2kHz a posílal do PC třeba jednou za sekundu
nebo třeba 10 sekund.<br>
V nějakém proprietárním úsporném formátu.<br>
A vyhodnocení nad tím si udělat uživatelsky.<br>
<br>
Trochu mi uniká jak v grafu s miliardou 4-položek budete očima
něco hledat. Na to je snad lepší nějaké předzpracování procesorem,
který vyrobí průměry a označí maxima nebo jinak významné body a
tak.<br>
<br>
Připadá mi to jako jednoznačný kandidát na nějaké specializované
zpracování. Ne na nějaký Excel nebo jiný univerzální nástroj.<br>
Když už univerzální nástroj, tak pak nějakou TSDB (Time series
database) a nad tím pak nějaký nástroj typu Grafana.<br>
<br>
PL<br>
<br>
*******************<br>
<br>
<div class="moz-cite-prefix">Dne 8.12.2024 v 12:30 Vláďa Anděl
napsal(a):<br>
</div>
<blockquote type="cite"
cite="mid:c1e09580-2ef3-4c63-8e40-e19f8307fbcc@vaelektronik.cz">
<meta http-equiv="content-type"
content="text/html; charset=UTF-8">
<p><font face="Times New Roman">Dobrý den,</font></p>
<p><font face="Times New Roman">zase mám volněji a zabývám se
myšlenkou na dataloger. Celkem běžně používaný formát zápisu
je textový csv, na každém řádku datum, čas a neměřené
hodnoty. Dá se to naimportovat do excelu (calcu). Jenže tam
je počet řádků omezený na 2^20 a vždycky jsem si říkal, jak
je ten calc pomalý. Tady jsem si přečet vysvětlení <a
class="moz-txt-link-freetext"
href="https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648"
moz-do-not-send="true">https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648</a>
že vlastně ta buňka neobsahuje jen to číslo, které jsem do
ní vložil, ale má spoustu dalších vlastností, což pak nejen
žere paměť, ale zpomaluje jakoukoliv manipulaci - třeba
vykreslení grafu.</font></p>
<p><font face="Times New Roman">Co bych potřeboval - vzorkovací
kmitočet 2 KHz a dobu záznamu aspoň týden. Milion řádků v
excelu by bylo 500 vteřin záznamu, to by bylo strašně
rozkouskované. Potřebuju zapisovat dva kanály (napětí,
proud) a tak mě napadlo použít formát wav souboru. Zapíše se
hlavička a pak už se tam hrnou data dva bajty levý, dva
bajty pravý. Audacity s velkým balíkem dat umí, dokáže
hledat maxima (o ty mi právě jde), jen nevím, jestli vezme
vzorkování 2 KHz. Ale jde jen o měřítko času, není to až tak
zásadní. Problém je tam v tom, že graf nemá nějaké rozumné
měřítko. Vidím sice průběh, ale jsou tam čtyři čárky na celý
rozsah. <br>
</font></p>
<p><font face="Times New Roman">Je něco jiného na zobrazení tak
velkého balíku dat, aby to ukazovalo nějaké rozumné měřítko
a aby tam bylo případně i nějaké kurzorové odměřování? Pokud
možno free? Taky si to mohu celé zhruba zobrazit v audacity
a pak jen ty vybrané kousky vystříhnout, uložit jako wav,
převést do csv a zobrazit v excelu. Lepší by bylo, kdyby to
nějaký nástroj uměl přímo.</font></p>
</blockquote>
</blockquote>
</body>
</html>