<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body>
No proč ne. Náš zákazník, náš pán.<br>
Já bych to tak ale určitě nedělal.<br>
Ukládat místo 10GB dat zbytečně třeba 50GB - děkuji, neprosím si.<br>
<br>
PL<br>
<br>
*****************<br>
<br>
<div class="moz-cite-prefix">Dne 9.12.2024 v 4:30 Pavel Hudeček
napsal(a):<br>
</div>
<blockquote type="cite"
cite="mid:05f0a332-69a8-4a93-9010-bb84eba7bd86@seznam.cz">
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
Já bych si teda s rychlostí ukládání TXT dat ve windows nedělal
starosti. Na ukládání dat z detektorů částic máme textové i
binární, zákazníci slině preferujou textové. A vůbec jim nevadí,
že je dat tolik, že to vytíží USB 2 na 100 %, nebo jiný zas vesele
ukládaj text z dat co plně vytížily Gb ethernet a ani s USB3 není
problém. Až když je těch USB 3 víc ks paralelně, začínaj speciální
přístupy.<br>
<br>
PH<br>
<br>
<div class="moz-cite-prefix">Dne 08.12.2024 v 23:56 Petr Labaj
napsal(a):<br>
</div>
<blockquote type="cite"
cite="mid:d81f19ec-20a4-32b2-690a-65894fcedd1b@volny.cz">
<meta http-equiv="Content-Type" content="text/html;
charset=UTF-8">
Přijde mi to hodně dat a hodně rychle na to, aby se používaly
nějaké univerzální prostředky a postupy.<br>
Je to přes 1.2 miliardy řádků. To už je (podle mě) hodně na to,
aby se plýtvalo místem na nějaký neúsporný textový formát dat,
který znamená nárůst proti syrovým datům aspoň na 4-násobek.<br>
Navíc frekvence zápisu 2kHz možná může být už na PC s Windows s
jeho latencemi občas moc.<br>
<br>
Já bych tam strčil nějaký ESP32 nebo něco podobného, který by to
sbíral tou rychlostí 2kHz a posílal do PC třeba jednou za
sekundu nebo třeba 10 sekund.<br>
V nějakém proprietárním úsporném formátu.<br>
A vyhodnocení nad tím si udělat uživatelsky.<br>
<br>
Trochu mi uniká jak v grafu s miliardou 4-položek budete očima
něco hledat. Na to je snad lepší nějaké předzpracování
procesorem, který vyrobí průměry a označí maxima nebo jinak
významné body a tak.<br>
<br>
Připadá mi to jako jednoznačný kandidát na nějaké specializované
zpracování. Ne na nějaký Excel nebo jiný univerzální nástroj.<br>
Když už univerzální nástroj, tak pak nějakou TSDB (Time series
database) a nad tím pak nějaký nástroj typu Grafana.<br>
<br>
PL<br>
<br>
*******************<br>
<br>
<div class="moz-cite-prefix">Dne 8.12.2024 v 12:30 Vláďa Anděl
napsal(a):<br>
</div>
<blockquote type="cite"
cite="mid:c1e09580-2ef3-4c63-8e40-e19f8307fbcc@vaelektronik.cz">
<meta http-equiv="content-type" content="text/html;
charset=UTF-8">
<p><font face="Times New Roman">Dobrý den,</font></p>
<p><font face="Times New Roman">zase mám volněji a zabývám se
myšlenkou na dataloger. Celkem běžně používaný formát
zápisu je textový csv, na každém řádku datum, čas a
neměřené hodnoty. Dá se to naimportovat do excelu (calcu).
Jenže tam je počet řádků omezený na 2^20 a vždycky jsem si
říkal, jak je ten calc pomalý. Tady jsem si přečet
vysvětlení <a class="moz-txt-link-freetext"
href="https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648"
moz-do-not-send="true">https://ask.libreoffice.org/t/kdy-bude-zvetsen-maximalni-pocet-radku/62648</a>
že vlastně ta buňka neobsahuje jen to číslo, které jsem do
ní vložil, ale má spoustu dalších vlastností, což pak
nejen žere paměť, ale zpomaluje jakoukoliv manipulaci -
třeba vykreslení grafu.</font></p>
<p><font face="Times New Roman">Co bych potřeboval -
vzorkovací kmitočet 2 KHz a dobu záznamu aspoň týden.
Milion řádků v excelu by bylo 500 vteřin záznamu, to by
bylo strašně rozkouskované. Potřebuju zapisovat dva kanály
(napětí, proud) a tak mě napadlo použít formát wav
souboru. Zapíše se hlavička a pak už se tam hrnou data dva
bajty levý, dva bajty pravý. Audacity s velkým balíkem dat
umí, dokáže hledat maxima (o ty mi právě jde), jen nevím,
jestli vezme vzorkování 2 KHz. Ale jde jen o měřítko času,
není to až tak zásadní. Problém je tam v tom, že graf nemá
nějaké rozumné měřítko. Vidím sice průběh, ale jsou tam
čtyři čárky na celý rozsah. <br>
</font></p>
<p><font face="Times New Roman">Je něco jiného na zobrazení
tak velkého balíku dat, aby to ukazovalo nějaké rozumné
měřítko a aby tam bylo případně i nějaké kurzorové
odměřování? Pokud možno free? Taky si to mohu celé zhruba
zobrazit v audacity a pak jen ty vybrané kousky
vystříhnout, uložit jako wav, převést do csv a zobrazit v
excelu. Lepší by bylo, kdyby to nějaký nástroj uměl přímo.</font></p>
</blockquote>
</blockquote>
<br>
</blockquote>
<br>
</body>
</html>