Re: vykreslování grafů z velkého množství dat
Jindrich Fucik
fulda na seznam.cz
Pondělí Prosinec 9 19:16:11 CET 2024
Ahoj,
nic proti, ale Vláďa v tomto mailu píše, že data už jsou na SD kartě:
https://list.hw.cz/pipermail/hw-list/2024-December/578128.html
Popisuje i jak se tam dostala a tak dále. Takže vstupem je fakt, že máme
soubor, který obsahuje dva kanály šestnáctibitových dat. Všechno předtím
už se stalo a není potřeba to řešit.
Teď je na řadě je analyzovat.
Já si myslím, že LabVIEW s tím bude v pohodě a zvládne to. Druhá možnost
je ten picoscope.
Tak a ještě bych se rád dopočítal k počtu vzorků.
Týden má 7 dní, den má 24 hodin, hodina má 7200 sec, sekunda má 2000
vzorků. Tedy 2419200000 vzorků ~ 2,5 giga vzorků
Hrabat se v takovém množství dat mi nepřijde zase tak strašné. Je to jen
10 gigabajtů dat, to se vejde do paměti.
Dne 09.12.2024 v 16:45 Petr Labaj napsal(a):
> Ten úkol má 2 roviny.
> Jeden je rychlost sběru dat, které to musí bez zakoktání ukládat.
> A druhá je pak výsledný objem dat a práce s ním.
>
> Osciloskop určitě dokáže sejmout rychle nějaké vzorky, je to jeho práce.
> Ale zase většinou není dělaný ta to, aby to kontinuálně snímal několik dní.
> A má na to snímání a bufferování dat příslušný HW.
>
> On to podobně v jenom z předchozích mailů pojal pan Hudeček. Kde spočítal,
> že je to za sekundu nějaký objem dat, a že to tedy nic není.
>
> Ale to nejsou data za sekundu. To by byly po nějakém bufferování nějakým
> HW. Třeba to ESP32, od Číňana za 45 Kč holý modul nebo za 100 Kč i s
> deskou.
> Pak už to samozřejmě pro PC není řádný problém.
> Ale problém může nastat, pokud ta data chodí pravidelně každých 500us.
> A pokud se na chvíli PC zaobírá něčím jiným, tak mu nebufferovaný vzorek
> může utéct.
>
> Je to problém, který se řeší třeba při SW ovládání CNC. Tam těch dat, které
> PC pošle driveru krokáčů nebo serv, není moc. Kdyby se to spočítalo jako
> kB za sekundu, tak je to sranda.
> Ale jde tam o přesné načasování toho odesílání. A často to třeba ani
> moderní
> nabušené PC se spoustou GHz nezvládá, ale nějaký starý střep s pomalým
> Atomem klidně ano. Jen proto, že má líp vyřešené latence, resp. jitter
> té latence.
>
> Prostě podle mě PC s Windows není pro real-time aplikace vhodná platforma.
> A stejně tak podle mě u velkých dat stojí zato se zamyslet jak s nimi
> nakládat.
> A ne je jenom zednicky hrnout na velkou hromadu s tím, že "výkonný stroj
> to zvládne". A když něco nestíhá, tak přidáme GHz a GByte, místo abychom
> se zamysleli.
>
> Ze školy (asi ze základky) si to pamatuju jako rozdíl mezi intenzívním a
> extenzivním
> rozvojem zemědělství. U intenzivního se snažíme mít vysoké výnosy a malé
> ztráty.
> U extenzivního prostě osázíme větší plochu a kašleme na efektivitu.
>
> PL
>
> PS. Nicméně mezitím se vysvětlilo, že to pan Anděl bude mít bufferované
> nějakým
> svým oblíbeným Silabsem a ukládat dedikovaným HW.
> Takže už zbývá jen druhá rovina problému - práce s obrovskou spoustou
> dat, ze
> kterých zřejmě 99.95% bude k ničemu.
> Takže kdyby to ukládání řešil něčím inteligentním (třeba tím BluePill
> nebo ESP32),
> tak by mohl předzpracování řešit hned na něm a ukládat jen zajímavé sekce.
> A mít tak možnost s rozumným množstvím dat udělal záznam třeba celý rok,
> případně furt.
>
> ******************
>
> Dne 9.12.2024 v 13:55 Jindrich Fucik napsal(a):
>> Já v tom nevidím žádný problém.
>> Když se podívám na to co prohazuju skrz USB při každém videocallu, tak
>> přenášet a ukládat 4kB za vteřinu je naprosté nic.
>> Takže jak jsem psal hned na začátku - pro software pro digitální
>> osciloskopy je to celkem přijatelná míra informací. Kolik toho
>> nasampluje normální osciloskop? 40 mega samplů je spíš základ, 10 bitů
>> na vzorek je spíš horší osciloskop, dva kanály zase úplně běžně. Takže
>> Vláďa se pokouší přenášet 1000x méně informace za vteřinu.
>>
>> ---------- Původní e-mail ----------
>> Od: Petr Labaj <labaj na volny.cz>
>> Komu: hw-list na list.hw.cz
>> Datum: 9. 12. 2024 4:45:42
>> Předmět: Re: vykreslování grafů z velkého množství dat
>>
>> No proč ne. Náš zákazník, náš pán.
>>
>> Já bych to tak ale určitě nedělal.
>>
>> Ukládat místo 10GB dat zbytečně třeba 50GB - děkuji, neprosím si.
>>
>>
>> PL
>>
>>
>> *****************
>>
>>
>> Dne 9.12.2024 v 4:30 Pavel Hudeček
>> napsal(a):
>>
>>
>> Já bych si teda s rychlostí ukládání TXT dat ve windows nedělal
>> starosti. Na ukládání dat z detektorů částic máme textové i
>> binární, zákazníci slině preferujou textové. A vůbec jim nevadí,
>> že je dat tolik, že to vytíží USB 2 na 100 %, nebo jiný zas vesele
>> ukládaj text z dat co plně vytížily Gb ethernet a ani s USB3 není
>> problém. Až když je těch USB 3 víc ks paralelně, začínaj speciální
>> přístupy.
>>
>>
>> PH
>>
>
> _______________________________________________
> HW-list mailing list - sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
Další informace o konferenci Hw-list