RE: Uložení velkého množství real čísel

[Róbert Šuška]

Ja som to skorej myslel tak, že spracovať tie data je podstatne
jednoduchšie, keď budú uložené štruktúrovane ako ich parsovať z nejakého
strašného stringu. 
Áno, písal si, že sa nebudú s nimi robiť žiadne db operácie. Ja len dodám,
zatiaľ... Podľa mňa je to čo som navrhol aj slušnejšie k tej databáze :). 
Neviem akým spôsobom sa vytiahnuté dáta spracovávajú a ako sa generuje ten
graf, ale grafy sa dajú napojiť na hotový dataset z ktorého sa čerpajú
dáta... a zase sme pri tom, že nieje veľmi rozumné mať to v db ako string a
že sa asi časom db operáciám nevyhneš. Prečo si nenechať vygenerovať dataset
serverom, keď ho môžem zložito generovať v pamäti na klientovi? To už môžeš
ten mega string ukladat do txt súborov niekam na disk, vyjde to rovnako.
Čo sa týka rýchlosti insertov, je pravda, že keď sa posiela z klienta po
sieti na server veľké množstvo insertov, že je to pomalšie. Neviem presne
ako v postgrese, ale v niektorých db systémoch sa dajú vypnút checky, indexy
a triggery predtým ako začnem robiť veľké vkladanie/aktualizáciu dát a tým
sa dá celá operácia urýchliť. Samozrejme vypíname len to, čo sa vypnúť môže
a čo zdržuje, rôzne kontroly atď. Potom ďalším urýchlením je možnosť
vytvoriť z dát script a ten spustiť priamo na servery. Tým sa to tiež dá
podstatne urýchliť. Na klientovi vygenerujem script nahrám ho na server
(ftp, http...) a potom ho na ňom spustím a zmažem. Možností je viac, treba
si len vybrať.

Robo

-----Original Message-----
From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr Stehlik
Sent: Thursday, August 07, 2014 7:51 PM
To: HW-news
Subject: Re: Uložení velkého množství real čísel

Chtěl bych to uložit nejlépe jedním insertem ať to proběhne rychle.
Dělat 10 000 insertu MN se mi nejeví jako efektívní, když se vlastně s 
těmi daty nebudou dělat žádné
databázové operace.

Dne 7.8.2014 19:26, Róbert Šuška napsal(a):
> Ahoj,
>
> Čo takto to uložiť po riadkoch do tabuľky? Bude v nej to Tvoje pole typu
> REAL a ďalšie pole nejaký "guid", ktorý bude zoskupovať tých 10000 hodnôt
k
> sebe ? Nemusí to byť hneď guid, to ma len tak napadlo, môže to byť kľudne
> dátum a čas, len aby sa potom nestalo, že sa v jednu chvíľu uložia data z
> rôznych meraní pod jedným dátumom a časom...
>
> Robo
>
>
> -----Original Message-----
> From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr
Stehlik
> Sent: Thursday, August 07, 2014 6:46 PM
> To: HW-news
> Subject: OT:Uložení velkého množství real čísel
>
>
> Potřebuji z měření uložit najednou velké množství čísel typu real, balík
> cca 10 000 hodnot.
> Data "vznikají" najednou pravidelně  v intervalu cca 1 minuta.
> K jejich prohlížení dochází sporadicky a po celém balíku.
> Na základě obsažených hodnot není prováděn žádný select, data slouží
> pouze k vytvoření 3D grafu.
> Případný výběr je prováděn pouze podle ID nebo datumu.
> Databáze je postgesql již existuje a sbírá průměrné hodnoty, nyní je
> požadavek archivovat i hodnoty z měření.
> Momentálně mě napadá jen vytvořit extrémně dlouhý string a ten uložit
> jako text a případně ho zpětně rozparsovat.
> Jak se s tím nejlépe naložit, jaký doporučujete použít datový typ a jak
> je uložit?
> Petr
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
>
>

_______________________________________________
HW-list mailing list  -  sponsored by www.HW.cz
Hw-list na list.hw.cz
http://list.hw.cz/mailman/listinfo/hw-list