RE: Uložení velkého množství real čísel

[Róbert Šuška]

Teraz som si ešte uvedomil, že si písal, že je možné to predať len ako
reťazec cez ODBC. Tak potom obsah toho xml súboru by som vložil do insertu.
Resp. pokiaľ chcem takto uložiť binárny obsah, najprv to zakódujem do hexa a
tak to uložím. Potom po výbere dát z db to z hexa prekódujem do nejakého
streamu a ten spracujem.

Robo

-----Original Message-----
From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr Stehlik
Sent: Thursday, August 07, 2014 8:55 PM
To: HW-news
Subject: Re: Uložení velkého množství real čísel

Ony ty operace jsou už vlastně udělané a ukládají se. Nyní je požadavek 
na ukládání zdrojových dat, pro kontrolu.
Nad tím ukládáním do txt jsem uvažoval, jediné co mne vede k ukládání do 
db je že k stavájícím datům si chodí
uživatel do db, tak proč zřizovat další připojení, sdílení dat. A 
znamenalo by to vytvoření cca 900 tisíc souboru za rok.
Prostě to ukládání txt se mi jeví trochu stupidní.

Ještě jsem zapomněl, inserty mohu předávat pouze přes ODBC a pouze jako 
řetězec, ten insert musí být celý v řetězci.



Dne 7.8.2014 20:31, Róbert Šuška napsal(a):
> Ja som to skorej myslel tak, že spracovať tie data je podstatne
> jednoduchšie, keď budú uložené štruktúrovane ako ich parsovať z nejakého
> strašného stringu.
> Áno, písal si, že sa nebudú s nimi robiť žiadne db operácie. Ja len dodám,
> zatiaľ... Podľa mňa je to čo som navrhol aj slušnejšie k tej databáze :).
> Neviem akým spôsobom sa vytiahnuté dáta spracovávajú a ako sa generuje ten
> graf, ale grafy sa dajú napojiť na hotový dataset z ktorého sa čerpajú
> dáta... a zase sme pri tom, že nieje veľmi rozumné mať to v db ako string
a
> že sa asi časom db operáciám nevyhneš. Prečo si nenechať vygenerovať
dataset
> serverom, keď ho môžem zložito generovať v pamäti na klientovi? To už
môžeš
> ten mega string ukladat do txt súborov niekam na disk, vyjde to rovnako.
> Čo sa týka rýchlosti insertov, je pravda, že keď sa posiela z klienta po
> sieti na server veľké množstvo insertov, že je to pomalšie. Neviem presne
> ako v postgrese, ale v niektorých db systémoch sa dajú vypnút checky,
indexy
> a triggery predtým ako začnem robiť veľké vkladanie/aktualizáciu dát a tým
> sa dá celá operácia urýchliť. Samozrejme vypíname len to, čo sa vypnúť
môže
> a čo zdržuje, rôzne kontroly atď. Potom ďalším urýchlením je možnosť
> vytvoriť z dát script a ten spustiť priamo na servery. Tým sa to tiež dá
> podstatne urýchliť. Na klientovi vygenerujem script nahrám ho na server
> (ftp, http...) a potom ho na ňom spustím a zmažem. Možností je viac, treba
> si len vybrať.
>
> Robo
>
> -----Original Message-----
> From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr
Stehlik
> Sent: Thursday, August 07, 2014 7:51 PM
> To: HW-news
> Subject: Re: Uložení velkého množství real čísel
>
> Chtěl bych to uložit nejlépe jedním insertem ať to proběhne rychle.
> Dělat 10 000 insertu MN se mi nejeví jako efektívní, když se vlastně s
> těmi daty nebudou dělat žádné
> databázové operace.
>
> Dne 7.8.2014 19:26, Róbert Šuška napsal(a):
>> Ahoj,
>>
>> Čo takto to uložiť po riadkoch do tabuľky? Bude v nej to Tvoje pole typu
>> REAL a ďalšie pole nejaký "guid", ktorý bude zoskupovať tých 10000 hodnôt
> k
>> sebe ? Nemusí to byť hneď guid, to ma len tak napadlo, môže to byť kľudne
>> dátum a čas, len aby sa potom nestalo, že sa v jednu chvíľu uložia data z
>> rôznych meraní pod jedným dátumom a časom...
>>
>> Robo
>>
>>
>> -----Original Message-----
>> From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr
> Stehlik
>> Sent: Thursday, August 07, 2014 6:46 PM
>> To: HW-news
>> Subject: OT:Uložení velkého množství real čísel
>>
>>
>> Potřebuji z měření uložit najednou velké množství čísel typu real, balík
>> cca 10 000 hodnot.
>> Data "vznikají" najednou pravidelně  v intervalu cca 1 minuta.
>> K jejich prohlížení dochází sporadicky a po celém balíku.
>> Na základě obsažených hodnot není prováděn žádný select, data slouží
>> pouze k vytvoření 3D grafu.
>> Případný výběr je prováděn pouze podle ID nebo datumu.
>> Databáze je postgesql již existuje a sbírá průměrné hodnoty, nyní je
>> požadavek archivovat i hodnoty z měření.
>> Momentálně mě napadá jen vytvořit extrémně dlouhý string a ten uložit
>> jako text a případně ho zpětně rozparsovat.
>> Jak se s tím nejlépe naložit, jaký doporučujete použít datový typ a jak
>> je uložit?
>> Petr
>> _______________________________________________
>> HW-list mailing list  -  sponsored by www.HW.cz
>> Hw-list na list.hw.cz
>> http://list.hw.cz/mailman/listinfo/hw-list
>> _______________________________________________
>> HW-list mailing list  -  sponsored by www.HW.cz
>> Hw-list na list.hw.cz
>> http://list.hw.cz/mailman/listinfo/hw-list
>>
>>
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
>
>

_______________________________________________
HW-list mailing list  -  sponsored by www.HW.cz
Hw-list na list.hw.cz
http://list.hw.cz/mailman/listinfo/hw-list