RE: Uložení velkého množství real čísel

[Róbert Šuška]

Tak potom ma napadá vygenerovať si z tých hodnôt xml súbor. Nejako tie dáta
pekne popísať do štruktúry, aby sa v tom dalo trochu vyznať. A celé to xmlko
uložiť do db ako súbor.

Tu som našiel nejaký postup ako na to v postgrese:
http://www.fuzzy.cz/cs/clanky/ukladani-souboru-do-postgresql-databaze/

neviem do akej miery sú tie informácie relevantné. Postgres nepoužívam. Ale
dá sa to krásne uložiť jedným dotazom a jedným dotazom vytiahnuť. A na xml
existuje celá rada parserov, ktoré majú hromady metód na jednoduché a
pomerne rýchle spracovanie.

Robo

-----Original Message-----
From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr Stehlik
Sent: Thursday, August 07, 2014 8:55 PM
To: HW-news
Subject: Re: Uložení velkého množství real čísel

Ony ty operace jsou už vlastně udělané a ukládají se. Nyní je požadavek 
na ukládání zdrojových dat, pro kontrolu.
Nad tím ukládáním do txt jsem uvažoval, jediné co mne vede k ukládání do 
db je že k stavájícím datům si chodí
uživatel do db, tak proč zřizovat další připojení, sdílení dat. A 
znamenalo by to vytvoření cca 900 tisíc souboru za rok.
Prostě to ukládání txt se mi jeví trochu stupidní.

Ještě jsem zapomněl, inserty mohu předávat pouze přes ODBC a pouze jako 
řetězec, ten insert musí být celý v řetězci.



Dne 7.8.2014 20:31, Róbert Šuška napsal(a):
> Ja som to skorej myslel tak, že spracovať tie data je podstatne
> jednoduchšie, keď budú uložené štruktúrovane ako ich parsovať z nejakého
> strašného stringu.
> Áno, písal si, že sa nebudú s nimi robiť žiadne db operácie. Ja len dodám,
> zatiaľ... Podľa mňa je to čo som navrhol aj slušnejšie k tej databáze :).
> Neviem akým spôsobom sa vytiahnuté dáta spracovávajú a ako sa generuje ten
> graf, ale grafy sa dajú napojiť na hotový dataset z ktorého sa čerpajú
> dáta... a zase sme pri tom, že nieje veľmi rozumné mať to v db ako string
a
> že sa asi časom db operáciám nevyhneš. Prečo si nenechať vygenerovať
dataset
> serverom, keď ho môžem zložito generovať v pamäti na klientovi? To už
môžeš
> ten mega string ukladat do txt súborov niekam na disk, vyjde to rovnako.
> Čo sa týka rýchlosti insertov, je pravda, že keď sa posiela z klienta po
> sieti na server veľké množstvo insertov, že je to pomalšie. Neviem presne
> ako v postgrese, ale v niektorých db systémoch sa dajú vypnút checky,
indexy
> a triggery predtým ako začnem robiť veľké vkladanie/aktualizáciu dát a tým
> sa dá celá operácia urýchliť. Samozrejme vypíname len to, čo sa vypnúť
môže
> a čo zdržuje, rôzne kontroly atď. Potom ďalším urýchlením je možnosť
> vytvoriť z dát script a ten spustiť priamo na servery. Tým sa to tiež dá
> podstatne urýchliť. Na klientovi vygenerujem script nahrám ho na server
> (ftp, http...) a potom ho na ňom spustím a zmažem. Možností je viac, treba
> si len vybrať.
>
> Robo
>
> -----Original Message-----
> From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr
Stehlik
> Sent: Thursday, August 07, 2014 7:51 PM
> To: HW-news
> Subject: Re: Uložení velkého množství real čísel
>
> Chtěl bych to uložit nejlépe jedním insertem ať to proběhne rychle.
> Dělat 10 000 insertu MN se mi nejeví jako efektívní, když se vlastně s
> těmi daty nebudou dělat žádné
> databázové operace.
>
> Dne 7.8.2014 19:26, Róbert Šuška napsal(a):
>> Ahoj,
>>
>> Čo takto to uložiť po riadkoch do tabuľky? Bude v nej to Tvoje pole typu
>> REAL a ďalšie pole nejaký "guid", ktorý bude zoskupovať tých 10000 hodnôt
> k
>> sebe ? Nemusí to byť hneď guid, to ma len tak napadlo, môže to byť kľudne
>> dátum a čas, len aby sa potom nestalo, že sa v jednu chvíľu uložia data z
>> rôznych meraní pod jedným dátumom a časom...
>>
>> Robo
>>
>>
>> -----Original Message-----
>> From: Hw-list [mailto:hw-list-bounces na list.hw.cz] On Behalf Of Petr
> Stehlik
>> Sent: Thursday, August 07, 2014 6:46 PM
>> To: HW-news
>> Subject: OT:Uložení velkého množství real čísel
>>
>>
>> Potřebuji z měření uložit najednou velké množství čísel typu real, balík
>> cca 10 000 hodnot.
>> Data "vznikají" najednou pravidelně  v intervalu cca 1 minuta.
>> K jejich prohlížení dochází sporadicky a po celém balíku.
>> Na základě obsažených hodnot není prováděn žádný select, data slouží
>> pouze k vytvoření 3D grafu.
>> Případný výběr je prováděn pouze podle ID nebo datumu.
>> Databáze je postgesql již existuje a sbírá průměrné hodnoty, nyní je
>> požadavek archivovat i hodnoty z měření.
>> Momentálně mě napadá jen vytvořit extrémně dlouhý string a ten uložit
>> jako text a případně ho zpětně rozparsovat.
>> Jak se s tím nejlépe naložit, jaký doporučujete použít datový typ a jak
>> je uložit?
>> Petr
>> _______________________________________________
>> HW-list mailing list  -  sponsored by www.HW.cz
>> Hw-list na list.hw.cz
>> http://list.hw.cz/mailman/listinfo/hw-list
>> _______________________________________________
>> HW-list mailing list  -  sponsored by www.HW.cz
>> Hw-list na list.hw.cz
>> http://list.hw.cz/mailman/listinfo/hw-list
>>
>>
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list
>
>

_______________________________________________
HW-list mailing list  -  sponsored by www.HW.cz
Hw-list na list.hw.cz
http://list.hw.cz/mailman/listinfo/hw-list