OT:Fragmentace

Pondělí Srpen 3 09:49:31 CEST 2020

Dobrý den,

Pokud to jsou data nějak ve formátu <čas><hodnota> tak bych šel cestou time series DB třeba InfluxDB.

JH

-----Original Message-----
From: Hw-list <hw-list-bounces na list.hw.cz> On Behalf Of Martin Záruba
Sent: Monday, August 3, 2020 9:46 AM
To: hw-list na list.hw.cz
Subject: Re: OT:Fragmentace

Děkuji všem za nápady. Samozřejmě nechce se mi to příliš předělávat a použití sql znamená to předělat hodně. To řešení, které požívám je velmi svižné, některé soubory mají okolo 200 000 záznamů a nalezení potřebných dat trvá do vteřiny, přičemž je třeba přečíst cca 1000 vzorků. Pokud to není zoufale fragmentované. Soubory jsou setříděny podle
klíče-datum+čas.  Asi opravdu nejlepší bude ssd. Celá databáze má nyní
asi 50 GB.

Martin Záruba

Dne 3.8.2020 v 9:18 Jiří Nesvacil napsal(a):
> Pokud to jsou logové informace každých x sekund, tak bych je do db
> necpal. Za rok či dva budou 4/5 GB velikosti databáze jen logové
> informace. Dostat se k těmto datům pružně bude stejně problematické
> jako v souboru. Žádný SQL server nebude držet data v paměti, aby se
> nad tím dalo rozumně pracovat. SQL je relační db a ne archiv log
> informací. Dá se samozřejmě použít k čemukoliv, ale s limity. Nad tím
> velkým logem Vám při dání SQL dotazu s setříděním třeba vypadne
> spojení, protože to bude zpracovávat minuty či hodiny. Pokud to bude
> na webhostingu, tak s tím třeba ani nic neuděláte. Nejprve si
> spočítejte kolik toho zaplníte za jakou dobu a zda tomu SQL dáte
> pořádně RAM v nastavení, aby mohl pracovat... .
>
> Jirka
>
>
> Dne 03.08.2020 v 8:54 Ladislav Vaiz napsal(a):
>> Souhlasím, že je to práce pro databázi (jsou i malé typu sqlite), ale
>> k původnímu dotazu jsem našel:
>> https://stackoverflow.com/questions/53334343/windows-refs-ntfs-file-preallocation-hint
>> L.
>>
>> Dne 03.08.2020 v 8:50 Jan Půhoný napsal(a):
>>> Podle me kdyz to budete ukladat do databaze tak nebudete muset resit
>>> takoveto obezlicky. Uz z povahy věci je to úloha pro nějaký hosting
>>> za pár korun a bude to řádově spolehlivější než PC s win2000 někde u
>>> Vás na firmě. MySQL umí kdejaký hosting za pár korun.
>>>
>>> HP
>>>
>>> Dne po 3. 8. 2020 7:55 dop. uživatel Róbert Šuška
>>> <suska.roobert na gmail.com <mailto:suska.roobert na gmail.com>> napsal:
>>>
>>>     Alebo pouzit SSD disk pre servre ? Nebudes musiet riesit
>>>     fragmentaciu a ani zivotnost...
>>>     Robo
>>>
>>>     -----Original Message-----
>>>     From: Hw-list <hw-list-bounces na list.hw.cz
>>>     <mailto:hw-list-bounces na list.hw.cz>> On Behalf Of Lubor Otta
>>>     Sent: Monday, August 3, 2020 3:16 AM
>>>     To: hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>
>>>     Subject: Re: OT:Fragmentace
>>>
>>>     Jsem jenom laik, ale není systémové řešení tohoto problému v
>>> použití
>>>     databázového serveru?
>>>     Lubor
>>>
>>>
>>>     Dne 2.8.2020 v 21:42 Martin Záruba napsal(a):
>>>     > Jasně. To mě taky napadlo. Data přibývají spojitě, vždy cca po
>>> 10 s
>>>     > asi 100 byte.
>>>     >
>>>     > Jenže jak se to zachová, když více vláken spustí zápis (je to 4
>>>     jádro)
>>>     > současně? Provede se to sekvenčně? Myslím to tak, že pokud
>>> vznikne
>>>     > současně ze dvou vláken zápis, vytvoří jedno vlákno souvislý blok
>>>     > (třeba nul) a pak druhé, nebo se prostřídají a stejně to bude
>>>     > fragmentované?
>>>
>>>     _______________________________________________
>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>     _______________________________________________
>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>
>>>
>>> _______________________________________________
>>> HW-list mailing list  -  sponsored by www.HW.cz
>>> Hw-list na list.hw.cz
>>> http://list.hw.cz/mailman/listinfo/hw-list
>>
>>
>>
>> _______________________________________________
>> HW-list mailing list  -  sponsored by www.HW.cz
>> Hw-list na list.hw.cz
>> http://list.hw.cz/mailman/listinfo/hw-list
>
_______________________________________________
HW-list mailing list  -  sponsored by www.HW.cz
Hw-list na list.hw.cz
http://list.hw.cz/mailman/listinfo/hw-list

Odesílatel zprávy si vyhrazuje právo, pod sankcí neplatnosti, uzavírat smlouvy pouze v písemné formě, přičemž za písemnou formu je považována pouze forma listiny opatřená podpisy oprávněných zástupců smluvních stran, případně její elektronicky konvertovaná podoba. Žádná jiná forma ujednání nemůže být považována za platně a účinně uzavřenou smlouvu a obsah tohoto emailu není možné považovat za návrh na uzavření jakéhokoliv smluvního vztahu. Odesílatel zprávy dále vylučuje přijetí jakékoliv nabídky pouhým chováním jakékoliv smluvní strany, zejména poskytnutím nebo přijetím plnění.

Jakákoliv skutečnost, která by mohla vyplynout ze sdělení obsaženého v tomto e-mailu, nemůže být brána za závazný příslib plnění, který by zakládal povinnost odesílatele zprávy uzavřít smlouvu, nemůže být brána za vzdání se práva či prominutí dluhu ze strany odesílatele zprávy, a to až do doby, dokud nebude stvrzena písemně v listinné podobě a opatřena podpisem oprávněného zástupce odesílatele zprávy.

Odpověď adresáta na nabídku odesílatele zprávy s jakýmkoliv dodatkem nebo odchylkou není přijetím nabídky na uzavření smlouvy, ani když podstatně nemění podmínky nabídky. Odesílatel zprávy vylučuje modifikovanou akceptaci nabídky.
___________________________________________________________________________________________

The message sender reserves the right, under penalty of nullity, to conclude the contract in writing; the written form is considered the only form of instrument to be signed by authorized representatives of the parties or its converted form electronically. No other form of arrangement cannot be considered as validly and effectively contracted and content of the email cannot be considered as a proposal for the conclusion of any contract. The message sender also precludes the adoption of any offer simply the behavior of any contracting party in particular the granting or taking of performance.

Any fact that could arise from the communication contained in this e -mail cannot be taken as binding promise of transaction, which required the sender to contract or cannot be taken as a waiver or debt forgiveness by the sender of the message until it will be confirmed in writing in paper form and signed by an authorized representative of the message sender.

Reply of the message sender with any amendment or variation is not accepting the offer to conclude a contract, even if not substantially alter the terms of the offer. The message sender excludes modified acceptance of the offer.