OT:Fragmentace

[Martin Záruba]

Děkuji všem za nápady. Samozřejmě nechce se mi to příliš předělávat a 
použití sql znamená to předělat hodně. To řešení, které požívám je velmi 
svižné, některé soubory mají okolo 200 000 záznamů a nalezení potřebných 
dat trvá do vteřiny, přičemž je třeba přečíst cca 1000 vzorků. Pokud to 
není zoufale fragmentované. Soubory jsou setříděny podle 
klíče-datum+čas.  Asi opravdu nejlepší bude ssd. Celá databáze má nyní 
asi 50 GB.

Martin Záruba

Dne 3.8.2020 v 9:18 Jiří Nesvacil napsal(a):
> Pokud to jsou logové informace každých x sekund, tak bych je do db 
> necpal. Za rok či dva budou 4/5 GB velikosti databáze jen logové 
> informace. Dostat se k těmto datům pružně bude stejně problematické 
> jako v souboru. Žádný SQL server nebude držet data v paměti, aby se 
> nad tím dalo rozumně pracovat. SQL je relační db a ne archiv log 
> informací. Dá se samozřejmě použít k čemukoliv, ale s limity. Nad tím 
> velkým logem Vám při dání SQL dotazu s setříděním třeba vypadne 
> spojení, protože to bude zpracovávat minuty či hodiny. Pokud to bude 
> na webhostingu, tak s tím třeba ani nic neuděláte. Nejprve si 
> spočítejte kolik toho zaplníte za jakou dobu a zda tomu SQL dáte 
> pořádně RAM v nastavení, aby mohl pracovat... .
>
> Jirka
>
>
> Dne 03.08.2020 v 8:54 Ladislav Vaiz napsal(a):
>> Souhlasím, že je to práce pro databázi (jsou i malé typu sqlite), ale 
>> k původnímu dotazu jsem našel: 
>> https://stackoverflow.com/questions/53334343/windows-refs-ntfs-file-preallocation-hint
>> L.
>>
>> Dne 03.08.2020 v 8:50 Jan Půhoný napsal(a):
>>> Podle me kdyz to budete ukladat do databaze tak nebudete muset resit 
>>> takoveto obezlicky. Uz z povahy věci je to úloha pro nějaký hosting 
>>> za pár korun a bude to řádově spolehlivější než PC s win2000 někde u 
>>> Vás na firmě. MySQL umí kdejaký hosting za pár korun.
>>>
>>> HP
>>>
>>> Dne po 3. 8. 2020 7:55 dop. uživatel Róbert Šuška 
>>> <suska.roobert na gmail.com <mailto:suska.roobert na gmail.com>> napsal:
>>>
>>>     Alebo pouzit SSD disk pre servre ? Nebudes musiet riesit
>>>     fragmentaciu a ani zivotnost...
>>>     Robo
>>>
>>>     -----Original Message-----
>>>     From: Hw-list <hw-list-bounces na list.hw.cz
>>>     <mailto:hw-list-bounces na list.hw.cz>> On Behalf Of Lubor Otta
>>>     Sent: Monday, August 3, 2020 3:16 AM
>>>     To: hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>
>>>     Subject: Re: OT:Fragmentace
>>>
>>>     Jsem jenom laik, ale není systémové řešení tohoto problému v 
>>> použití
>>>     databázového serveru?
>>>     Lubor
>>>
>>>
>>>     Dne 2.8.2020 v 21:42 Martin Záruba napsal(a):
>>>     > Jasně. To mě taky napadlo. Data přibývají spojitě, vždy cca po 
>>> 10 s
>>>     > asi 100 byte.
>>>     >
>>>     > Jenže jak se to zachová, když více vláken spustí zápis (je to 4
>>>     jádro)
>>>     > současně? Provede se to sekvenčně? Myslím to tak, že pokud 
>>> vznikne
>>>     > současně ze dvou vláken zápis, vytvoří jedno vlákno souvislý blok
>>>     > (třeba nul) a pak druhé, nebo se prostřídají a stejně to bude
>>>     > fragmentované?
>>>
>>>     _______________________________________________
>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>     _______________________________________________
>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>
>>>
>>> _______________________________________________
>>> HW-list mailing list  -  sponsored by www.HW.cz
>>> Hw-list na list.hw.cz
>>> http://list.hw.cz/mailman/listinfo/hw-list
>>
>>
>>
>> _______________________________________________
>> HW-list mailing list  -  sponsored by www.HW.cz
>> Hw-list na list.hw.cz
>> http://list.hw.cz/mailman/listinfo/hw-list
>