OT:Fragmentace

[Jiří Nesvacil]

Pro nějakou operativu bych klidně přeposlal poslední x tisíc záznamů 
logu do SQL, velikost db např. 100MB a do app bych nesahal. V SQL se dá 
rychle z ruky vyhledat.

K uložení kompletního logu do db: SQL neví, že máte data uložená 
setříděně a musela by si za chodu či vy pevně jí vytvořit index či 
indexy na více dotazů. Dále taky SQL je většinou psáno pro sdílení tj. 
paměť sdílí s další db na serveru tj. pokud dáte SQL dotaz, tak se Vám o 
paměť vše pere a nedosáhnete nikdy takové rychlosti jako při single 
přístupu, teda pokud to potřebujete.

Jirka

Dne 03.08.2020 v 9:45 Martin Záruba napsal(a):
> Děkuji všem za nápady. Samozřejmě nechce se mi to příliš předělávat a 
> použití sql znamená to předělat hodně. To řešení, které požívám je 
> velmi svižné, některé soubory mají okolo 200 000 záznamů a nalezení 
> potřebných dat trvá do vteřiny, přičemž je třeba přečíst cca 1000 
> vzorků. Pokud to není zoufale fragmentované. Soubory jsou setříděny 
> podle klíče-datum+čas.  Asi opravdu nejlepší bude ssd. Celá databáze 
> má nyní asi 50 GB.
>
> Martin Záruba
>
> Dne 3.8.2020 v 9:18 Jiří Nesvacil napsal(a):
>> Pokud to jsou logové informace každých x sekund, tak bych je do db 
>> necpal. Za rok či dva budou 4/5 GB velikosti databáze jen logové 
>> informace. Dostat se k těmto datům pružně bude stejně problematické 
>> jako v souboru. Žádný SQL server nebude držet data v paměti, aby se 
>> nad tím dalo rozumně pracovat. SQL je relační db a ne archiv log 
>> informací. Dá se samozřejmě použít k čemukoliv, ale s limity. Nad tím 
>> velkým logem Vám při dání SQL dotazu s setříděním třeba vypadne 
>> spojení, protože to bude zpracovávat minuty či hodiny. Pokud to bude 
>> na webhostingu, tak s tím třeba ani nic neuděláte. Nejprve si 
>> spočítejte kolik toho zaplníte za jakou dobu a zda tomu SQL dáte 
>> pořádně RAM v nastavení, aby mohl pracovat... .
>>
>> Jirka
>>
>>
>> Dne 03.08.2020 v 8:54 Ladislav Vaiz napsal(a):
>>> Souhlasím, že je to práce pro databázi (jsou i malé typu sqlite), 
>>> ale k původnímu dotazu jsem našel: 
>>> https://stackoverflow.com/questions/53334343/windows-refs-ntfs-file-preallocation-hint 
>>>
>>> L.
>>>
>>> Dne 03.08.2020 v 8:50 Jan Půhoný napsal(a):
>>>> Podle me kdyz to budete ukladat do databaze tak nebudete muset 
>>>> resit takoveto obezlicky. Uz z povahy věci je to úloha pro nějaký 
>>>> hosting za pár korun a bude to řádově spolehlivější než PC s 
>>>> win2000 někde u Vás na firmě. MySQL umí kdejaký hosting za pár korun.
>>>>
>>>> HP
>>>>
>>>> Dne po 3. 8. 2020 7:55 dop. uživatel Róbert Šuška 
>>>> <suska.roobert na gmail.com <mailto:suska.roobert na gmail.com>> napsal:
>>>>
>>>>     Alebo pouzit SSD disk pre servre ? Nebudes musiet riesit
>>>>     fragmentaciu a ani zivotnost...
>>>>     Robo
>>>>
>>>>     -----Original Message-----
>>>>     From: Hw-list <hw-list-bounces na list.hw.cz
>>>>     <mailto:hw-list-bounces na list.hw.cz>> On Behalf Of Lubor Otta
>>>>     Sent: Monday, August 3, 2020 3:16 AM
>>>>     To: hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>
>>>>     Subject: Re: OT:Fragmentace
>>>>
>>>>     Jsem jenom laik, ale není systémové řešení tohoto problému v 
>>>> použití
>>>>     databázového serveru?
>>>>     Lubor
>>>>
>>>>
>>>>     Dne 2.8.2020 v 21:42 Martin Záruba napsal(a):
>>>>     > Jasně. To mě taky napadlo. Data přibývají spojitě, vždy cca 
>>>> po 10 s
>>>>     > asi 100 byte.
>>>>     >
>>>>     > Jenže jak se to zachová, když více vláken spustí zápis (je to 4
>>>>     jádro)
>>>>     > současně? Provede se to sekvenčně? Myslím to tak, že pokud 
>>>> vznikne
>>>>     > současně ze dvou vláken zápis, vytvoří jedno vlákno souvislý 
>>>> blok
>>>>     > (třeba nul) a pak druhé, nebo se prostřídají a stejně to bude
>>>>     > fragmentované?
>>>>
>>>>     _______________________________________________
>>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>>
>>>>     _______________________________________________
>>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> HW-list mailing list  -  sponsored by www.HW.cz
>>>> Hw-list na list.hw.cz
>>>> http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>
>>>
>>> _______________________________________________
>>> HW-list mailing list  -  sponsored by www.HW.cz
>>> Hw-list na list.hw.cz
>>> http://list.hw.cz/mailman/listinfo/hw-list
>>
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list

-- 
Tento e-mail byl zkontrolován na viry programem AVG.
http://www.avg.cz