OT:Fragmentace

[d.petr]

Nejlepší by asi byl ten SSD (tedy pokud nepočítám tu časovou databázi,
jak někdo píše dále, o těch nic nevím). Ale ještě mě napadlo využití
obyčejného RAMdisku. Je to PC spolehlivé a s UPS? Aktuální soubory bych
tvořil v RAMdisku (100 souborů o 200 tis. zázn. po 100 bytech by
odpovídalo tak 2 GB a to třeba k dispozici máte), z "hlavního" adresáře
by na ně mohl vést link (i W, pokud vím, umějí linky), takže běžné
aplikace by "nic nepoznaly". No a pak bych hotové soubory z RAMdisku
vždy přenesl na HDD.
PM


Martin Záruba napsal(a) dne 03. 08. 20 v 8:45:
> Děkuji všem za nápady. Samozřejmě nechce se mi to příliš předělávat a
> použití sql znamená to předělat hodně. To řešení, které požívám je velmi
> svižné, některé soubory mají okolo 200 000 záznamů a nalezení potřebných
> dat trvá do vteřiny, přičemž je třeba přečíst cca 1000 vzorků. Pokud to
> není zoufale fragmentované. Soubory jsou setříděny podle
> klíče-datum+čas.  Asi opravdu nejlepší bude ssd. Celá databáze má nyní
> asi 50 GB.
> 
> Martin Záruba
> 
> Dne 3.8.2020 v 9:18 Jiří Nesvacil napsal(a):
>> Pokud to jsou logové informace každých x sekund, tak bych je do db
>> necpal. Za rok či dva budou 4/5 GB velikosti databáze jen logové
>> informace. Dostat se k těmto datům pružně bude stejně problematické
>> jako v souboru. Žádný SQL server nebude držet data v paměti, aby se
>> nad tím dalo rozumně pracovat. SQL je relační db a ne archiv log
>> informací. Dá se samozřejmě použít k čemukoliv, ale s limity. Nad tím
>> velkým logem Vám při dání SQL dotazu s setříděním třeba vypadne
>> spojení, protože to bude zpracovávat minuty či hodiny. Pokud to bude
>> na webhostingu, tak s tím třeba ani nic neuděláte. Nejprve si
>> spočítejte kolik toho zaplníte za jakou dobu a zda tomu SQL dáte
>> pořádně RAM v nastavení, aby mohl pracovat... .
>>
>> Jirka
>>
>>
>> Dne 03.08.2020 v 8:54 Ladislav Vaiz napsal(a):
>>> Souhlasím, že je to práce pro databázi (jsou i malé typu sqlite), ale
>>> k původnímu dotazu jsem našel:
>>> https://stackoverflow.com/questions/53334343/windows-refs-ntfs-file-preallocation-hint
>>>
>>> L.
>>>
>>> Dne 03.08.2020 v 8:50 Jan Půhoný napsal(a):
>>>> Podle me kdyz to budete ukladat do databaze tak nebudete muset resit
>>>> takoveto obezlicky. Uz z povahy věci je to úloha pro nějaký hosting
>>>> za pár korun a bude to řádově spolehlivější než PC s win2000 někde u
>>>> Vás na firmě. MySQL umí kdejaký hosting za pár korun.
>>>>
>>>> HP
>>>>
>>>> Dne po 3. 8. 2020 7:55 dop. uživatel Róbert Šuška
>>>> <suska.roobert na gmail.com <mailto:suska.roobert na gmail.com>> napsal:
>>>>
>>>>     Alebo pouzit SSD disk pre servre ? Nebudes musiet riesit
>>>>     fragmentaciu a ani zivotnost...
>>>>     Robo
>>>>
>>>>     -----Original Message-----
>>>>     From: Hw-list <hw-list-bounces na list.hw.cz
>>>>     <mailto:hw-list-bounces na list.hw.cz>> On Behalf Of Lubor Otta
>>>>     Sent: Monday, August 3, 2020 3:16 AM
>>>>     To: hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>
>>>>     Subject: Re: OT:Fragmentace
>>>>
>>>>     Jsem jenom laik, ale není systémové řešení tohoto problému v
>>>> použití
>>>>     databázového serveru?
>>>>     Lubor
>>>>
>>>>
>>>>     Dne 2.8.2020 v 21:42 Martin Záruba napsal(a):
>>>>     > Jasně. To mě taky napadlo. Data přibývají spojitě, vždy cca po
>>>> 10 s
>>>>     > asi 100 byte.
>>>>     >
>>>>     > Jenže jak se to zachová, když více vláken spustí zápis (je to 4
>>>>     jádro)
>>>>     > současně? Provede se to sekvenčně? Myslím to tak, že pokud
>>>> vznikne
>>>>     > současně ze dvou vláken zápis, vytvoří jedno vlákno souvislý blok
>>>>     > (třeba nul) a pak druhé, nebo se prostřídají a stejně to bude
>>>>     > fragmentované?
>>>>
>>>>     _______________________________________________
>>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>>
>>>>     _______________________________________________
>>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> HW-list mailing list  -  sponsored by www.HW.cz
>>>> Hw-list na list.hw.cz
>>>> http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>
>>>
>>> _______________________________________________
>>> HW-list mailing list  -  sponsored by www.HW.cz
>>> Hw-list na list.hw.cz
>>> http://list.hw.cz/mailman/listinfo/hw-list
>>
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list