OT:Fragmentace

[Jindrich Fucik]

Možná s křížkem po funuse, mám trochu zpoždění ve čtení, ale podívej se 
na nosql databáze. Konkrétně elasticsearch je něco, co by ti s tím 
poměrně značně pomohlo.
Tedy pochopitelně záleží, jak moc si těch dat vážíš.

Druhá možnost je, že si pořídíš dva disky a čas od času ty soubory 
přestěhuješ na druhý disk, čímž se ti defragmentují.

Dne 3.8.2020 v 9:45 Martin Záruba napsal(a):
> Děkuji všem za nápady. Samozřejmě nechce se mi to příliš předělávat a 
> použití sql znamená to předělat hodně. To řešení, které požívám je velmi 
> svižné, některé soubory mají okolo 200 000 záznamů a nalezení potřebných 
> dat trvá do vteřiny, přičemž je třeba přečíst cca 1000 vzorků. Pokud to 
> není zoufale fragmentované. Soubory jsou setříděny podle 
> klíče-datum+čas.  Asi opravdu nejlepší bude ssd. Celá databáze má nyní 
> asi 50 GB.
> 
> Martin Záruba
> 
> Dne 3.8.2020 v 9:18 Jiří Nesvacil napsal(a):
>> Pokud to jsou logové informace každých x sekund, tak bych je do db 
>> necpal. Za rok či dva budou 4/5 GB velikosti databáze jen logové 
>> informace. Dostat se k těmto datům pružně bude stejně problematické 
>> jako v souboru. Žádný SQL server nebude držet data v paměti, aby se 
>> nad tím dalo rozumně pracovat. SQL je relační db a ne archiv log 
>> informací. Dá se samozřejmě použít k čemukoliv, ale s limity. Nad tím 
>> velkým logem Vám při dání SQL dotazu s setříděním třeba vypadne 
>> spojení, protože to bude zpracovávat minuty či hodiny. Pokud to bude 
>> na webhostingu, tak s tím třeba ani nic neuděláte. Nejprve si 
>> spočítejte kolik toho zaplníte za jakou dobu a zda tomu SQL dáte 
>> pořádně RAM v nastavení, aby mohl pracovat... .
>>
>> Jirka
>>
>>
>> Dne 03.08.2020 v 8:54 Ladislav Vaiz napsal(a):
>>> Souhlasím, že je to práce pro databázi (jsou i malé typu sqlite), ale 
>>> k původnímu dotazu jsem našel: 
>>> https://stackoverflow.com/questions/53334343/windows-refs-ntfs-file-preallocation-hint 
>>>
>>> L.
>>>
>>> Dne 03.08.2020 v 8:50 Jan Půhoný napsal(a):
>>>> Podle me kdyz to budete ukladat do databaze tak nebudete muset resit 
>>>> takoveto obezlicky. Uz z povahy věci je to úloha pro nějaký hosting 
>>>> za pár korun a bude to řádově spolehlivější než PC s win2000 někde u 
>>>> Vás na firmě. MySQL umí kdejaký hosting za pár korun.
>>>>
>>>> HP
>>>>
>>>> Dne po 3. 8. 2020 7:55 dop. uživatel Róbert Šuška 
>>>> <suska.roobert na gmail.com <mailto:suska.roobert na gmail.com>> napsal:
>>>>
>>>>     Alebo pouzit SSD disk pre servre ? Nebudes musiet riesit
>>>>     fragmentaciu a ani zivotnost...
>>>>     Robo
>>>>
>>>>     -----Original Message-----
>>>>     From: Hw-list <hw-list-bounces na list.hw.cz
>>>>     <mailto:hw-list-bounces na list.hw.cz>> On Behalf Of Lubor Otta
>>>>     Sent: Monday, August 3, 2020 3:16 AM
>>>>     To: hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>
>>>>     Subject: Re: OT:Fragmentace
>>>>
>>>>     Jsem jenom laik, ale není systémové řešení tohoto problému v 
>>>> použití
>>>>     databázového serveru?
>>>>     Lubor
>>>>
>>>>
>>>>     Dne 2.8.2020 v 21:42 Martin Záruba napsal(a):
>>>>     > Jasně. To mě taky napadlo. Data přibývají spojitě, vždy cca po 
>>>> 10 s
>>>>     > asi 100 byte.
>>>>     >
>>>>     > Jenže jak se to zachová, když více vláken spustí zápis (je to 4
>>>>     jádro)
>>>>     > současně? Provede se to sekvenčně? Myslím to tak, že pokud 
>>>> vznikne
>>>>     > současně ze dvou vláken zápis, vytvoří jedno vlákno souvislý blok
>>>>     > (třeba nul) a pak druhé, nebo se prostřídají a stejně to bude
>>>>     > fragmentované?
>>>>
>>>>     _______________________________________________
>>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>>
>>>>     _______________________________________________
>>>>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>>>>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>>>>     http://list.hw.cz/mailman/listinfo/hw-list
>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> HW-list mailing list  -  sponsored by www.HW.cz
>>>> Hw-list na list.hw.cz
>>>> http://list.hw.cz/mailman/listinfo/hw-list
>>>
>>>
>>>
>>> _______________________________________________
>>> HW-list mailing list  -  sponsored by www.HW.cz
>>> Hw-list na list.hw.cz
>>> http://list.hw.cz/mailman/listinfo/hw-list
>>
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list