OT Pomaly NAS - male soubory

[Jozef RAČEK]

Obyčajne je to problém NFS alebo CIFS a ich prace s malými súbormi. Vlastne pole zvláda podstatne viacej aj IOPS, aj MB/s.
Oproti lokálnym diskom obsluhujú zámky na dáta aj metadata súborov. Vyrábajú a čakajú na potvrdenia oveľa viacej IO operácii ako obsluha lokálnych diskov. Čiastočne sa to dá ladiť parametrami NFS, alebo samby/CIFS

Dodo


Dňa 20.5.2015, o 11:36, Petr Simek <psimek na jcu.cz> napísal:

>> On Wed, 20 May 2015, RV wrote:
>> 
>> mel bych dotaz na Vas co provozujete NASy (hlavne ty vetsi firemni). Migrujeme nase servery na kompletni virtualizaci, menime i architekturu, aplikacni zalezitosti a cele se to zaseklo na tom, ze centralni uloziste planovane na firemnim NASu jede pri praci s malymi soubory rychlosti cca 150kB/s.
> 
> Vypada to ze jste narazil na IOPSy - klasika. Vetsina poli SAN i NAS
> umi nekolik set IOPS a vetsinou pak jede pro vic klientu takze kazdy
> dostane zlomek. Kdyz tam jsou image virtualizovanych masin tak to moc
> nevadi ale pro praci s malymi soubory je to prusvih.
> 
> Zkuste jiny test - vyrobte si par tisic souboru velikosti 10B, pak 100B
> a 1000B a zkuste je zapsat na ten NAS. Pokud bude cas porad stejny neni
> to rychlosti spojeni ani disku ale IOPS omezenim.
> 
>> Problem je, ze doposud to jelo z lokalnich disku fyzickych stroju a cas na zpracovani byl v radech desetin sekund. Lokalni disky z virtualizovanych stroju na diskovem poli jsou v radech sekund. Zpracovani na soucasnem NASu je v radech desitek az stovek sekund. :-(
> 
> U lokalniho filesystemu muze server udelat kesovani alokacni tabulky
> takze proste rychle proudove zapisuje soubory ale alokacni tabulku si upravuje jen v pameti a jeji synchronizaci na disky dela jednou za
> nekolik vterin. U sitoveho uloziste je to problem - tam je nutna lepsi
> synchronizace a hlavne reseni dalsi paralelnich pozadavku zpusobi ze disky
> se pri zapisu nevenuji jen vam, ale musi obcas i jinam neco zapsat a precist. Proto je situace u samba serveru ktery pracuje jen pro vas
> take lepsi.
> 
> Kdyz vam pole prodavaji tak vas na tenhle problem samozrejme neupozorni
> a kdyz na nej narazite nabidnou vam dalsi pole s SSD disky :-)
> 
> 
>> Radek Vicek
> 
> *------------------------------------------------------------------------*
> |                          Petr Simek   APS JU                           |
> |                             psimek na jcu.cz                              |
> *------------------------------------------------------------------------*
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list