Perfomance van 'n share-server.

Helpdesk & Vraag/Aanbod
Post Reply
Laurindra
Posts: 1983
Joined: 16 Jun 2003, 21:19
Location: Emst

Perfomance van 'n share-server.

Post by Laurindra »

Op dit moment heb ik dus een servertje waarmee ik m'n spulletjes aanbiedt aan de rest van de LAN party gangers. Twee dingen aan dit PC'tje waar ik graag wat verbetering in zou willen zien.
Hou even in het hoofd dat 't wel van een krap budget gedaan moet worden. Dus dat wordt geen SCSI en ook geen Raptor schijven.

1. De perfomance:
de 4 IDE schijven die gestriped zijn (RAID 0 dus), hebben een flinke doorvoer. Daarom heb ik toendertijd er een gigabit kaartje bij aangeschaft omdat ik dacht dat 100Mbit wel een hele grote bottleneck zou worden.
Na wat praktijkervaring ben ik er achter gekomen dat de acces-time van de harde schijven een *zware* bottleneck vormen. De hoogste snelheid ooit gemeten is 23 MB/sec (waar ik best tevreden mee zou kunnen zijn). MAAR: dit was terwijl er 3 connecties met 100Mbit aan het leechen waren.
De doorsnee praktijk is heel anders: 20 tot 50 connecties die allemaal verschillende bestanden gelijktijdig van mijn server zuigen. Resultaat: Zwaar ratelende harde schijven en een totale doorvoor van nog geen 4MB/sec. Zwaar frustrerend. 't is alsof je achter een oud PC'tje zit die wegens hevig tekort aan fysiek geheugen zo ongeveer alles naar HD zit te swappen.

2. De betrouwbaarheid.
Uiteraard is een striped(RAID 0) nou niet echt bevordelijk voor veilige gegevensopslag. Is ook niet van vreselijk groot belang, want alles wat ik erop heb staan kan ik wel weer bij elkaar leechen. Maar 't zou wel vreselijk zonde zijn. En omdat ik een RAID 0 heb van 4 schijven, is de kans op dataverlies 4 keer zo groot als dat ik maar 1 schijf zou gebruiken.

Ik heb eens nagedacht over een oplossing voor i.i.g punt 1, maar bij voorkeur beide punten. Hierbij heb ik al wat mogelijke oplossingen bedacht.

Eerste oplossing: Verander de configuratie van die striped(RAID0) volume in een spanned(JBOD)volume.
Hiermee verhoog je in sommige gevallen de doorvoersnelheid bij veel connecties. Waarom? Omdat diverse bestanden verdeeld zijn over verschillende harde schijven. Stel nou dat 1 gebruiker bestanden aan het leechen is die toevallig op schijf 1 staan. Een andere gebruiker leecht vanaf schijf 2. HD koppen hoeven nu nauwelijks heen en weer. Had je deze actie gedaan met de striped volume, dan hadden alle kopppen op alle schijven al heen en weer staan te ratelen.
Conclusie: Met JBOD wordt je *gemiddelde* acces-time verlaagd. Gewoon omdat er een gedegen kans bestaat dat voor het lezen van verschillende bestanden een HD kop niet of nauwelijks verplaatst hoeft te worden.
Punt 1 wordt hierbij verbeterd. Punt 2 niet, maar ik ga daarbij ook niet achteruit in opslagcapaciteit.

Tweede oplossing: RAID1
Zet de schijven in een RAID1 (mirror) Data wordt op beide schijven weggeschreven, en als er twee bestanden simultaan gelezen moeten worden kan het ene bestand van de ene schijf gelezen worden en de andere van de tweede harde schijf.
Mits natuurlijk de RAID controller dit ondersteund. En mijn RAID controller is windows 2000. Weet iemand of die software RAID van Windows 2000 zo intelligent is?
Punt 1: Misschien opgelost, Punt 2: Heel goed opgelost, maar ik ga wel fors in opslagcapaciteit achteruit.

Derde oplossing: RAID 5
Moet ik natuurlijk wel eerst W2K server installeren of die ene hack zien te vinden voor W2K pro (Staat ergens op GoT, alleen ff zoeken waar)
Punt 1: RAID 5 is traag in het schrijven omdat er een parity berekend moet worden. (Nee, ik heb dus geen hardware RAID). Dit is voor mijn situatie niet echt een probleem. Schrijven gebeurt meestal als ik weer thuis ben van de LAN party. Tijd zat dus om die meuk uit te sorteren en van mijn werkstation naar de server te pleuren.
Maar zit er eigenlijk voor mijn situatie snelheidswinst in RAID5? Iemand?
Punt 2 is wel opgelost, en ik wordt niet gehalveerd in mijn dataopslag. Zou een redelijke oplossing zijn.

Nou, wie roept?
HitmanWVU
Posts: 694
Joined: 15 Jun 2003, 02:12
Location: Wezep
Contact:

Post by HitmanWVU »

RAID 5 kan volgens mij niet via die onboard raid-controller
madman
2nd Admin
Posts: 4958
Joined: 14 Jun 2003, 21:41
Location: Arnhem
Contact:

Post by madman »

Ten eerste is er natuurlijk je software raid: ide kost cpu kracht, en als je daar ook nog eens een software raid bij gebruikt kan je de rest natuurlijk wel invullen. Ik zou kiezen voor een hardware raid: dit ontlast je CPU aanzienlijk!

Dan zou ik het zo doen dat je je raid verdeelt: maak er 2 raid 0 configuraties van! Hier tussen zou je JBOD kunnen draaien...

Als die server alleen voor het leechen gebruikt en niet zozeer als fileserver dan hoeft het behoud van date niet je belangrijkste punt te zijn.. Je zou bijv copieen op cd's/dvd's kunnen bewaren, mocht een schijf crashen en je je raid op nieuw moet opbouwen...

Ik hoop dat je hier wat aan hebt..

oh ja als je raid 5 neemt zou ik zeker een hardware raid kaart halen, die dingen zijn er voor gemaakt om parity uit te rekenen ;)
madman
2nd Admin
Posts: 4958
Joined: 14 Jun 2003, 21:41
Location: Arnhem
Contact:

Post by madman »

HitmanWVU wrote:RAID 5 kan volgens mij niet via die onboard raid-controller
Welke onboard raid controller?
HitmanWVU
Posts: 694
Joined: 15 Jun 2003, 02:12
Location: Wezep
Contact:

Post by HitmanWVU »

madman wrote:
HitmanWVU wrote:RAID 5 kan volgens mij niet via die onboard raid-controller
Welke onboard raid controller?
Volgens mij had hij een onboard raidcontroller. Dat is althans wat ik ervan begrepen had op de vorige lan....
Hemz
Posts: 2023
Joined: 15 Jun 2003, 00:28
Location: zwolle
Contact:

Post by Hemz »

whocares vertelde mij dat de cpu belasting (ongeveer 60%) en het geheugen (voldoende vrij) niet de bottleneck waren :)
DSmarty
Site Admin
Posts: 5643
Joined: 14 Jun 2003, 21:30
Location: Epe
Contact:

Post by DSmarty »

Je kan beter een budget verantwoorde RAID-5 IDE controller met cache kopen, voor 250 euro heb je er eentje ongeveer.

Dan heb je en je redundantie en je snelheid.
Laurindra
Posts: 1983
Joined: 16 Jun 2003, 21:19
Location: Emst

Post by Laurindra »

HitmanWVU wrote:RAID 5 kan volgens mij niet via die onboard raid-controller
Kheb een IDE PCI kaartje van Promise. RAID maak ik met W2K. En met W2K server kun je ook software RAID 5 maken.
madman wrote:ide kost cpu kracht, en als je daar ook nog eens een software raid bij gebruikt
Nu met RAID0 is mijn TB800 nog steeds snel genoeg om die IDE bij te kunnen benen. Kheb nog nooit strak tegen de 100% CPU belasting aan gezeten.
EN RAID5 heeft ie alleen CPU kracht nodig voor de parity als tie naar die schijven moet schrijven. Is dus geen zwaar punt. Schrijven doe ik thuis wel.
Maar idd. Een hardware RAID is wel een hele verbetering.
madman wrote:maak er 2 raid 0 configuraties van! Hier tussen zou je JBOD kunnen draaien
Da's natuurlijk ook nog een oplossing. Zo creatief was ik nog niet. :D
dsmarty wrote:Je kan beter een budget verantwoorde RAID-5 IDE controller met cache kopen, voor 250 euro heb je er eentje ongeveer.
Dan heb je en je redundantie en je snelheid.
Maar is RAID5 dan ook zoveel sneller? Onthou dat de maximale doorvoersnelheid toch niet gehaald wordt, omdat die access tijden van die harde schijven de boel afremmen.


Na deze reacties zie ik de oplossing van Madman RAID0+JBOD toch als een goeie oplossing. Maar ik blijf nog met een vraag zitten.
WhoCares wrote:...en als er twee bestanden simultaan gelezen moeten worden ...Weet iemand of die software RAID van Windows 2000 zo intelligent is?
Iemand die dit weet?
DSmarty
Site Admin
Posts: 5643
Joined: 14 Jun 2003, 21:30
Location: Epe
Contact:

Post by DSmarty »

JBOD = geen Raid ...

RAID5 met caching neemt die accetime problematiek gedeeltelijk weg.
madman
2nd Admin
Posts: 4958
Joined: 14 Jun 2003, 21:41
Location: Arnhem
Contact:

Post by madman »

WhoCares wrote: Maar ik blijf nog met een vraag zitten.
WhoCares wrote:...en als er twee bestanden simultaan gelezen moeten worden ...Weet iemand of die software RAID van Windows 2000 zo intelligent is?
Iemand die dit weet?
Dit is geen eigenschap van raid. Ik denkt niet dat dat soort foejes bij win2k in zitten. Misschien met speciale software...
Laurindra
Posts: 1983
Joined: 16 Jun 2003, 21:19
Location: Emst

Post by Laurindra »

Laatst al eens gekeken naar die promise SX4000 (pdf, gerarred). Zou dat wat zijn met een 256MB PC133 dimmetje erin?
Zag 'm bij de Pricewatch voor 200 euro bij Salland Automatisering (De buren op m'n werk, dat scheelt verzendkosten :) )
BlackTux
Posts: 762
Joined: 13 Sep 2003, 01:14
Location: Zeeuws-Vlaanderen - Belg
Contact:

Post by BlackTux »

Zover ik weet zijn er (en vraag me niet waar) harddisk op de markt die speciaal ontworpen zien voor firewire, dus geen extern lomp bakje. En die kunnen makelijk 150 tot 200mb per sec halen. Dit wel onder linux. Een half jaar terug heb ik daar een reviewtje op gelezen. Als ik nog eens zoiets tegen kom, laat ik er meer over weten!
cn=Blacktux,dc=EMS2CREW,dc=NL

** This File Should Not Be World Readable **

The open cow project pwd = "admin"

[url]HTTP://WWW.EMS2CREW.TK[/url]
Hachy
Posts: 1482
Joined: 14 Jun 2003, 23:39
Location: Apeldoorn
Contact:

Post by Hachy »

Puur over snelheid;

Raid 0 is het snelst, zowel lezen en schrijven. Geen twijfel over mogelijk
Raid 5 is qua leessnelheid iig _sneller_ dan RAID 1. En je hebt dus geen single-point of failure meer.

Ik zou voor een hardwarematige raid5 oplossing gaan.
http://www.qsit.nl
venomous
Posts: 1152
Joined: 15 Jun 2003, 16:01
Location: Voorburg
Contact:

Post by venomous »

Als je het doet, doe het gelijk goed!
"The past will often attack the present with the pain of your memories"
Laurindra
Posts: 1983
Joined: 16 Jun 2003, 21:19
Location: Emst

Post by Laurindra »

[major edit]HDTach resultaten
Software striping (oude situatie)
Image
RAID5 (nieuwe situatie)
Image

ATTO benchmark
Software striping (oude situatie) / RAID5 (nieuwe situatie)
ImageImage
[/major edit]
Laurindra
Posts: 1983
Joined: 16 Jun 2003, 21:19
Location: Emst

Post by Laurindra »

Die resultaten van HDTach schrok ik heel erg van.

De resultaten van ATTO tools valt ietwat tegen. M'n verwachtingen lagen hoger.
Wel blij ben ik dat de transfer rate bij 4096kb een stuk hoger is geworden. (Dit is namelijk de clustergrootte van die schijf)
madman
2nd Admin
Posts: 4958
Joined: 14 Jun 2003, 21:41
Location: Arnhem
Contact:

Post by madman »

Merk je de verbetering zelf ook? dus met copieren etc..
Laurindra
Posts: 1983
Joined: 16 Jun 2003, 21:19
Location: Emst

Post by Laurindra »

Ben nu al wat bezig geweest met heen en weer kopieren. En de snelheid is degelijk merkbaar. De volgende dingen zijn *fors* sneller geworden.

* Defragmenteren: In het verleden was de doorvoer rond de 3 a 5 MB/sec. Toen ik vandaag defragmentatie aanzette schoot deze naar een constante 21MB/sec :)
* FTP uploads: ik heb twee 100mbit clients met ieders 16 threads laten downloaden van dit systeem. In de oude situatie sloeg de doorvoer volledig dicht (lees: 2MB/sec) Nu schommelt ie tussen de 8 a 10MB/Sec.

Wat mij verder opvalt is dat 't geheugen veel minder snel volloopt als onder de softwareRAID situatie. Mag ook wel, want de 512MB werkgeheugen is ingekrompen tot 256MB (Die andere 256MB zit nu op die RAID5 controller }) )

Ik heb dus goeie hoop. Ik wacht op een vuurdoop (Aha, vandaar die reminder voor lanz4all :D )

En ik kon 't niet laten. Nu heb ik nog een backup. Ik heb ff een voedingsstekkertje losgetrokken van 1 harde schijf. Rebuilden duurt dus anderhalf uur. Gelukkig kun je gewoon doorwerken al wordt 't dan wel een heel stukje trager.
BlackTux
Posts: 762
Joined: 13 Sep 2003, 01:14
Location: Zeeuws-Vlaanderen - Belg
Contact:

Post by BlackTux »

nice, ik ga dat eens bestuderen nadat we klaar zijn met de verhuizing op kantoor.
cn=Blacktux,dc=EMS2CREW,dc=NL

** This File Should Not Be World Readable **

The open cow project pwd = "admin"

[url]HTTP://WWW.EMS2CREW.TK[/url]
Post Reply