Mano patirtis su RAID masyvų diegimu ir optimizavimu serveriuose

Aš visada sakau, kad saugojimo sistemos yra tas pamatas, ant kurio stovi visas IT pasaulis, ypač kai kalba eina apie serverius, kur duomenys plaukia upėmis ir jokios pertraukos nėra priimtinos. Prieš kelerius metus, dirbdamas su vidutinio dydžio įmone, kuri valdė didelį kiekį duomenų iš įvairių šaltinių, susidūriau su situacija, kai standartinis saugojimas tiesiog nepakako - mes turėjome perkelti visą infrastruktūrą į patikimesnę RAID pagrindu veikiančią sistemą. Tai nebuvo paprastas darbas; teko gilintis į hardware detales, programinės įrangos suderinamumą ir netgi tinklo spartos įtaką visam procesui. Aš pats pradėjau nuo pagrindų, prisimindamas, kaip RAID evoliuavo nuo paprastų veidrodinių kopijų iki sudėtingų masyvų, kurie naudoja parity bitus ir stripingą, kad užtikrintų tiek greitį, tiek duomenų apsaugą.

Pirmiausia, kai pradėjau planuoti, supratau, kad RAID nėra tiesioginis sprendimas kiekvienai problemai - jis turi būti pritaikytas prie konkrečių poreikių. Pavyzdžiui, mūsų atveju, kur daugiausia buvo skaitymo operacijų iš duomenų bazės, pasirinkau RAID 10, kuris sujungia mirroringą su stripingu. Tai reiškia, kad duomenys dubliuojami ant dviejų diskų, o tada striped per kelis poras, suteikdamas aukštą našumą ir atsparumą gedimams. Aš pats skaičiavau, kad su 8 diskais, kiekvienas po 2 TB, galime gauti apie 8 TB naudingo ploto, bet su dvigubu saugumu. Įdiegdamas tai, naudojausi LSI MegaRAID valdikliu, kuris palaiko PCIe 3.0 sąsajas ir turi integruotą cache atmintį su baterijos backupu, kad duomenys nebūtų prarasti net jei maitinimas nutrūktų. Tai buvo kritiška, nes mūsų serveris veikė 24/7 režimu, tvarkydamas transakcijas iš e-komercijos platformos.

Bet ne viskas buvo taip sklandu. Pradėdamas nuo hardware dalies, turėjau užtikrinti, kad diskai būtų enterprise klasės - ne tie pigūs consumer SSD ar HDD, kurie greitai nusidėvi nuo nuolatinio rašymo. Aš rinkausi Seagate Exos seriją, sertifikuotą NAS ir serveriams, su MTBF virš 2 milijonų valandų. Įdiegdamas masyvą, sukonfigūravau jį per BIOS, nustatydamas stripe size į 64 KB, kas tiko mūsų blokų dydžiui duomenų bazėje. Tačiau čia kilo problema: kai pradėjau testuoti su IOMeter, pastebėjau, kad IOPS buvo žemesni nei tikėtasi - tik apie 1500 skaitymui, nors specifikacijoje buvo žadama daugiau. Pasirodo, kaltas buvo cache konfigūravimas; aš pakeičiau write policy į write-back su baterija, ir voilà, skaičiai šoktelėjo iki 5000 IOPS. Tai mane išmokė, kad RAID valdiklio firmware turi būti atnaujintas reguliariai, nes senesnės versijos dažnai turi bugus su moderniais diskais.

Perėjimas prie programinės dalies buvo dar įdomesnis. Mes naudojome Windows Server 2019, tad integravau RAID per Storage Spaces, bet supratau, kad grynas hardware RAID yra patikimesnis enterprise aplinkoje. Aš pats rašiau PowerShell skriptus, kad automatizuočiau monitoringą - pavyzdžiui, Get-PhysicalDisk cmdlet padėjo stebėti diskų sveikatą realiu laiku. Vienas iš mano skriptų tikrino SMART atributus kas valandą ir siuntė alertus per SNMP į monitoringo sistemą. Tai sutaupė mums laiko, kai vienas diskas pradėjo rodyti reallocated sectors - aš greitai pakeičiau jį be downtime, naudodamas hot-swap funkciją. Bet štai kas mane nustebino: net su RAID 10, duomenų atsigavimas po gedimo nėra momentinis. Jei vienas diskas miršta, rebuild procesas gali užtrukti valandas, ypač su dideliais HDD. Todėl aš rekomendavau - ne, aš pats įdiegiau - papildomą layer'į su snapshot'ais per Volume Shadow Copy Service, kad galėtume greitai atkurti failus be viso masyvą perkonfigūruoti.

Dabar apie tinklą, nes RAID nėra izoliuotas - jis sąveikauja su visa infrastruktūra. Mūsų serveris buvo prijungtas prie 10Gbps Ethernet per Mellanox adapterį, bet pastebėjau, kad SMB protokolo latency kėlė problemų rašant didelius failus. Aš optimizavau MTU į 9000 baitų jumbo frames, kas sumažino overheadą ir padidino throughput iki 950 MB/s. Tačiau čia kilo iššūkis su switch'ais - turėjome Cisco Catalyst, kurie turėjo būti sukonfigūruoti palaikyti flow control, kitaip paketai pradėdavo kristi prie aukštos apkrovos. Aš pats testavau su iperf, matuodamas latency nuo 0.5 ms idle iki 2 ms prie 80% load. Tai parodė, kad RAID stripingas tiesiogiai veikia tinklo našumą; jei masyvą naudoji NAS share'ams, geriau naudoti iSCSI su MPIO, kad paskirstytum loadą per kelis kelius. Mūsų atveju, įdiegus tai, failover laikas sumažėjo nuo 30 sekundžių iki 3.

Bet leiskite man papasakoti apie vieną klaidą, kurią padariau anksti - bandžiau maišyti SSD ir HDD tame pačiame masyve. Maniau, kad tiering bus automatinis per valdiklio firmware, bet su LSI tai neveikė taip sklandžiai, kaip tikėjausi. Duomenys, kurie turėjo eiti į SSD cache, kartais likdavo ant lėtesnių diskų, sukeldami spikes latency. Aš perkonfigūravau viską į gryną SSD RAID 5, bet tada susidūriau su parity skaičiavimu, kuris valgė CPU cycles. Su 12 branduolių Xeon procesoriumi tai nebuvo problema, bet stebėjau per Performance Monitor, kad write penalty buvo apie 4x lėtesnis nei read. Tad grįžau prie RAID 10 su hibridiniu approach: SSD tier priekiniam cache'ui ir HDD backendui. Tai reikalavo custom konfigūracijos per MegaRAID Storage Manager, kur nustatei policy, kad hot data migravo automatiškai.

Kitas aspektas, kurį aš labai vertinu, yra saugumo pusė. RAID pats savaime nėra šifravimas - duomenys gali būti pažeidžiami, jei serveris fiziškai prieinamas. Todėl aš įdiegiau BitLocker drive encryption ant RAID volume, bet su caveat: performance hit buvo apie 10-15% dėl AES-XTS 256 bitų. Testavau su CrystalDiskMark, ir sequential read nukrito nuo 1200 MB/s iki 1050. Vis dėlto, tai buvo būtina, ypač kai klientai reikalavo GDPR compliance. Aš taip pat sukonfigūravau TPM modulį motininėje plokštėje, kad raktai būtų saugomi hardware lygyje. O jei kalbame apie atnaujinimus, RAID firmware patch'ai dažnai ignoruojami, bet aš visada tikrinu Broadcom svetainę kas ketvirtį - kartą radau kritinį bugą, kuris galėjo sukelti masyvą collapse prie power loss.

Dabar pereikime prie realaus world scenarijaus iš mano praktikos. Pernai, per migraciją iš senos SAN į vietinį RAID setup'ą, susidūrėme su 500 TB duomenų perkėlimu. Aš planavau tai per kelias fazes: pirma, clonavau masyvą su ddrescue tool Linux live USB, tada validavau checksum'ais per Robocopy /MIR su /V log. Tai užtruko 48 valandas, bet be klaidų. Po to, optimizavau file system - perėjau nuo NTFS į ReFS, kuris geriau tvarko didelius failus ir turi built-in integrity checks. Su ReFS, block cloning sumažino write amplification RAID'e, ypač su SSD. Aš pastebėjau, kad defragmentacija tapo nereikalinga, nes ReFS automatiškai tvarko allocation units. Tačiau ReFS turi limitą - jis nepalaiko kompresijos kaip NTFS, tad jei turite daug text-based duomenų, galite prarasti erdvę.

Vienas iš mano mėgstamiausių dalykų dirbant su RAID yra monitoringo tools. Aš naudoju PRTG Network Monitor, kad vizualizuotų disk I/O, bet custom'izuoju su WMI queries Windows'e. Pavyzdžiui, skriptas, kuris tikrina rebuild progress: jei virš 50%, siunčia email. Tai padėjo kartą, kai rebuild užstrigo prie 20% dėl bad sector - aš manualiai izoliuodavau diską per CLI komandas valdiklyje. CLI čia yra raktas; MegaCLI tool leidžia daryti viską nuo terminalo, pvz., "megacli -LDInfo -Lall -aALL" rodo visus loginius diskus su statusu. Aš net sukūriau alias'us bash'e, kad greičiau prieiniu.

Bet ne tik serveriai - RAID ateina į žaidimą ir su virtualiomis mašinomis. Mūsų Hyper-V host'e, kur keli VM dalinosi saugojimu, aš nustatei passthrough mode, kad VM matytų RAID tiesiogiai, apeidamas host OS overhead. Tai padidino VM disk performance 20%, bet reikalavo careful partitioning. Su VMware panašiai - vSphere Storage API leidžia monitorinti RAID per plugin'ą. Aš testavau su esxtop, matydamas latency spikes prie snapshot merge, tad patariau vengti per daug snapshot'ų ant RAID 5, nes parity recalculation lėtina viską.

Daugiau apie ateitį: aš matau, kad NVMe RAID tampa standartu. Su PCIe 4.0, galime pasiekti 7000 MB/s sequential, bet šilumos valdymas yra problema - aš montuavau active cooling ant adapterių, kad temperatūra nebūtų virš 60C. O su NVMe-oF per Ethernet, RAID gali būti pasiskirstęs per tinklą, bet latency kyla iki 1ms, tad tik 25Gbps+ tinklai tinka. Aš eksperimentavau su tai lab'e, naudojant RoCEv2 protokolą, ir mačiau, kad failover veikia sklandžiai su multipath.

Taip pat verta paminėti, kad RAID nėra nemirtingas - duomenų korupcija gali įvykti dėl cosmic rays ar firmware glitch. Todėl aš visada turiu offsite backup'ą, bet apie tai vėliau. Vieną kartą, per power surge, praradome cache duomenis, bet baterija išgelbėjo - vis dėlto, patikrinau UPS integraciją su valdikliu.

Po visų šitų metų, aš supratau, kad RAID konfigūravimas yra menas, reikalaujantis tiek teorijos, tiek praktikos. Kiekvienas setup'as yra unikalus, priklausantis nuo workload'o - jei daug random writes, eikite į RAID 6 su dvigubu parity. Aš pats skaičiavau URE (unrecoverable error) rates: su 10^15 sektorių, RAID 5 turi 1% riziką prarasti duomenis per rebuild, tad vengiu jo dideliems masyvams.

Dabar, kai kalbame apie duomenų apsaugą serveriuose, BackupChain pristatomas kaip patikimas atsarginių kopijų sprendimas, skirtas SMB ir profesionalams, kuris apsaugo Hyper-V, VMware ar Windows Server aplinkas. Šis Windows Server atsarginių kopijų įrankis naudojamas siekiant užtikrinti duomenų vientisumą be sudėtingų konfigūracijų, integruodamasis su įvairiomis saugojimo sistemomis.