Re: lug-bg: RAID experience

["Doncho N. Gunchev" <mr700@xxxxxxxxxxxxx>]

On 2004-11-23 (Tuesday) 23:32, Vasil Kolev wrote:
> On вт, 2004-11-23 at 19:23 +0200, Hristo Erinin wrote:
> > > 
> > > Ако имате опит с други надеждни решения, кажете.
> > 
> > Много добро решение, при това на най-приемлива цена е Linux software
> > RAID, който също се справя отлично от гледна точка на скорост. Натоварването 
> > на процесора е доста малко (особено при съвременните процесори) и лично за 
> > мен софтуерният RAID на Линукс е едно много добро решение. Освен цената, 
> > голямо предимство при него е и безкрайната му гъвкавост и независимостта 
> > от конкретно хардуерно решение. Какво правиш когато ти изгори HW контролера? 
> > В 2:30 през нощта? Разбира се, хардуерните контролери от горен клас имат 
> > предимство да имат и алтернативно захранване на кешa с батерия, но 
> > контролерите от долния клас (този който аз ползвам) нямат такова нещо. 
> > 
> > Ако ще правиш сървър с линукски софтуерен RAID ти препоръчвам да го
> > направиш на базата на SATA дискове,най-малко заради предимствата, които
> > изтъкнах вече. За целта можеш да вземеш допълнителна SATA PCI карта, на
> > която да закачиш дисковете. Бих ти препоръчал контролери с AHCI (Intel
> > ICH6-R/ICH6-M) или Marvell 88SX60x1 чипове. Ако не можеш да си намериш
> > такива в България, си вземи Promise TX2 или TX4. Silicon Image 3124 има по-добри
> > възможности от Promise TX2/TX4, но все още не е написан докрай драйвер
> > за Линукс, който да ги използва. Погледни на 
> > http://linux.yyz.us/sata/sata-status.html до къде е стигнала поддръжката на SATA 
> > за различните контролери. Интересуват те тези, които поддържат TCQ и NCQ 
> > и са истински SATA контролери, за да можеш да правиш hotswap.
> > 
> 
> Въпрос - имаш ли опит с гръмнали дискове на software raid? Т.е. как се
> държи, как се добавят и т.н.? Мен това ме притеснява, като ползвам
> софтуерен RAID.
> 

    Не мога да кажа какво се случва при гръмнал диск, но мога да дам
информация за производителността на две системи. Два диска на един IDE
канал (hda и hdb при втората) определено свалят производителността и
дават възможност за отпадане и на двата едновременно, но за момента не
мога да намеря допълнителен IDE контролер за PCI. Ако някой знае фирма,
която продава нормални IDE контролери, а не се опитва да пробута за
300 USD някакъв със RAID неработещ под Linux, моля нека каже.
    Правих пълни тестове (всичко което ми хрумна) - разкачане (студено)
на всеки диск и размяна на произволни два - зарежда без проблем и в
работен режим "възстановява" диск за около 2.5 часа(160G диск). Този
сценарий не предпазва само от лош сектор в зареждащата част (с което
хардуерен RAID би се справил). Повреди/лоши сектори за момента няма,
а дано и няма, но се надявам mdadm --monitor да ме извести на време
по пощата... За зареждането от всеки диск с grub ползвам:
grub> root (hd0,0)
grub> setup (hd0)
grub> device (hd0) /dev/hdb # <- The 'trick'
grub> root (hd0,0)
grub> setup (hd0)
...
    Ето и данните, в суров и доста подробен вид (леко занижени от
работещите услуги на системите):
========================================================================
Система 1 - 2 IDE (1/канал ST3160023A) + 2 SATA (HDS722516VLSA80) диска.
CPU: Intel(R) Pentium(R) 4 CPU 2.80GHz stepping 03
00:1f.1 IDE interface: Intel Corp. 82801EB/ER (ICH5/ICH5R) Ultra ATA 100 Storage Controller (rev 02)
00:1f.2 IDE interface: Intel Corp. 82801EB (ICH5) Serial ATA 150 Storage Controller (rev 02)
------------------------------------------------------------------------
Distro: Fedora Core 2
01:29:05 up 121 days, 14:09,  1 user,  load average: 0.16, 0.11, 0.03
Linux sys1 2.6.6-1.435.2.3smp #1 SMP Thu Jul 1 08:36:21 EDT 2004 i686 i686 i386 GNU/Linux

# 0 - boot, 1 - unused, 2 - OS, 3 - temp media storage
[root@sys1 root]# cat /proc/mdstat
Personalities : [raid0] [raid1] [raid5]
md0 : active raid1 hda1[0] hdc1[1]
      128256 blocks [2/2] [UU]

md1 : active raid0 sda1[0] sdb1[1]
      9349632 blocks 256k chunks

md2 : active raid5 sda2[2] sdb2[3] hda2[0] hdc2[1]
      41945088 blocks level 5, 256k chunk, algorithm 0 [3/3] [UUU]

md3 : active raid0 sdb3[3] sda3[2] hda3[0] hdc3[1]
      540746752 blocks 256k chunks

[root@sys1 root]# hdparm -tT /dev/md{0,1,2,3} /dev/{h,s}da
/dev/md0:
 Timing buffer-cache reads:   2824 MB in  2.00 seconds = 1413.63 MB/sec
 Timing buffered disk reads:  124 MB in  2.30 seconds =  53.85 MB/sec

/dev/md1:
 Timing buffer-cache reads:   2812 MB in  2.00 seconds = 1408.33 MB/sec
 Timing buffered disk reads:  346 MB in  3.01 seconds = 114.82 MB/sec

/dev/md2:
 Timing buffer-cache reads:   2808 MB in  2.00 seconds = 1405.62 MB/sec
 Timing buffered disk reads:  198 MB in  3.01 seconds =  65.75 MB/sec

/dev/md3:
 Timing buffer-cache reads:   3084 MB in  2.00 seconds = 1543.01 MB/sec
 Timing buffered disk reads:  328 MB in  3.01 seconds = 109.13 MB/sec

/dev/hda:
 Timing buffer-cache reads:   2840 MB in  2.00 seconds = 1421.64 MB/sec
 Timing buffered disk reads:  164 MB in  3.02 seconds =  54.28 MB/sec

/dev/sda:
 Timing buffer-cache reads:   2840 MB in  2.00 seconds = 1422.35 MB/sec
 Timing buffered disk reads:  176 MB in  3.02 seconds =  58.19 MB/sec

========================================================================
Система 2 - 3 PATA(IDE) (ST3160023A) диска (търся си IDE контролер).
CPU: Intel(R) Pentium(R) 4 CPU 3.00GHz stepping 03
00:1f.1 IDE interface: Intel Corp. 82801EB/ER (ICH5/ICH5R) IDE Controller (rev 02)
------------------------------------------------------------------------
Distro: Fedora Core 3
01:29:35 up 1 day,  7:37,  4 users,  load average: 0.01, 0.03, 0.00
Linux sys2 2.6.9-1.681_FC3smp #1 SMP Thu Nov 18 15:25:11 EST 2004 i686 i686i386 GNU/Linux

# 0 - boot, 1 - OS, data (LVM on RAID)
[root@sys2 root]# cat /proc/mdstat
Personalities : [raid1] [raid5]
md0 : active raid1 hdc1[2] hdb1[1] hda1[0]
      264960 blocks [3/3] [UUU]

md1 : active raid5 hdc2[2] hdb2[1] hda2[0]
      312046080 blocks level 5, 256k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>
[root@sys2 root]# hdparm -tT /dev/md{0,1} /dev/hda

/dev/md0:
 Timing cached reads:   3764 MB in  2.00 seconds = 1881.35 MB/sec
 Timing buffered disk reads:  164 MB in  3.01 seconds =  54.57 MB/sec

/dev/md1:
 Timing cached reads:   3708 MB in  2.00 seconds = 1854.28 MB/sec
 Timing buffered disk reads:  114 MB in  3.03 seconds =  37.65 MB/sec

/dev/hda:
 Timing cached reads:   3752 MB in  2.00 seconds = 1875.35 MB/sec
 Timing buffered disk reads:  164 MB in  3.01 seconds =  54.57 MB/sec
------------------------------------------------------------------------

-- 
Regards,
  Doncho N. Gunchev    Registered Linux User #291323 at counter.li.org
  GPG-Key-ID: 1024D/DA454F79                        http://pgp.mit.edu
  Key fingerprint = 684F 688B C508 C609 0371  5E0F A089 CB15 DA45 4F79

Attachment: pgpXlgPcukPFo.pgp
Description: PGP signature