После обновления Ubuntu перестал работать raid

[swetaketo]

Здравствуйте. Мой первый вопрос в интернет про линукс.

 До сих пор как-то всё находилось поисковиком.

 Я сижу на Ubuntu 9.10, на которую обновился почти сразу после релиза.

 Какая версия была до этого - не помню, но наверняка предыдущая, т.к. это было моё первое обновление, а обновляться я стремился (возможно, по наивности и излишнему любопытству) на всё новое и как можно скорее.

 Так вот, помимо проблемы с сетью, которая, как выяснилось, стандартна для этой версии, вылезла у меня ещё одна бяка, куда более обидная, чем кривой нетворк манагер.

 Как только я установил систему (ещё предыдущую версию), я сразу же настроил raid (через mdadm). И после обновления рэйд этот у меня перестал работать напрочь. Я долго расстраивался и пытался собрать обратно, но не получалось. А именно:

 Рэйд был собран из двух одинаковых дисков WD, на которых были созданы одинаковые разделы /dev/sdb1 и /dev/sdc1 с флагами linux raid. После обновления устройства, соответствующие этим разделам перестали создаваться в /dev/. Хотя Gparted их охотно показывал, как наличествующие. Я долго пытался всё это дело доделать и собрать, но, наконец, плюнул. Загрузился с LiveCD PMagic, все устройства создались, я смонтировал разделы в режиме ридонли и быстренько слил всё с них на резервный диск от греха подальше.

 Дальше я захотел получить просто свои диски, включённые ранее в рэйд обратно, голыми и девственными, чтобы просто создать на них ext3 и использовать в обычном нерэйдовом режиме, иногда синхронизируя rsync'ом. Но не тут-то было.

 Зайдя в gparted, я увидел там свои диски, которые на теперешний момент стали sdc и sdd, т.к. диск, на который я всё с них сливал ещё в системе, и он их потеснил. На них в gparted видны разделы sdc1 и sdd1, занимающие весь диск. Но переформатировать их не получается. Вот какая ругань:

 GParted 0.4.5

 Libparted 1.8.8.1.159-1e0e

 Format /dev/sdc1 as ext3 00:00:01 ( ERROR )

 calibrate /dev/sdc1 00:00:00 ( SUCCESS )

 path: /dev/sdc1
 start: 63
 end: 976768064
 size: 976768002 (465.76 GiB)

 set partition type on /dev/sdc1 00:00:01 ( SUCCESS )

 new partition type: ext3

 create new ext3 file system 00:00:00 ( ERROR )

 mkfs.ext3 -L "" /dev/sdc1

 mke2fs 1.41.9 (22-Aug-2009)
 Could not stat /dev/sdc1 --- No such file or directory
 
 The device apparently does not exist; did you specify it correctly?

 Если попробовать произвести аналогичную процедуру в PMagic, то он ругается на то, что

 The device is apparently in use. При этом файловая система не смонтирована и ни один процесс, на сколько мне удалось это выяснить, диски эти не использует.

 Зато в /dev/mapper/ создаётся устройство со страшным названием, которое явно отвечает за оба этих диска. Понял я это только когда увидел в gparted это самое устройство и решил его отформатировать, после чего разделы sdc1 и sdd1 перестали нормально монтироваться. Устройство в /dev/mapper/ появляется, и в моей Ubuntu, и в PMagic.

 При удалении его в Ubuntu, после перезагрузки оно возникает опять.

 Моя цель - получить чистые диски, и конечно можно было бы как-нибудь с ними по-жесткому расправиться, засунув их, скажем, в другой компьютер по отдельности и отформатировать там. Но хотелось бы разобраться, что это за устройство в /dev/mapper и как с ним бороться. К сожалению, в интернете я практически не нашел понятных и полезных мне ссылок на эту или похожую тему, так что обращаюсь к вам на форум за помощью.

[log]

Рэйд был собран из двух одинаковых дисков WD, на которых были созданы одинаковые разделы /dev/sdb1 и /dev/sdc1 с флагами linux raid.

Прошу прощения, если пропустил... Флаги рейда сняли с винтов?
 И покажите fdisk -l /dev/sd*

[swetaketo]

Флагов кажется нету. По крайней мере я их нигде больше не вижу.
Fdisk показывает тип фс 83, а раньше было fd.
Gparted тоже не показывает наличия никаких флагов.

Cкриншот Gparted
[attachment=128:Linux Forum Казахстан-111.png]

fdisk -l /dev/sd*
[codebox]
swetaketo@swetaketo-pc:~/Desktop$ sudo fdisk -l /dev/sd*

Disk /dev/sda: 250.1 GB, 250059350016 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x4b6b4b6b

 Device Boot    Start    End    Blocks Id System
/dev/sda1 *    1    9772   78493558+ 7 HPFS/NTFS
/dev/sda2    9773    30401 165702442+ 5 Extended
/dev/sda5    30380    30401    176683+ 82 Linux swap / Solaris
/dev/sda6    9773    30379 165525664+ 83 Linux

Partition table entries are not in disk order

Disk /dev/sda1: 80.4 GB, 80377403904 bytes
255 heads, 63 sectors/track, 9771 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x69205244

This doesn't look like a partition table
Probably you selected the wrong device.

    Device Boot    Start    End    Blocks Id System
/dev/sda1p1 ?    13578    119522 850995205 72 Unknown
Partition 1 does not end on cylinder boundary.
/dev/sda1p2 ?    45382    79243 271987362 74 Unknown
Partition 2 does not end on cylinder boundary.
/dev/sda1p3 ?    10499    10499    0 65 Novell Netware 386
Partition 3 does not end on cylinder boundary.
/dev/sda1p4    167628    167631    25817+ 0 Empty
Partition 4 does not end on cylinder boundary.

Partition table entries are not in disk order

Disk /dev/sda5: 180 MB, 180923904 bytes
255 heads, 63 sectors/track, 21 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sda5 doesn't contain a valid partition table

Disk /dev/sda6: 169.5 GB, 169498280448 bytes
255 heads, 63 sectors/track, 20606 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sda6 doesn't contain a valid partition table

Disk /dev/sdb: 160.0 GB, 160041885696 bytes
255 heads, 63 sectors/track, 19457 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x5e8fc52d

 Device Boot    Start    End    Blocks Id System
/dev/sdb1    1    17701 142183251 83 Linux

Disk /dev/sdb1: 145.6 GB, 145595649024 bytes
255 heads, 63 sectors/track, 17700 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x00000000

Disk /dev/sdb1 doesn't contain a valid partition table

Disk /dev/sdc: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x1ada1ada

 Device Boot    Start    End    Blocks Id System
/dev/sdc1    1    60801 488384001 83 Linux

Disk /dev/sdd: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x1ada1ada

 Device Boot    Start    End    Blocks Id System
/dev/sdd1    1    60800 488375968+ 83 Linux
[/codebox]

[log]

Файл /etc/mdadm.conf Вам говорит о чем нибудь? Вся конфа рейда в нем. Попробуйте его переименовать, перезагрузиться и отформатировать диски.

[swetaketo]

Файл /etc/mdadm.conf Вам говорит о чем нибудь? Вся конфа рейда в нем. Попробуйте его переименовать, перезагрузиться и отформатировать диски.

Спасибо за совет.
Да, конечно говорит. Его приходилось править при настройке массива.
Переименовал, перезагрузился. Всё осталось по прежнему.

Мне кажется, mdadm не причём, /proc/mdstat пуст, mdadm scan не показывал рэйд устройств, а теперь ещё и ругается на отсутствие конфигурации.
Но если причём, могу его вообще из системы стереть...

[swetaketo]

удалил mdadm
перезагрузился
безрезультатно
gparted пишет device is apparently in use

[log]

ок. давайте показывайте mount http://linuxforum.kz/public/style_emoticons/<#EMO_DIR#>/wink.gif\' class=\'bbc_emoticon\' alt=\';)\' />
А если так: mkfs.ext3 /dev/sdc1 или так mkfs.ext3 /dev/sdc?

[swetaketo]

ок. давайте показывайте mount http://linuxforum.kz/public/style_emoticons/<#EMO_DIR#>/wink.gif\' class=\'bbc_emoticon\' alt=\';)\' />
А если так: mkfs.ext3 /dev/sdc1 или так mkfs.ext3 /dev/sdc?

mount:
[codebox]
root@swetaketo-pc:/# mount
/dev/sda6 on / type ext3 (rw,relatime,errors=remount-ro)
proc on /proc type proc (rw)
none on /sys type sysfs (rw,noexec,nosuid,nodev)
none on /sys/fs/fuse/connections type fusectl (rw)
none on /sys/kernel/debug type debugfs (rw)
none on /sys/kernel/security type securityfs (rw)
udev on /dev type tmpfs (rw,mode=0755)
none on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
none on /dev/shm type tmpfs (rw,nosuid,nodev)
none on /var/run type tmpfs (rw,nosuid,mode=0755)
none on /var/lock type tmpfs (rw,noexec,nosuid,nodev)
none on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
none on /var/lib/ureadahead/debugfs type debugfs (rw)
none on /proc/fs/vmblock/mountPoint type vmblock (rw)
binfmt_misc on /proc/sys/fs/binfmt_misc type binfmt_misc (rw,noexec,nosuid,nodev)
gvfs-fuse-daemon on /home/swetaketo/.gvfs type fuse.gvfs-fuse-daemon (rw,nosuid,nodev,user=swetaketo)
root@swetaketo-pc:/#
[/codebox]

mkfs:
[codebox]
root@swetaketo-pc:/# mkfs.ext3 /dev/sdc1
mke2fs 1.41.9 (22-Aug-2009)
Could not stat /dev/sdc1 --- No such file or directory
The device apparently does not exist; did you specify it correctly?


root@swetaketo-pc:/# mkfs.ext3 /dev/sdc
mke2fs 1.41.9 (22-Aug-2009)
/dev/sdc is entire device, not just one partition!
Proceed anyway? (y,n) y
/dev/sdc is apparently in use by the system; will not make a filesystem here!
root@swetaketo-pc:/#
[/codebox]

[log]

Ладно, давайте посмотрим, кто же юзает наш диск

Код [Выделить] Expand

fuser -cv /dev/sdс

[swetaketo]

Ладно, давайте посмотрим, кто же юзает наш диск

Код [Выделить] Expand

fuser -cv /dev/sdс

эх, и это, к сожалению, уже пробовал
[codebox]root@swetaketo-pc:/# fuser -cv /dev/sdc
    USER    PID ACCESS COMMAND
/dev/sdc:    root    3479 f.... hddtemp
root@swetaketo-pc:/# kill 3479
root@swetaketo-pc:/# fuser -cv /dev/sdc
root@swetaketo-pc:/# mkfs.ext3 /dev/sdc1
mke2fs 1.41.9 (22-Aug-2009)
Could not stat /dev/sdc1 --- No such file or directory
The device apparently does not exist; did you specify it correctly?
root@swetaketo-pc:/# mkfs.ext3 /dev/sdc
mke2fs 1.41.9 (22-Aug-2009)
/dev/sdc is entire device, not just one partition!
Proceed anyway? (y,n) y
/dev/sdc is apparently in use by the system; will not make a filesystem here!
root@swetaketo-pc:/#
[/codebox]

[log]

А что создается в /dev/mapper ?
fdisk /dev/sdc или cfdisk /dev/sdc пробовали?

[swetaketo]

А что создается в /dev/mapper ?
fdisk /dev/sdc или cfdisk /dev/sdc пробовали?

В /dev/mapper/ создаётся isw_bfhjfjbei_data500.
Там есть и другие файлы, но в GParted видно только это устройство

Код [Выделить] Expand

root@swetaketo-pc:/# ls -l /dev/mapper/
total 0
crw-rw---- 1 root root 10, 60 2010-02-28 00:27 control
brw-rw---- 1 root disk 252, 0 2010-02-28 00:27 isw_bfhjfjbei_data500
brw-rw---- 1 root disk 252, 1 2010-02-28 18:01 isw_bfhjfjbei_data5001
brw-rw---- 1 root disk 252, 2 2010-02-28 18:02 isw_bfhjfjbei_data500p1
fdisk и cfdisk отрабатывают вроде нормально - удаляют и создают разделы в любом количестве и без ругани,
но файлы устройств не создаются. В Gparted они видны, но при попытке отформатировать их возникает та же самая проблема.

[log]

Давайте lsmod глянем
и попробуйте

Код [Выделить] Expand

dmsetup remove_all

[swetaketo]

Давайте lsmod глянем
и попробуйте

Код [Выделить] Expand

dmsetup remove_all

dmsetup remove_all отработал без ошибок, устройства по прежнему заняты

lsmod:
[codebox]root@swetaketo-pc:/# lsmod
Module    Size Used by
binfmt_misc    8356 1
vmnet    43004 13
ppdev    6688 0
parport_pc    31940 0
vmblock    12444 1
vsock    39904 0
vmci    54388 1 vsock
vmmon    73100 0
xt_limit    2176 8
xt_tcpudp    2780 7
ipt_LOG    5344 8
ipt_MASQUERADE    2204 0
xt_DSCP    2844 0
ipt_REJECT    2812 1
nf_conntrack_irc    4992 0
nf_conntrack_ftp    6880 0
xt_state    1820 6
iptable_nat    5500 0
nf_nat    17808 2 ipt_MASQUERADE,iptable_nat
nf_conntrack_ipv4    13352 9 iptable_nat,nf_nat
nf_conntrack    67608 7 ipt_MASQUERADE,nf_conntrack_irc,nf_conntrack_ftp,xt_state,iptable_nat,nf_nat,nf_conntrack_ipv4
nf_defrag_ipv4    1756 1 nf_conntrack_ipv4
iptable_mangle    3452 0
snd_hda_codec_realtek 203328 1
snd_hda_intel    26920 2
snd_hda_codec    75708 2 snd_hda_codec_realtek,snd_hda_intel
snd_hwdep    7200 1 snd_hda_codec
snd_pcm_oss    37920 0
snd_mixer_oss    16028 1 snd_pcm_oss
snd_pcm    75296 3 snd_hda_intel,snd_hda_codec,snd_pcm_oss
snd_seq_dummy    2656 0
snd_seq_oss    28576 0
snd_seq_midi    6432 0
snd_rawmidi    22208 1 snd_seq_midi
snd_seq_midi_event    6940 2 snd_seq_oss,snd_seq_midi
snd_seq    50224 6 snd_seq_dummy,snd_seq_oss,snd_seq_midi,snd_seq_midi_event
snd_timer    22276 2 snd_pcm,snd_seq
snd_seq_device    6920 5 snd_seq_dummy,snd_seq_oss,snd_seq_midi,snd_rawmidi,snd_seq
snd    59204 16 snd_hda_codec_realtek,snd_hda_intel,snd_hda_codec,snd_hwdep,snd_pcm_oss,snd_mixer_oss,snd_pcm,snd_seq_oss,snd_rawmidi,snd_seq,snd_timer,snd_seq_device
soundcore    7264 1 snd
snd_page_alloc    9156 2 snd_hda_intel,snd_pcm
psmouse    56500 0
iptable_filter    3100 1
ip_tables    11692 3 iptable_nat,iptable_mangle,iptable_filter
x_tables    16544 9 xt_limit,xt_tcpudp,ipt_LOG,ipt_MASQUERADE,xt_DSCP,ipt_REJECT,xt_state,iptable_nat,ip_tables
asus_atk0110    8252 0
joydev    10240 0
serio_raw    5280 0
lp    8964 0
parport    35340 3 ppdev,parport_pc,lp
dm_raid45    84228 0
xor    15620 1 dm_raid45
usb_storage    52576 0
usbhid    38208 0
floppy    54916 0
atl1e    31824 0
intel_agp    27484 0
agpgart    34988 1 intel_agp
root@swetaketo-pc:/# [/codebox]

[log]

Вот он!
dm_raid45 -удалять
и еще посмотрите modinfo xor

[swetaketo]

Вот он!
dm_raid45 -удалять
и еще посмотрите modinfo xor

После

Код [Выделить] Expand

root@swetaketo-pc:/home/swetaketo# lsmod | grep dm
dm_raid45 84228 0
xor 15620 1 dm_raid45
root@swetaketo-pc:/home/swetaketo# modprobe -r dm_raid45
root@swetaketo-pc:/home/swetaketo# lsmod | grep dm
root@swetaketo-pc:/home/swetaketo# lsmod | grep xor
root@swetaketo-pc:/home/swetaketo#
GParted всё равно отказывается форматировать

А после перезагрузки, модули появляются опять

[swetaketo]

читаю man dmraid, очень интересно http://linuxforum.kz/public/style_emoticons/<#EMO_DIR#>/smile.gif\' class=\'bbc_emoticon\' alt=\':)\' />

...кажется процесс пошел...

[log]

Отпишитесь потом.

[swetaketo]

Отпишитесь потом.

Итак... ПОБЕДА!

man dmraid:

dmraid - discover, configure and activate software (ATA)RAID

DESCRIPTION
    dmraid discovers block and software RAID devices (eg, ATARAID) [size="2"]by using
    multiple different metadata format handlers[/size] which support various for‐
    mats (eg, Highpoint 37x series). It offers activating RAID sets made
    up by 2 or more discovered RAID devices, display properties of devices
    and sets (see option -l for supported metadata formats). [size="2"]Block device
    access to activated RAID sets occurs via device-mapper nodes /dev/map‐
    per/RaidSetName[/size]. и т.д.

То есть, как я понял:
1) именно этот модуль арудует в /dev/mapper
2) хранит на дисках метаданные, которые и использует

Дальше:
dmraid -r
должна выводить устройства, задействованные в рейд-массивах и содержащие метаданные, что и сделала, указав, что на sdc и sdd содержатся метаданные двух типов: isw и, кажется, ils (что в прочем не важно).
dmraid -r -E
удаляет метаданные с устройств, предварительно спрашивая подтверждения для каждого (потребовалось запустить дважды - по одному для каждого типа метаданных)
dmraid -x
удаляет рэйд-массивы, но т.к. на дисках уже никаких данных не осталось, то и массива не существует, а потому был вывод: no raid disks

В результате:
- устройства из /dev/mapper/ удалились автоматически
- sdc и sdd перестали быть заняты системой и отлично отформатировались при помощи GParted, фс смонтировались и touch ura! отработал без ошибок

ИТОГ:
Проблема решена целиком и полностью: я более-менее разобрался что к чему и почему и получил полное соответствие поставленной цели

ЗА ЧТО ВЫРАЖАЮ ОГРОМНУЮ [size="5"]БЛАГОДАРНОСТЬ[/size] ВАМ, [size="6"]log[/size], ЗА ПОТРАЧЕННЫЕ ВРЕМЯ И СИЛЫ
И В ЦЕЛОМ КАЗАХСТАНСКОМУ ЛИНУКСФОРУМУ!!!
отмечая особо тот факт, что из трёх больших форумов, на которых я разместил описание проблемы с просьбой о помощи, лишь ваш один откликнулся и довел решение до конца

ВСЕМ СПАСИБО,[size="4"] ТЕМУ[size="2"], ДУМАЮ,[/size] МОЖНО СЧИТАТЬ ЗАКРЫТОЙ [/size]

[log]

Вам спасибо за интересную тему! http://linuxforum.kz/public/style_emoticons/<#EMO_DIR#>/rolleyes.gif\' class=\'bbc_emoticon\' alt=\':rolleyes:\' />