none
Virtual Fiber Channel - Linux RRS feed

  • Общие обсуждения

  • Добрый день. Нужна помошь.

    Хост Hyper-v 2012 r2 , storage - Eva4400, 2 San свитча.
    Архитектура такая. Хост подключается к по 2 оптическим каналам к San свитчам, каждый San свитч в свою очередь подключается к 2 контролерам Eva 4400.
    Пытаюсь подключить Virtual Fiber Channel под Oracle Linux 7.
    Все нормально работает и подключается, устанавливается multipath. Просто в логе message каждые 2 секунды
    Oct  7 05:28:03 srv kernel: hv_storvsc vmbus_0_5: cmd 0x0 scsi status 0x0 srb status 0x0
    Oct  7 05:28:03 srv kernel: hv_storvsc vmbus_0_5: cmd 0xa3 scsi status 0x0 srb status 0x12
    Oct  7 05:28:03 srv kernel: hv_storvsc vmbus_0_6: cmd 0x0 scsi status 0x0 srb status 0x0
    Oct  7 05:28:03 srv kernel: hv_storvsc vmbus_0_6: cmd 0xa3 scsi status 0x0 srb status 0x12

    [root@srv log]# cat /proc/scsi/scsi
    Attached devices:
    Host: scsi0 Channel: 00 Id: 00 Lun: 00
      Vendor: Msft     Model: Virtual Disk     Rev: 1.0
      Type:   Direct-Access                    ANSI  SCSI revision: 04
    Host: scsi1 Channel: 00 Id: 00 Lun: 00
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   RAID                             ANSI  SCSI revision: 05
    Host: scsi1 Channel: 00 Id: 00 Lun: 01
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   Direct-Access                    ANSI  SCSI revision: 05
    Host: scsi1 Channel: 00 Id: 01 Lun: 00
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   RAID                             ANSI  SCSI revision: 05
    Host: scsi1 Channel: 00 Id: 01 Lun: 01
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   Direct-Access                    ANSI  SCSI revision: 05
    Host: scsi2 Channel: 00 Id: 00 Lun: 00
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   RAID                             ANSI  SCSI revision: 05
    Host: scsi2 Channel: 00 Id: 00 Lun: 01
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   Direct-Access                    ANSI  SCSI revision: 05
    Host: scsi2 Channel: 00 Id: 01 Lun: 00
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   RAID                             ANSI  SCSI revision: 05
    Host: scsi2 Channel: 00 Id: 01 Lun: 01
      Vendor: HP       Model: HSV300           Rev: 1120
      Type:   Direct-Access                    ANSI  SCSI revision: 05

    Может кто то поможет разобратся в чем проблема.

    7 октября 2014 г. 1:29

Все ответы

  • Я думаю вопрос в хранилише EVA4400
    Обьясните плиз что подразумевается.
    While using virtual fibre channel devices, ensure that logical unit number 0 (LUN 0) has been populated. If LUN 0 has not been populated, a Linux virtual machine might not be able to mount fibre channel devices natively.

    В Centos 7 не распознает вообше луны.
    [root@centosrv ~]# cat /proc/scsi/scsi
    Attached devices:
    Host: scsi0 Channel: 00 Id: 00 Lun: 00
      Vendor: Msft     Model: Virtual Disk     Rev: 1.0
      Type:   Direct-Access                    ANSI  SCSI revision: 04
    Host: scsi1 Channel: 00 Id: 00 Lun: 00
      Vendor:          Model:                  Rev:
      Type:   Direct-Access                    ANSI  SCSI revision: 00
    Host: scsi1 Channel: 00 Id: 00 Lun: 01
      Vendor:          Model:                  Rev:
      Type:   Direct-Access                    ANSI  SCSI revision: 00
    Host: scsi2 Channel: 00 Id: 00 Lun: 00
      Vendor:          Model:                  Rev:
      Type:   Direct-Access                    ANSI  SCSI revision: 00
    Host: scsi2 Channel: 00 Id: 00 Lun: 01
      Vendor:          Model:                  Rev:
      Type:   Direct-Access                    ANSI  SCSI revision: 00
    9 октября 2014 г. 5:28
  • Пример: есть 3 LUN'a , к-ые хотите презентовать хосту. 

    Некоторые инженеры (и порой правильно) не начинают нумерацию LUN'ов с 0 и до 2 (на стороне SAN) , а 1,2,3 и т.д.  Данная заметка говорит о том, что нужно начинать именно с LUN 0 и далее. Таким образом он будет populated ~ задействован

    P.S. есть @резервирование@ и не рекомендация самого LUN 0 в нек-ых моделях SAN. Более точно, к сожалению, вспомнить не могу. Если потребуется, то рассмотрим более детально.

    Пример для Вашей EVA4400


    Roman Levchenko, MCSA, MCITP, MCTS http://www.rlevchenko.com

    9 октября 2014 г. 12:25
  • У меня LUN который презентрован для Virtual F Channel - LUN 1.
    Нумерация достыпных LUN ов на EVA4400 начинается с 1.
    Вот пример на Oracle Linux 7

    [root@orasrv ~]# lsscsi -x
    [2:0:0:0x0000]              disk    Msft     Virtual Disk     1.0   /dev/sda
    [4:0:0:0x0000]              storage HP       HSV300           1120  -
    [4:0:0:0x0001]              disk    HP       HSV300           1120  /dev/sdb
    [4:0:1:0x0000]              storage HP       HSV300           1120  -
    [4:0:1:0x0001]              disk    HP       HSV300           1120  /dev/sdc
    [5:0:0:0x0000]              storage HP       HSV300           1120  -
    [5:0:0:0x0001]              disk    HP       HSV300           1120  /dev/sdd
    [5:0:1:0x0000]              storage HP       HSV300           1120  -
    [5:0:1:0x0001]              disk    HP       HSV300           1120  /dev/sde

    А вот Centos 7

    [root@centos ~]# lsscsi -x
    [0:0:0:0x0000]              disk    Msft     Virtual Disk     1.0   /dev/sda
    [1:0:0:0x0000]              disk                                    /dev/sdb
    [1:0:0:0x0001]              disk                                    /dev/sdc
    [2:0:0:0x0000]              disk                                    /dev/sdd
    [2:0:0:0x0001]              disk                                    /dev/sde

    То что пометил болдом именно LUN 0. Которая по видимо висит на аппаратном уровне. Так как диск который был презентован имеет LUN 1. 

    У меня EVA4400 не подключается как iSCSI а как FC.

    9 октября 2014 г. 14:26
  • Как я понял FC под линух подразумевает чтобы LUN 0 был диском т.е был задействован как диск.
    В моем случае получается LUN 0 это комуникационный.
    С насройках EVA нашел

    Console LUNs


    9 октября 2014 г. 21:29
  • Я бы посоветовал пообщаться с самим вендором на этот счет. К сожалению, опыта работы EVA+Linux не было. У HP отличный chat support. Можем сделать запрос, если необходимо.

    Roman Levchenko, MCSA, MCITP, MCTS http://www.rlevchenko.com

    15 октября 2014 г. 8:47
  • Eva + Linux у меня работает со всеми multipath. Но Linux работает на хостовом  сервере а не в виртуалке.
    В данном случае вопрос именно в Linux integration services для Hyper-V, дело в виртуальных FC драйверах.
    Не думаю что HP может ответить.
    17 октября 2014 г. 14:29
  • Под Oracle Linux 7 все диски видны нормально. Просто при каждом запросе на диск в message.log выдает

    kernel: hv_storvsc vmbus_0_14: cmd 0x0 scsi status 0x0 srb status 0x0

    uname -a

    Linux ora 3.8.13-44.1.5.el7uek.x86_64 #2 SMP Wed Nov 12 12:55:08 PST 2014 x86_64 x86_64 x86_64 GNU/Linux

    [root@ora log]# lsscsi -x
    [2:0:0:0x0000]              disk    Msft     Virtual Disk     1.0   /dev/sda
    [3:0:0:0x0000]              storage HP       HSV300           1130  -
    [3:0:0:0x0001]              disk    HP       HSV300           1130  /dev/sdb
    [3:0:1:0x0000]              storage HP       HSV300           1130  -
    [3:0:1:0x0001]              disk    HP       HSV300           1130  /dev/sdc
    [4:0:0:0x0000]              storage HP       HSV300           1130  -
    [4:0:0:0x0001]              disk    HP       HSV300           1130  /dev/sdd
    [4:0:1:0x0000]              storage HP       HSV300           1130  -
    [4:0:1:0x0001]              disk    HP       HSV300           1130  /dev/sde

    Lun 0 презентован как storage. Возможно ошибка в этом?

    Вот отрывок лога при включенном scsi loging на 7.

    kernel: sd 4:0:1:1: [sde] Done:
    kernel: 0xffff8800365b9180 SUCCESS
    kernel: sd 4:0:1:1: [sde]
    kernel: Result: hostbyte=DID_OK driverbyte=DRIVER_OK
    kernel: sd 4:0:1:1: [sde] CDB:
    kernel: Read(10): 28 00 00 00 00 00 00 00 08 00
    kernel: sd 4:0:1:1: [sde] scsi host busy 1 failed 0
    kernel: sd 4:0:1:1: Notifying upper driver of completion (result 0)
    kernel: sd 4:0:1:1: [sde]
    kernel: Result: hostbyte=DID_OK driverbyte=DRIVER_OK
    kernel: 8 sectors total, 4096 bytes done.
    kernel: sd 4:0:1:1: [sde] sd_prep_fn: block=8, count=8
    kernel: sd 4:0:1:1: [sde] block=8
    kernel: sd 4:0:1:1: [sde] reading 8/8 512 byte blocks.
    kernel: sd 4:0:1:1: [sde] Send:
    kernel: 0xffff8800365b9180
    kernel: sd 4:0:1:1: [sde] CDB:
    kernel: Read(10): 28 00 00 00 00 08 00 00 08 00
    kernel: buffer = 0xffff880100fb6c80, bufflen = 4096, queuecommand 0xffffffffa01024c0
    kernel: leaving scsi_dispatch_cmnd()
    kernel: sd 4:0:1:1: [sde] Done:
    kernel: 0xffff8800365b9180 SUCCESS
    kernel: sd 4:0:1:1: [sde]
    kernel: Result: hostbyte=DID_OK driverbyte=DRIVER_OK
    kernel: sd 4:0:1:1: [sde] CDB:
    kernel: Read(10): 28 00 00 00 00 08 00 00 08 00
    kernel: sd 4:0:1:1: [sde] scsi host busy 1 failed 0
    kernel: sd 4:0:1:1: Notifying upper driver of completion (result 0)
    kernel: sd 4:0:1:1: [sde]
    kernel: Result: hostbyte=DID_OK driverbyte=DRIVER_OK
    kernel: 8 sectors total, 4096 bytes done.
    kernel: sd 4:0:1:1: [sde] sd_release
    kernel: sd 4:0:1:1: [sde] sd_check_events
    kernel: scsi_block_when_processing_errors: rtn: 1
    kernel: sd 4:0:1:1: Send:
    kernel: 0xffff8800365b9180
    kernel: sd 4:0:1:1: CDB:
    kernel: Test Unit Ready: 00 00 00 00 00 00
    kernel: buffer = 0x          (null), bufflen = 0, queuecommand 0xffffffffa01024c0
    kernel: leaving scsi_dispatch_cmnd()
    kernel: hv_storvsc vmbus_0_14: cmd 0x0 scsi status 0x0 srb status 0x0
    kernel: sd 4:0:1:1: Done:
    kernel: 0xffff8800365b9180 SUCCESS
    kernel: sd 4:0:1:1:
    kernel: Result: hostbyte=DID_OK driverbyte=DRIVER_OK
    kernel: sd 4:0:1:1: CDB:
    kernel: Test Unit Ready: 00 00 00 00 00 00

    18 ноября 2014 г. 12:49