none
Schwankende Datenübertragung 10GBit/s Netzwerk RRS feed

  • Frage

  • Hallo zusammen,

    ich habe zwei Serversysteme zu Testzwecken aufgebaut.

    Hardware: 2 x Intel XEON E5-2640v4 / 8 * 32 GB RAM / R2208WTTYSR Barebone / 2 * 180 GB SSD im RAID 1 für OS / 8 * 1,6 TB Intel DC S3500 SSD im RAID 10 für die Daten

    Software: Windows Server 2016 DC

    Das System habe ich zweimal! Die beiden 10 GBit/s NICs habe ich im Team laufen und an einem Netgear XS708T angeschlossen. Jumbo Frames sind aktiviert (9000).

    Für eine spätere Hyper-V Umgebung wollte ich testen, wie schnell die Datenübertragung zwischen den Systemen ist. Anfangs sieht alles noch sehr gut aus mit Werten um die 1 GB/s, dann fällt die Kurve ab und fällt bis auf Werte um die 90 MB/s.

    Den Transfertest führe ich über den Windows Explorer aus. testdateigröße 100GB.

    Hat Jemand Erfahrung mit diesem Phänomen?

    Vielen Dank im Voraus!
    Daniel


    • Bearbeitet DSH_MS Mittwoch, 30. November 2016 15:08 Schreibfehler
    Mittwoch, 30. November 2016 15:07

Antworten

  • > Für eine spätere Hyper-V Umgebung wollte ich testen, wie schnell die Datenübertragung zwischen den Systemen ist. Anfangs sieht alles noch sehr gut aus mit Werten um die 1 GB/s, dann fällt die Kurve ab und fällt bis auf Werte um die 90 MB/s.
     
     
    Mittwoch, 30. November 2016 15:14
  • Moin,

    einige Punkte:

    1. FakeRAID ist in aller Regel für SSD noch weniger geeignet als richtiges RAID. Ich würde das Ganze damit testen, dass ich RAID auf dem Board komplett ausschalte und das mit einer *einzelnen* SSD teste. Deine großen Platten sind mit 175 MB/s sequentiell angegeben, das sind ohne Overhead 1400 Mbps, die Du erreichen könntest. Erreichst Du sie, wenn Du z.B. Deine Test-Datei lokal vom RAID10 auf RAID1 kopierst?

    2. Hast Du dich auch vergewissert, dass Jumbo Frames durch die ganze Signalkette durchgehen? Dein Switch ist mit "bis zu 9K" angegeben, je nachdem, wie sie zählen, können es ein paar Byte weniger sein als auf den NICs, und schon wird fragmentiert...

    3. Ist TCP offload (RSS, Chimney usw.) aktiviert: a. im BIOS der NICs, b. in den Windows-Eigenschaften der NICs, c. in Windows?

    4. Ändert sich das Verhalten, wenn Du das Team auflöst und das Ganze mit einem einzelnen 10G-Adapter auf beiden Seiten versuchst?

    5. Ist a. die Firmware und b. der Treiber der NICs aktuell?

    6. Ist die reine Netzwerkübertragung performant genug? (https://iperf.fr/ )

    7. Ist sichergestellt, dass SMB3 zwischen den Maschinen genutzt wird?

    Das schon mal für den Anfang. Im Zuge der Beantwortung dieser Fragen präsentiert sich in der Regel die Ursache...


    Evgenij Smirnov

    I work @ msg services ag, Berlin -> http://www.msg-services.de
    I blog (in German) @ http://it-pro-berlin.de
    my stuff in PSGallery --> https://www.powershellgallery.com/profiles/it-pro-berlin.de/
    Exchange User Group, Berlin -> http://exusg.de
    Windows Server User Group, Berlin -> http://www.winsvr-berlin.de
    Mark Minasi Technical Forum, reloaded -> http://newforum.minasi.com

    Mittwoch, 30. November 2016 18:01

Alle Antworten

  • > Für eine spätere Hyper-V Umgebung wollte ich testen, wie schnell die Datenübertragung zwischen den Systemen ist. Anfangs sieht alles noch sehr gut aus mit Werten um die 1 GB/s, dann fällt die Kurve ab und fällt bis auf Werte um die 90 MB/s.
     
     
    Mittwoch, 30. November 2016 15:14
  • Moin,

    einige Punkte:

    1. FakeRAID ist in aller Regel für SSD noch weniger geeignet als richtiges RAID. Ich würde das Ganze damit testen, dass ich RAID auf dem Board komplett ausschalte und das mit einer *einzelnen* SSD teste. Deine großen Platten sind mit 175 MB/s sequentiell angegeben, das sind ohne Overhead 1400 Mbps, die Du erreichen könntest. Erreichst Du sie, wenn Du z.B. Deine Test-Datei lokal vom RAID10 auf RAID1 kopierst?

    2. Hast Du dich auch vergewissert, dass Jumbo Frames durch die ganze Signalkette durchgehen? Dein Switch ist mit "bis zu 9K" angegeben, je nachdem, wie sie zählen, können es ein paar Byte weniger sein als auf den NICs, und schon wird fragmentiert...

    3. Ist TCP offload (RSS, Chimney usw.) aktiviert: a. im BIOS der NICs, b. in den Windows-Eigenschaften der NICs, c. in Windows?

    4. Ändert sich das Verhalten, wenn Du das Team auflöst und das Ganze mit einem einzelnen 10G-Adapter auf beiden Seiten versuchst?

    5. Ist a. die Firmware und b. der Treiber der NICs aktuell?

    6. Ist die reine Netzwerkübertragung performant genug? (https://iperf.fr/ )

    7. Ist sichergestellt, dass SMB3 zwischen den Maschinen genutzt wird?

    Das schon mal für den Anfang. Im Zuge der Beantwortung dieser Fragen präsentiert sich in der Regel die Ursache...


    Evgenij Smirnov

    I work @ msg services ag, Berlin -> http://www.msg-services.de
    I blog (in German) @ http://it-pro-berlin.de
    my stuff in PSGallery --> https://www.powershellgallery.com/profiles/it-pro-berlin.de/
    Exchange User Group, Berlin -> http://exusg.de
    Windows Server User Group, Berlin -> http://www.winsvr-berlin.de
    Mark Minasi Technical Forum, reloaded -> http://newforum.minasi.com

    Mittwoch, 30. November 2016 18:01
  • Hallo,

    Für Performancetests ist der Windows Explorer denkbar ungeeignet. Inbesondere um das Netzwerk auszuschließen, solltest du mit einem Tool wie NetIO den Durchsatz testen (das gibt es mittlerweile auch mit GUI):

    https://sourceforge.net/projects/netiogui/

    Wenn diese Tests unauffällig sind, dann kann man weitersehen.


    Gruß, Patrick

    Samstag, 3. Dezember 2016 20:34