Bond in Bond?

Hallo zusammen,

aktuell plane ich eine Umstrukturierung unseres Netzwerkes - ich möchte gerne einen Server mit 4 LAN Ports an 2 Switche über eine IP Adresse anbinden.

Meine Idee war, dass ich eth0 und eth1 in bond0 (Mode 5) sowie eth2 und eth3 in bond1 (Mode 5) packe und aus bond0 und bond1 ein bond2 (Mode 1) mache. Meine Tests mit einer VM verliefen jedoch nur so, dass lediglich bond0 und bond1 funktionierten, bond2 selbst lief einfach nicht - sofern nur bond2 up war, kam keine Verbindung zustande. Stellenweise hat bond2 auch bond0 bzw. bond1 abgeschaltet oder nach dem abschalten von bond1 war dann auch bond2 down.

Ich habe nun dazu verschiedene Aussagen im Internet gefunden, die einen sagen das funktioniert nicht, die anderen das funktioniert erst ab Version X und die anderen haben sogar ein kleines Shell Script erstellt mit welchem es wohl funktionieren soll.

Hat mit so einem Setup vielleicht jemand Erfahrungen?
Ziel ist es, dass der Server über 2Gbit (NICHT 2x 1Gbit) verfügt aber gleichzeitig Ausfallsicher ist vom Netzwerk.

Danke!

Hallo,
Nehmen wir mal nur zwei Kabel (noch nicht 4 wie Du vorschlägst) - Möchte Dir hier einiges zeigen was das Problem ist.
Am Server machst Du eine Link Aggregation/Teaming/Bond, wie auch immer Du dem sagen möchtest. Das heisst das sich die Netzwerkkarten die MAC Adressen teilen. Da Du beide auf Aktiv/Aktiv hast und nicht auf Aktiv/Passiv hast. wird von jeder Netzwerkkarte an den jeweiligen Switch die MAC Adresse kommuniziert... Das Produziert nun aber ein ganz furchtbares PingPong spiel. In einem Netzwerk darf eine MAC nur einmalig sein.

Was hast Du nun für Möglichkeiten.
- Die einfachste Möglichkeit ist ein Aktiv/Passiv zu konfigurieren -> Wenn also Link A taucht wird LINK B erst effektiv aktiviert.
- Möglichkeit zwei um Aktiv/Aktiv zu fahren sind Switchs welche Du Stacken kannst (einfachste Möglichkeit für Aktiv/AKtiv)
- Möglichkeit drei Deine Switchs können VRRP

Jetzt ist die Frage, was Du willst ?
- Mehr Speed ? --> Nur wirklich Möglich über Upgrade auf 10/40/100GE (wenn 4x1 Gbits gebündelt wird. wird es nach round Robin aufgeteilt... kann schnell passieren das eine Leitung volle last hat und die andern 3 keine Last.)
- Mehr Sicherheit ? Guter Plan, denkt dann aber bitte auch daran, weitere Netzwerkkarten einzubauen (Meistens haben Onboard karten nur 1-2 Chips, fallen die aus ist alles Tod. deswegen gerne auf PCIX Karten noch setzen.

Tipp an Dich. Konfiguriere es zuerst ohne Bündelung und wenn es lauft, dann beginnen zu bündeln.

LG Alex

Hi Alex,

ziel ist es lediglich eine Redundanz mit zwei normalem HP ProCurve zu erzeugen um eben nicht auf Core Switche etc. ausweichen zu müssen, möchte ich dann eben in Netzwerkkarten und LAN Kabel investieren.

Sämtliche Setups die ich mir überlegt habe, sind letztlich nur A/P, denn ich will, dass nach außen (also zum Switch) lediglich das Active Backup sichtbar ist, d.h. es ist ja prinzipiell nur eine Leitung Aktiv damit die Switche das eben nicht durcheinander bringen. Dass sich der Traffic nicht korrekt und ohne weiteres über mehrere Switche teilen lässt, ist mir klar
Aber, das mit der MAC Adresse, hatte ich nicht bedacht. Damit dürfte bond0 und bond1 dann eine andere MAC haben als bond2.

4 Kabel ist bei dem einen Server aber ein muss, die Bandbreite muss möglichst hoch sein. Alle anderen Server bekommen 2 externe und 2 interne Uplinks im Active Backup Mode.

Es geht mir ja nicht unbedingt um mehr Speed sondern einfach nur um fette Bandbreite und das halt möglichst nur über eine IP Adresse. Ich meine letztlich kann ich auch einfach 2 Bondings machen und 2 IP Adressen in Proxmox eintragen, das spielt ja keine Rolle, da die Shares ja eh jeder Node zu sehen bekommt.

Da es hier in Richtung HA Cluster geht und die Nodes, sofern nicht vorhanden, eine weitere Netzwerkkarte bekommen, ist der Ausfall einer Karte nicht weiter tragisch. Unser R710 hat ja 2 Chips für 4 Ports - da ist also schon etwas Redundanz vorhanden.

Wie gesagt, die Tests liefen so wie sie sollten, bond0 und bond1 liefen, nur halt das Bonding aus den Bonds nicht. Ist ja nicht das erste mal, dass ich ein Bonding mache

HAb ich schon geschrieben bevor ich das 2x2 gelesen habe.

---
Nun will ich aber auf Deine Config eingehen "2 Interne und 2 externe Uplinks" - Ich gehe davon aus Intern = iscsi Storage und Extern= "Intenet" Somit sind es ja nicht mehr 4 die Du bündeln willst. sondern 2x 2Gbits. Das dies funktioniert setzt folgende Konfig voraus.

Wenn Du nun die zwei Internen zusammenhängen in einem Link Agreggation setzt das immer noch folgendes vor:

- Die zwei Kabel (Intern) müssen am gleichen Switch enden.
- Die zwei Kabel (Intern) müssen an zwei VRF oder Stackingswitch enden.
- Die zwei Kabel (Intern) müssen an zwei Switch welche VRRP verstehen angeschlossen werden.

Via Proxmox Webinterface kann ich ein ganz normales Linux Bonding machen - Proxmox macht es eben über GUI, ich könnte es auch via SSH machen. Wenn der Server 2x 1Gbit zusammengefasst hat zu 2Gbit, dann interessiert das Proxmox nicht, denn dann sind zwei Leitungen == eine Leitung.

Für die Modes 0 - 3, 5 und 6 sind keine speziellen Switche nötig. Lediglich Mode 4 geht nach 802.3ad Standard und setzt das Trunking auf dem Switch voraus.

Sprichst Du von diesen Mode: [Link: Registrierung erforderlich] . Solange Du auf einem Switch bleibst wirst Du meistens nur eine Link Agg. brauchen ausser bei dem aktive/Passiv. Von Vorteil aber auch bei diesem. Cisco Switchs machen den Port zu wenn es zuviel Switching macht. Von Vorteil würde ich es IMMER auf Switch Seite auch Konfigurieren.

Das Problem ist wie ich sagte sobald Du zwei Switchs hast. Du kannst nicht ein Linkbündelung am Server bauen (egal wie Du die Daten reinhaust -ob aktiv/passiv. aktiv aktiv, rrd, alb. oder wie auch immer) Ein Netzwerk mag es einfach auf MAC Level nicht, wenn die MAC an mehreren Orten gelichzeitig auftauchen. So ein Paket, welches dann im Kreis rennt haut das Netzwerk in die Knien.

Das dies eben nicht passiert ist die günstigste Variante ein Stack zu bauen mit zwei Switchen. Für das gibt es Stacking Kabel oder VRF Protokoll. So sieht die Konfig aus, wie es nur EIN Switch wäre und führt gemeinsam eine Arp Table etc..

Oder eben Du baust VRRP - Was komplexer ist.

Kurzversion: Ein Server an mehrere Switche mit den gleichen Netzen zu hängen ist nicht ganz so einfach. Setzt Stacking VRF oder VRRP voraus

Hi Alex,

ja, diese Modes meine ich und Mode 1 ist eben Active / Passiv und genau dafür ausgelegt auf mehreren Switchen zu arbeiten:

=> [Link: Registrierung erforderlich]

Was Mode 5 und 6 anbelangt, weiß ich nicht genau wie da gearbeitet wird - aber es sind ja eben 4x 1Gbit, d.h. diese werden vermutlich auch alle ihre eigene MAC Adresse behalten.

Sofern ich nicht den Standard 802.3ad verwenden, kann ich mit einigen Modes definitiv auf mehreren Switchen arbeiten. Das Trunking nach 802.3ad hat aber einfach den Nachteil, dass damit keine wirkliche Ausfallsicherheit gegeben ist. Wir werden zwei Switche installieren und diese jeweils an den anderen Stromkreis anschließen - da ist es dann egal ob eine Sicherung fliegt, der Port am Switch kaputt geht oder ein Port an der Netzwerkkarte. Habe ich für Intern nur ein Trunking auf einem Switch und der Switch fällt aus, tja lieber Alex - wo ist meine Ausfallsicherheit!?
Natürlich ist auch meine Konfiguration nicht absolut sicher, aber die Wahrscheinlichkeit, dass die eine Sicherung fliegt und dann genau der Port am Switch oder an der Karte kaputt geht ist relativ gering.

Es ist nicht das erste mal, dass ich mit Trunking arbeite - auch verstehe ich was von Netzwerk und verstehe vorallem auch, dass lediglich 802.3ad einen entsprechenden Switch voraussetzt und andere Modi es auch ermöglichen mehrere Switche zu verwenden.

Da ich niemals Cisco einsetzen werde, jedenfalls nicht für Switche, ist mir das egal was das Cisco Ding macht

Die offiziellen Infos zu den Bonding Modes sagen ganz klar etwas anderes, daher ist es das günstigste sich einfach zwei stinknormale Switche, wie z.B. HP ProCurve 1810-24G v2, zu kaufen und einfach die anderen Modi zu nutzen. Ich sehe es nicht ein für ein Stacking 3000€ aufn Tisch zu legen wenn ich es auch so haben kann und es funktioniert.

Wir haben zwar hohe Anforderungen, aber man muss auch was die Kosten anbelangt mal auf dem Boden der Tatsachen bleiben, der R710 mit zwei Six Cores und 144GB RAM hat genug gekostet - für die aktuelle Umplanung ist auch wieder ein hoher dreistelliger Betrag eingeplant hinzu noch Anfahrt und die Zeit im RZ um das umzusetzen.

Was Du doch für HW Einsetzt spielt doch nun in diesem Szenario absolut keine Rolle. Du kannst ein 1TB Ram haben und löst die Netzwerkprobleme von MEHR BandBreite an Unterschiedliche Switchs nicht.

Ich verstehe echt gerade nicht wie Du drauf bist. Ich versuche Dir nur anhand von Deiner Ausgangslage zu helfen:

Wie ich bereits in den andern Post geschrieben haben. NUR eine aktive/passiv Konfiguration setzt keine Konfiguration an den Switch voraus. Dies aber auch nur solange folgende zwei Voraussetzungen gegeben sind:
A) Du nur von zwei Kabel ausgehst. Kein 4x Aktiv und 2x Passiv.
B) Du kein Link Agg. machen willst.

Wenn Du also mehr Bandbreite als 1Gbits und Ausfallsicherheit willst führt kein Weg an meinen Lösungen vorbei:
A) Stacking (einfachste Lösung)
B) VRRP

Eine Linkbündelung benötigt immer eine Konfiguration auf Switch Seite (Vorzugsweise auch bei aktiv/passiv, dann aber nicht unbedingt nötig). Ich erinnere hier an den Punkt das aus mehreren Kabel die gleiche MAC Adresse her kommt.

Zusammengefasst: Wenn Du nur 2 Port anschliessen willst (je Switch 1 - Dann geht aktiv Passiv) - Willst Du vier anschliessen wegen Performance wird es nicht gehen.

Nachtrag: Hat denn nicht alles mit Cisco Hardware zu tun. Haben auch sehr viel HP. Aber wir reden hier von Standards und oben raus sind beide gleich.

Richtig die Hardware spielt absolut keine Rolle, habe ich auch nie behauptet. Und wenn du die letzten beiden Sätze im Zusammenhang liest und nicht jeden für sich, wird dir klar, dass die Rede von den Kosten ist und ich nicht bereit bin 3000€ für die Stacking Hardware hin zulegen.

Der Hauptpunkt bei diesem Thema ist lediglich: Bonding aus Bonds - Ja oder Nein!? Wenn ja, wie?

Mir ist klar, dass es HW Lösungen gibt, für die ich aber nicht bereit bin einen solch hohen Betrag hin zulegen, wenn es auch mit Bonding geht.

Das ist aber falsch Alex, auch andere Modi können mit mehreren Switchen umgehen...

Ich hatte niemals vor aus 4 Aktiven auf 2 Passive zu wechseln. Es ging um maximal 4 Kabel, davon sind 2 im Bonding mit Load Balancing und die anderen beiden ebenfalls oben drauf kommt dann das Active Backup. Von der Theorie her, sieht der Switch dann eben auch nur eine Leitung und nicht alle 2 Bonds oder 4 Kabel gleichzeitig, da ja Active Backup.

Genau das ist mein Ziel gewesen: [Link: Registrierung erforderlich]
Wenn es nur mit dem 802.3ad an bond0 und bond1 geht - dann soll es mir recht sein - aber prinzipiell wollte ich so wenig wie möglich an den Switchen konfigurieren müssen.

Es bietet eben keine Redundanz auf nur einem Switch...

Eine Linkbündelung setzt nicht zwangsweise die Konfig auf dem Switch voraus, Linkbündelung sagt lediglich aus, dass du mehrere LAN Kabel zu irgendwas logischem zusammenfasst - was aber nicht gleichzeitig heißt, dass es dabei immer um Verdoppelung der Bandbreite geht.

Das mit dem MAC Adressen ist unerheblich, eben genau dafür gibt es ja diese Bonding Modes, die steuern das ja für sich selbst oder wird vorgegeben, dass es nur an einem Switch hängen darf.

Und wo ist der Unterschied ob ich bereits auf der unteren ebene 2 Leitungen zu einer zusammengefasst habe und daraus dann Active Backup machen? Der Switch bekommt doch eh nur eine Leitung zu sehen. 2 Leitungen sind Aktiv und 2 Passiv, die aktiven Leitungen sind aber logisch nur eine und treten nach außen hin auch nur mit einer MAC auf - also kein Problem.

Fakt ist und bleibt bei diesem Thema eines, es geht grundprinzipiell um die Bonding Modes von Linux - die Hardwarelösungen sind mir absolut gleichgültig und für dieses Thema nicht relevant. Ich möchte einfach keine 3000€ für so etwas hinlegen, ich verweise noch mal auf den R710 (Die technischen Details, dienten lediglich der Darstellung der Kosten, dass dieser Server eben nicht für 200€ zu erwerben war...), der teuer genug war und ein weiterer dreistelliger Betrag im Raum steht für die Änderung der Infrastruktur.

Es tut mir Leid solltest du dich irgendwie angegriffen fühlen, aber du vermittelst mir irgendwie den Eindruck, dass du auf deiner Hardwarelösung pochst und nicht rechts und links schaust, was man mit Software machen kann, wobei es hier aber um die Bondings Mode in Linux geht.

Was Du auf der Serverseite alles machen kannst ist ein Thema. Was die Switchseite damit anfängt das andere. Ich habe Dir die technischen Gegebenheiten erklärt wie es richtig gemacht wird, respektive was Möglich ist und was nicht.
Wenn Du meinem Rat nicht folgen willst - ist das Deine Entscheidung. Wenn Du einfach einsteckst an den Switch spielt dann der Core/Distribution Switch dann auf einmal auch eine Rolle.. Aber das siehst Du ja dann..

Wünsche Dir viel Erfolg.