Продолжение. Немного об оборудовании ядра.

Добрый день!

В прошлой статье мы рассмотрели основные детали и концепцию подключения площадок, как между собой, так и с сетью интернет.  В данной статье мы с вами немного рассмотрим основные компоненты нашей сети, а именно коммутаторы, которые будут находиться в центре сети.

Одними из основных критериев при выборе сетевого оборудования было наличие поддержки от вендора , наличие функций резервирования, отказоустойчивости и community . Не маловажным фактором также был финансовый вопрос. Исходя из своего опыта работы в провайдере доводилось работать с оборудованием разных вендров, только с Juniper не удалось поработать. Изначально рассматривали всех производителей оборудования, запрашивали прайсы у поставщиков, обсуждали с ними всевозможные схемы и преимущества того или иного оборудования. В итоге пообщавшись с коллегами, проанализировав цены, взвесив все плюсы и минусы тех или иных моделей, в качестве L3 коммутаторов было выбрано оборудование Cisco Nexus 5500. По умолчанию серия 5500 относиться к уровню access, нежели redistribution и L3 функции как таковые не поддерживает. Так как площадки у нас не большие, на каждой не более 10 стоек, было решено просто докупить L3 карты для nexus и установить их в качестве так называемого ядра нашей площадки. На момент закупки были уже анонсированы коммутаторы 5600 серии с L3 возможностями по умолчанию, но в продажу на тот момент они не поступили, остановились на Cisco Nexus 5500. Что касается выбора, возможно ключевую роль сыграло не только наличие качественно и быстрой тех поддержки со стороны вендора, по сравнению с другими производителями, но и тот фактор, что линейка nexus производиться довольно давно и уже успела себя хорошо зарекомендовать в дата центрах по всему миру.

После того как окончательно определились с конечной конфигурацией оборудования, ее оплатой, начался процесс ожидания оборудования. Свободное время в ожидании поставки не прошло даром, оно пошло на изучение документации по новому оборудованию. Читалось все от cisco.com до все возможных статей из интернета связных с нашим оборудованием. Поэтому хотел бы рассказать о тех моментах, которые я отметил для себя как значимые.

Новая технология, которую было решено использовать vPC.

vPC Virtual PortChannel

Так сказать, является расширением всем нам известного классического PortChannel. Он позволяет подключить сетевое устройство (свитч, сервер) с двумя коммутаторами Cisco Nexus так, что для этого устройства соединение логически выглядело как обычный PortChannel, т.е. устройство понимает, что подключено к одному свитчу, на самом же деле к двум nexus.

Пример vPC

guide_c07-673997-12

Большинство настроек на двух vPC устройствах должно совпадать, за проверку ответственен протокол CFSoE (Cisco Fabric Services over Ethernet)

Список параметров, которые должны совпадать:

  • port-channel mode (on/off/active/passive)
  • link speed/duplex
  • trunk mode
  • STP mode
  • STP region в случае использования MSTP
  • STP port type, loop/root guard
  • MTU

Проверить параметры можно командой:

N5N# sh vpc consistency-parameters global

Legend:
Type 1 : vPC will be suspended in case of mismatch

Name                                                    Type         Local Value                     Peer Value
————-                                         —-        ———————-          ————————
QoS                                                     2           ([], [], [], [], [],           ([], [], [], [], [],
[])                            [])
Network QoS (MTU)                       2           (9216, 0, 0, 0, 0, 0)     (9216, 0, 0, 0, 0, 0)
Network Qos (Pause)                      2           (F, F, F, F, F, F)           (F, F, F, F, F, F)
Input Queuing (Bandwidth)         2            (100, 0, 0, 0, 0, 0)      (100, 0, 0, 0, 0, 0)
Input Queuing (Absolute               2            (F, F, F, F, F, F)           (F, F, F, F, F, F)
Priority)
Output Queuing (Bandwidth)       2            (100, 0, 0, 0, 0, 0)     (100, 0, 0, 0, 0, 0)
Output Queuing (Absolute             2            (F, F, F, F, F, F)          (F, F, F, F, F, F)
Priority)
STP Mode                                           1            MST                             MST
STP Disabled                                    1            None                            None
STP MST Region Name                 1           test                            test
STP MST Region Revision           1           1                               1
STP MST Region Instance to       1
VLAN Mapping
STP Loopguard                                 1           Disabled                        Disabled
STP Bridge Assurance                   1           Enabled                          Enabled
STP Port Type, Edge                       1           Normal, Disabled,       Normal, Disabled,
BPDUFilter, Edge BPDUGuard                     Disabled                         Disabled
STP MST Simulate PVST               1           Enabled                          Enabled
IGMP Snooping Group-Limit     2           4000                             4000
Interface-vlan admin up              2           6,14,17,1052   6,14,17

Interface-vlan routing                 2           6,14,17,1052    6,14,17
capability
Allowed VLANs                            —           6,14,17,1052   6,14,17,1052
Local suspended VLANs           —  —                   -

Если же они не совпадают то интерфейсы на secondary устройстве выключаются.

Заметки о Nexus:

  • Если настраивается PortChannel рекомендуется использовать протокол LACP в режиме active/active.
  • Если конечное устройство не Cisco, то рекомендуется отключать LACP graceful-convergence option (команда: no lacp graceful-convergence).
  • При использовании vPC не поддерживается Dynamic ARP Inspection (IP Source Guard).
  • DHCP relay and DHCP snooping поддерживается при включённом vPC.
  • Portsecurity не поддерживается на портах, к которым подключаются extenders.
  • Все Vlan, которые настраиваются на портах в сторону extenders, должны быть также разрешены и добавлены на vPC peer-link.

vPC peer link – канал для синхронизации vPC-пиров.

vPC-пир – устройство cisco nexus 5500

  • Не рекомендуется устанавливать в разрез какое-либо промежуточное оборудование для организации vPC peer link.
  • По умолчанию Bridge Assurance запущено на vPC peer-link и не может быть выключено.
  • Не рекомендуется включать Bridge Assurance на портах ведущие к extenders.
  • Рекомендуется использовать MST, если предполагается использовать большие l2 домены.
  • При использовании протоколов FHRP рекомендуется использовать таймеры по умолчанию. Если есть желание использовать BFD на SVI, необходимо учесть следующие замечания.

SVI limitations:

– An ASIC reset will cause traffic disruption for other ports. This event could possibly cause SVI sessions on other ports to flap. Some triggers for an ASIC reset are port moves between VDCs, reloading a VDC, or if the carrier interface is a virtual port channel (vPC), BFD is not supported over the SVI interface.

– When you change the topology (for example, add or delete a link into a VLAN, delete a member from a Layer 2 port channel, and so on), the SVI session could be affected. It may go down first and then come up after the topology discovery is finished.

  • Для настройки vPC peer-keepalive рекомендуется использовать отдельное соединения, рекомендуется использовать management интерфейсы для этих целей
  • vPC peer-gateway – включение данной функции позволяет передавать трафик через оба интерфейса FHSP протоколов. Например, для HSRP трафик передается и через standby интерфейс.
  • vPC Peer-switch – включение данной функции обеспечивает идентичность конфигурации STP на обоих устройствах для всех vPC vlan
  • vPC ARP Sync – включает синхронизацию arp записей на обоих устройствах
  • При настройке не стоит забывать, что в Nexus зарезервированы vlan 3968-4094
  • Port channel – имеет стоимость 200 в STP.N5N# sh spanning-tree interface port-channel 100

    Mst Instance Role Sts Cost Prio.Nbr Type
    —————- —- — ——— ——— ———————————
    MST0000 Desg FWD 200 128.4195 (vPC) P2p

    MST0001 Desg FWD 200 128.4195 (vPC) P2p

Примерная конфигурация vPC:

vpc domain 3
peer-switch
role priority 1 — приоритет влияет на выбор устройства primary/secondary
peer-keepalive destination 10.1.1.6 source 10.1.1.5
delay restore 120
peer-gateway
ip arp synchronize

Проверка настроек vPC:

5N1# sh vpc
Legend:
(*) — local vPC is down, forwarding via vPC peer-link

vPC domain id : 3
Peer status : peer adjacency formed ok
vPC keep-alive status : peer is alive
Configuration consistency status : success
Per-vlan consistency status : success
Type-2 consistency status : failed
Type-2 inconsistency reason : SVI type-2 configuration incompatible
vPC role : primary
Number of vPCs configured : 7
Peer Gateway : Enabled
Peer gateway excluded VLANs : —
Dual-active excluded VLANs : —
Graceful Consistency Check : Enabled
Auto-recovery status : Enabled (timeout = 240 seconds)

—- omitted —-

Type-2 consistency status : failed — показывает что у нас есть проблема  в настройках vPС, в основном это происходит из за того, что на двух устройствах (primary/secondary) разный список vlan на Port-Channel, к которому подключено к конечное устройство. Чтобы узнать что именно не совпадает, воспользуйтесь командой sh vpc consistency-parameters global.

На самом деле тема vPC весьма широка и все в одной статье не описать, думаю мы еще вернемся и подробно рассмотрим аспекты данной технологии. В следующей же статье мы рассмотрим, как правильно и как неправильно настраивать маршрутизацию на nexus.

 

C уважением

Султанахметов Дмитрий


Комментарии:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Hide me
Получать регулярно свежие материалы, лабораторные и вебинары
Email Имя
Show me