Заметки о двух площадках

Рад приветствовать вас дорогие читатели нашего проекта network-lab. В сегодняшней и следующих статьях я хотел бы рассмотреть проект, который связан как с дизайном сети, так и настройкой оборудования cisco

Цель проекта: построение отказоустойчивого решения для небольшого распределенного дата-центра, который будет заниматься хостингом, с возможностью роста и развертыванием дополнительных сервисов, услуг в дальнейшем.

Все что я хотел бы рассказать в цикле статей, я попытался разбить на несколько основных частей:

  1. Разработка основной концепции нашей сети.
  2. Выбор протоколов маршрутизации и технологий
  3. Подбор оборудования.
  4. Настройка оборудования.

Все о чем будет рассказано в статьях, не претендует на первоисточник и эталон, и основан на моем личном видении общей картины, а также опыте с использованием Best Practice.

Оставляйте свои комментарии и замечания, это мне очень поможет.

 

Что у нас есть и что необходимо сделать?

Имеется две, географически разнесенные площадки.

Задача: Соединить их между собой, предоставить каждой доступ в интернет.

Этап 1

Соединяем две площади оптикой между собой для того, чтобы можно было без ограничений передавать трафик между площадками и развертывать/дублировать сервисы на обоих площадках, с целью резервирования. В качестве сетевого оборудования для связи площадок было решено использовать L3 коммутаторы с SFP портами и использовать протокол динамической маршрутизации, который поможет гибко использовать среду передачи и обеспечивать резервирование связи между площадками.

Сетьospf

Этап 2

На этапе необходимо рассмотреть возможности и тип подключения к сети интернет. Как у проекта с амбициозными планами и далеким взглядом в будущее, мы заранее обзавелись своей AS выданной RIPE и блоком публичных адресов. По ряду причин, а в основном для резервирования, остановились на том, что будем использовать по несколько провайдеров на каждой из площадок. Так как у нас есть свой блок публичных адресов, то хотелось бы иметь некую гибкость и рычаги управления доступов в интернет. Поэтому для контроля анонсов своих сетей, было решено получать от провайдеров не шлюз по умолчанию, а BGP FullView, в свою очередь провайдерам анонсировать свои публичные подсети. Этот метод подключения по BGP, c объявлением сетей и приемом FullView, мы решили использовать на обоих площадках.

BGP full view — это термин, описывающий полную таблицу маршрутов Интернет. На данный момент BGP Fullview насчитывает порядка 520000 префиксов. Если мы хотим принимать несколько Fullview на наш маршрутизатор от каждого провайдера, то стоит особое внимание обратить на подбор граничного маршрутизатора. Это рассмотрим поздней.

Таким образом сложилась общая картина, включающая общие элементы, из которых она будет состоять. Чтобы схемы были не сильно громоздкими L2 уровень расписывать не будем, там все просто — к L3 коммутаторам подключаем L2 коммутаторы, далее подключаем уже сервера.

Сеть123

Концепция и понимание общее есть, осталось определится с протоколами маршрутизации, которые будут работать в сети. О них мы уже упоминали и не раз рассматривали в наших статьях BGP, OSPF.

BGP – для подключения к сети интернет. OSPF – для обеспечения внутренней маршрутизации. Также OSPF будет использоваться для обеспечения маршрутизации между граничными маршрутизаторами и L3 коммутаторами. Заглядывая немного вперед нужно сказать, что мы будем использовать несколько VRF, с помощью которых сможем сегментировать наши сети. Например: частные от публичных. Это требование в дальнейшем окажет влияние на выбор оборудования, которое будет использоваться.

Но мы совсем с вами забыли поговорить об нескольких деталях — о безопасность и балансировке нагрузки. Так как наши сервисы будут доступны из сети интернет, нам необходимо позаботиться о балансировке нагрузки между серверами, установке так называемых балансировщиков, которые находятся во внутренней сети и отвечают за работу сервисов. Балансировка нагрузки, или выравнивание нагрузки (англ. load balancing) — метод распределения заданий между несколькими сетевыми устройствами (например, серверами) с целью оптимизации использования ресурсов, сокращения времени обслуживания запросов, а также обеспечения отказоустойчивости (резервирования).

И немного о безопасности…

Исходя из статистики передовых разработчиков решений от различного вида атак DDOS, самые распространённые, простые и эффективные атаки — это атака на канал. То есть, генерируем трафик и полностью утилизируем пропускную способность канала интернет до ресурса. Проанализировав статистику, послушав немало обзоров, презентаций от передовиков в области защиты, было решено отдать данный функционал непосредственно ISP.

Варианты подключения, с использованием протокола BGP, которые первыми пришли в голову:

Вариант 1

вар1

 

Описание схемы взаимодействия внешняя сеть — внутренняя

1) Используется два маршрутизатора для подключения ISP.

2) К каждому маршрутизатору подключается по 2 провайдера.

3) Резервирование маршрутизаторов происходит по iBGP (каждый маршрутизатор имеет маршруты и других провайдеров, которые подключены к другому маршрутизатору).

4) Маршрутизаторы работают со внутренней сетью при помощи протокола OSPF.

5) Оба маршрутизатора анонсируют во внутреннюю сеть маршрут по умолчанию через OSPF .

Описание схемы внутренней сети:

1) SWL3-OSPF1 Получает два одинаковых маршрута по умолчанию от BGP1 И BGP2 -> Распределяет нагрузку и трафик по двум маршрутизаторам.

2) Так как необходимо трафик передавать на балансировщики, именно на них находятся публичные сети, поэтому нам необходимо будет, перераспределять сеть в процесс OSPF1, тем самым сеть балансировщиков будет объявлена на BGP1 и BGP2.

Минусы:

1) При выходе из строя маршрутизатора, два провайдера не используются.

Вариант 2

вар2

Описание схемы взаимодействия внешняя сеть — внутренняя

1) Используется два маршрутизатора.

2) Используется два коммутатора в стеке SWL3-BGP.

3) Все провайдеры подключаются в SWL3-BGP.

4) Со нашей стороны выделяется сеть /29 для подключения всех провайдеров.

5) Строится BGP Соседство. BGP1 строит соседство со всеми провайдерами и BGP2 со всеми провайдерами.

6) Маршрутизаторы резервируют друг друга по iBGP.

7) Оба маршрутизатора анонсируют во внутреннюю сеть маршрут по умолчанию через OSPF .

Описание схемы внутренней сети:

1) SWL3-OSPF1 Получает два одинаковых маршрута по умолчанию от BGP1 И BGP2 -> Распределяет нагрузку и трафик по двум маршрутизаторам.

2) Так как необходимо трафик передавать на балансировщики, именно на них находятся публичные сети, поэтому нам необходимо будет, перераспределять сеть в процесс OSPF1, тем самым сеть балансировщиков будет объявлена на BGP1 и BGP2.

Минусы:

1) Более дорогое решение (требуются закупка коммутаторов).

Вариант 3

вар3

 

Внутренняя сеть

1) Используется два маршрутизатора для подключения ISP.

2) К каждому маршрутизатору подключается по 2 провайдера.

3) Резервирование маршрутизаторов происходит по iBGP (каждый маршрутизатор имеет маршруты и других провайдеров, которые подключены к другому маршрутизатору).

4) Маршрутизаторы работают со внутренней сетью при помощи протокола OSPF.

5) Оба маршрутизатора анонсируют во внутреннюю сеть маршрут по умолчанию через OSPF .

6) Балансировщики подключаются по протоколу OSPF.

7) Публичные сети с балансировщиков переносятся на SWL3-OSPF1 и SWL3-OSPF2. шлюзы резервируются при помощи протоколов FSRP.

8) Трафик между балансировщиками распределяются при помощи OSPF (Приходит два равнозначных маршрута).

Минусы:

1) Перестройка топологии балансировщиков.

2) Установка еще одного коммутатора SWL3-OSPF2.

 

В итоге был выбран некий средний вариант:

-Использовать отдельные коммутаторы для подключения ISP.

-Для стыка использовать адреса, предоставленные провайдером.

-Между маршрутизаторами BGP1 и BGP2 настраивается iBGP.

-Публичные сети вынести на L3 коммутаторы с использованием протоколов FSRP.

-С помощью VRF разделить частные сети и публичные на обоих площадках.

Таким образом публичные и частные сети оказались полностью изолированными друг от друга, связывают их только балансировщики, которые находятся в обоих сегментах одновременно.

При использовании данной топологии получается:

1) По OSPF мы анонсим шлюз по умолчанию на обоих площадках. В случае выхода одновременно двух маршрутизаторов на одной из площадок, шлюз по умолчанию будет использован с другой площадки (OSPF распространит информацию о маршруте по умолчанию)

2) В случае пропадания подключения к ISP на одной из площадок, маршруты BGP будут использоваться, полученные по iBGP с другой площадки.

На этом первая статья завершена. В следующей статье, мы поговорим о выборе оборудования и других интересных моментах, с которыми пришлось встретиться в ходе проекта.


Комментарии:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Hide me
Получать регулярно свежие материалы, лабораторные и вебинары
Email Имя
Show me