[uanog] ISP/NSP сеть с нуля в 2020

Tue Nov 5 10:19:51 EET 2019

Привет

С этим понятно. Спасибо!

Ядро. Как и на чем строить. VXLAN вроде ок как технология. Mellanox - железо. Каким софтом управлять? Есть готовое или сразу ориентироваться на разработку ?

Следующий вопрос на чем (и как) крутить bgp часть. Плюс, SDN хотят. Mellanox умеет. Какой контроллер выбрать и чем руководствоваться?
Т.е., софт будет и на чем это нынче имеет смысл крутить? Контейнеры в моде (докер?), виртуалки (вмварь? проксмокс?). На чем же лучше построить кластер и управлять этими кластерами. 

Ну и вопрос безглючности актуален очень сильно. На старте персонала почти нет.

Пока больше вопросов чем ответов :)

Sent from my iPhone

> On 4 Nov 2019, at 22:07, Max Tulyev <maxtul at netassist.kiev.ua> wrote:
> 
> Привет,
> 
> для длинных и особенно международных линков применяются DWDM lambda. Это фактически выделенная тебе длина волны, с усилителями по дороге. Вот его и надо.
> 
> 04.11.19 17:37, Eduard M пише:
>>> On 04/11/2019 16:01, Vladimir Sharun wrote:
>>> Привет,
>> Привет
>>> 
>>> Аренда L2 против Dark Fiber - с нюансами штука в 2019-м.
>> Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 5G, DSL, COAX, etc
>> В ядре международной сети DF (конкретно для этого проекта) - маловероятно. Стоимость зашкаливает.
>> Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше).
>> L3 только в крайнем случае.
>> На уровне распределения DF возможен
>>> 
>>> Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен потерям (но это легко детектируется и таких инцидентов меньше как правило). В DF потери - это выяснили точку и поправили (не всегда с первого раза, но как правило - да), а в L2 - это могут быть какие-то "сильно не вовремя" (см DDOS или "извините, у нас порвалось в Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на L2 - это тоже не то чтобы невероятно, даже у Tier1.
>>> 
>> Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный оператор) AMS-FF
>> Есть лучше альтернативы? ;)
>>> С виртуальными роутерами может быть похожая ситуация: сосед каким-то образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй еще угадай, почему у тебя глючит.
>> Я же не зря упомянул много красивых слов с самого начала ;)
>> Запустить кластер чего-то - не проблема. Вопрос чего именно и что на этом кластере крутить ;)
>> Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой себе стандартный кластер в каждый ДЦ. Это для ядра.
>> Можно даже свитчами обойтись (но какими?) в случае L2 услуг (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может быть проброшен куда-то к ближайшему роутеру.
>> Почитал еще вот
>> https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-days-kyiv/Scaleway-P14-fabric-NCC-Days-Kyiv_7aa43e89-cb42-44c5-81cc-911090a26b75.pdf
>> https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbergen_Virtualizing_The_Network_v1.pdf
>> https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf
>> С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.
>>> 
>>> Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с глюками, да.
>>> 
>> Вот это, кстати, в точку. Да, хочу безглючности )
>> И надежности
>>> А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через контроль endpoint'ов (даркнет деанон например) - это подарок.
>> Да, еще один важный момент. Супер.
>> Внесу в требования шифрование между всеми компонентами на скорости среды. Дальше будет видно во что это выливается по стоимости.
>>> 
>>> popcorn.gif
>>> 
>>> /4 листопада 2019, 16:48:01, від "Eduard M" <eduard at melnik.org.ua <mailto:eduard at melnik.org.ua>>:/
>>> 
>>>    Добрый день!
>>> 
>>> 
>>>    Коллеги, 2019 год (облака, SDN, virtual edge, containers,
>>>    software-centric networks и т.д.)...
>>> 
>>> 
>>>    Как бы вы строили ISP/NSP сеть в 2020 году с нуля?
>>> 
>>>    * минимальное количество BER (Big Expensive Routers)
>>> 
>>>    * отказоустойчивость
>>> 
>>>    * корпоративный сектор
>>> 
>>>    * международная сеть
>>> 
>>>    * L2/L3 сервисы. В основном, L2 + VLAN range
>>> 
>>>    * Inter-carrier connections & NNI
>>> 
>>>    * 1/10/100G
>>> 
>>>    * OAM и соотвествующие процессы
>>> 
>>>    * максимальная автоматизация сети и услуг (наличие API как-минимум,
>>>    самообслуживание для клиентов и автоконфигурация сервисов на основе их
>>>    выбора и т.д.)
>>> 
>>> 
>>>    Пока картина складывается примерно такая:
>>> 
>>>    * физические коммутаторы для PoPs (держат все интерконнекты)
>>> 
>>>    * виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI
>>>    + virtual edge
>>> 
>>>    * аренда L2 (если нет своей оптики)
>>> 
>>>    * использование L3 (если нет L2)
>>> 
>>>    * EVPN-VXLAN как основные технологии
>>> 
>>>    * не ясно что с MTU
>>> 
>>>    * не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)
>>> 
>>> 
>>>    Покритикуйте конструктивно плз.
>>> 
>>> 
>>>    Заранее спасибо!
>>> 
>>>    Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.
>>> 
>>> 
>>>    Эдуард Мельник
>>> 
>>> 
>>> 
>>> 
>>>    _______________________________________________
>>>    uanog mailing list
>>>    uanog at uanog.kiev.ua  <mailto:uanog at uanog.kiev.ua>
>>>    https://mailman.uanog.kiev.ua/mailman/listinfo/uanog
>>> 
>> _______________________________________________
>> uanog mailing list
>> uanog at uanog.kiev.ua
>> https://mailman.uanog.kiev.ua/mailman/listinfo/uanog
> _______________________________________________
> uanog mailing list
> uanog at uanog.kiev.ua
> https://mailman.uanog.kiev.ua/mailman/listinfo/uanog