[uanog] ISP/NSP сеть с нуля в 2020

Mon Nov 4 18:27:53 EET 2019

Для производительности Nx10/Nx100 - посмотрите на коммутаторы Mellanox. 
Они стоят недорого (в пересчет на гиг пропускной полосы), поддерживают 
до 512k routes (на full view не хватит, но если плюнуть на suboptimal и 
агрегировать - то норм) и имеют VXLAN/EVPN на борту. Они могут работать 
под двумя операционками - MLNX OS или Cumulus Linux и вполне юзабельны. 
Если не харит использовать нелицензионное - то MX5 с крякнутой лицензией 
(до MX80).

Виртуальные раутеры имени Cisco/Juniper жручи по ресурсам и скорее 
подходят на роль сервисных нодов (включая BGP RR), чем транзитных узлов. 
С другой стороны, RR можно намного менее ресурсоёмко сделать на Bird, 
например - виртуалка на пару CPU + 4 гига памяти стоит не слишком 
дорого, а хватит её в режиме RR надолго.

Шифрование на всех уровнях - это (а) само по себе упражнение и (б) с 
резкой потерей производительности. В оригинальном письме упоминалось 
100G - так вот я не уверен, что получится именно шифровать на такой 
скорости. Тогда лучше делать шифрацию на границе между DF и 
транспортными провайдерами и строить между ними полносвязную IPSec 
коммутацию - тут или руцями все туннели провижинить, или, например, 
использовать Cisco DMVPN (Nx fullmesh где N - количество транспортных 
провайдеров). Смотря сколько денег в бюджете, можно использовать Cisco 
ISR4400 series в точках агрегации DF, а между ISR4400 - IPSec tunnels 
over L2 VPN. Если дешево и руки не устанут - то Mikrotik RB750Gr3 дает 
около 450Mbps (в обе стороны) AES-128 для пакетов размером 1400 байт и 
для устройства за $60 это охеренный результат. Для пакетов в два раза 
меньше производительность тоже ухудшится, но 100Mbps, как мне 
представляется, получится при любых раскладах. Если мало и нужно что-то 
посредине - Mikrotik CCR, но там когда-то были нюансы с IPSec offload, 
надо по форумам смотреть.

On 04.11.2019 17:37, Eduard M wrote:
> On 04/11/2019 16:01, Vladimir Sharun wrote:
>> Привет,
>
>
> Привет
>
>
>>
>> Аренда L2 против Dark Fiber - с нюансами штука в 2019-м.
>
>
> Планируется микс. Последняя миля может быть любой - GPON, DF, WIFI, 
> 5G, DSL, COAX, etc
>
> В ядре международной сети DF (конкретно для этого проекта) - 
> маловероятно. Стоимость зашкаливает.
>
> Поэтому L2 + несколько доверенных партнеров (риск овербукинга меньше).
>
> L3 только в крайнем случае.
>
> На уровне распределения DF возможен
>
>
>>
>> Например в DF тебе не напихают чужой DDOS, DF (как и L2) подвержен 
>> потерям (но это легко детектируется и таких инцидентов меньше как 
>> правило). В DF потери - это выяснили точку и поправили (не всегда с 
>> первого раза, но как правило - да), а в L2 - это могут быть какие-то 
>> "сильно не вовремя" (см DDOS или "извините, у нас порвалось в 
>> Поджопинске и из-за овербукинга - страдайте"). Ну и double fault на 
>> L2 - это тоже не то чтобы невероятно, даже у Tier1.
>>
>
> Ну, например, будет L2 + L2 (альтернативный маршрут/альтернативный 
> оператор) AMS-FF
>
> Есть лучше альтернативы? ;)
>
>
>> С виртуальными роутерами может быть похожая ситуация: сосед каким-то 
>> образом уложил ресурсы чего-то (наперед непредсказуемого) и попробуй 
>> еще угадай, почему у тебя глючит.
>
>
> Я же не зря упомянул много красивых слов с самого начала ;)
>
> Запустить кластер чего-то - не проблема. Вопрос чего именно и что на 
> этом кластере крутить ;)
>
> Подавляющее большинство NNI - в ДЦ любого масштаба. Свитч(и) + такой 
> себе стандартный кластер в каждый ДЦ. Это для ядра.
>
> Можно даже свитчами обойтись (но какими?) в случае L2 услуг 
> (EVPN/VXLAN для избавления от VLAN range overlap?). L3 всегда может 
> быть проброшен куда-то к ближайшему роутеру.
>
>
> Почитал еще вот
>
> https://www.ripe.net/participate/forms/uploads/fobi_plugins/file/ripe-ncc-days-kyiv/Scaleway-P14-fabric-NCC-Days-Kyiv_7aa43e89-cb42-44c5-81cc-911090a26b75.pdf
>
> https://pc.nanog.org/static/published/meetings/NANOG72/1555/20180219_Steenbergen_Virtualizing_The_Network_v1.pdf
>
> https://ripe68.ripe.net/presentations/170-ripe-68-evpn.pdf
>
>
> С ресурсами - хз. Я поэтому и спрашиваю, может, на 2020 год уже что-то 
> суперское доступно на рынке (есть же уже виртуальные роутеры Cisco, 
> Juniper, Mikrotik, etc). Виртуальные роутеры доступны на амазоне и azure.
>
>
>
>>
>> Кстати ты забыл еще безглючность. Стойкость к отказам и безглючность 
>> - не одно и то же, бгггг. Причем вот этот самый L2 - это штука с 
>> глюками, да.
>>
> Вот это, кстати, в точку. Да, хочу безглючности )
>
> И надежности
>
>
>> А еще в L2 легко поставить прослушку. В DF не то чтобы сложно тоже, 
>> но в L2 - вообще париться не надо. Т.е. если кто-то кого ловит через 
>> контроль endpoint'ов (даркнет деанон например) - это подарок.
>
>
> Да, еще один важный момент. Супер.
>
> Внесу в требования шифрование между всеми компонентами на скорости 
> среды. Дальше будет видно во что это выливается по стоимости.
>
>
>>
>> popcorn.gif
>>
>> /4 листопада 2019, 16:48:01, від "Eduard M" <eduard at melnik.org.ua 
>> <mailto:eduard at melnik.org.ua>>:/
>>
>>     Добрый день!
>>
>>
>>     Коллеги, 2019 год (облака, SDN, virtual edge, containers,
>>     software-centric networks и т.д.)...
>>
>>
>>     Как бы вы строили ISP/NSP сеть в 2020 году с нуля?
>>
>>     * минимальное количество BER (Big Expensive Routers)
>>
>>     * отказоустойчивость
>>
>>     * корпоративный сектор
>>
>>     * международная сеть
>>
>>     * L2/L3 сервисы. В основном, L2 + VLAN range
>>
>>     * Inter-carrier connections & NNI
>>
>>     * 1/10/100G
>>
>>     * OAM и соотвествующие процессы
>>
>>     * максимальная автоматизация сети и услуг (наличие API как-минимум,
>>     самообслуживание для клиентов и автоконфигурация сервисов на основе их
>>     выбора и т.д.)
>>
>>
>>     Пока картина складывается примерно такая:
>>
>>     * физические коммутаторы для PoPs (держат все интерконнекты)
>>
>>     * виртуальные роутеры в датацентрах (BGP с аплинками и клиентами) + NNI
>>     + virtual edge
>>
>>     * аренда L2 (если нет своей оптики)
>>
>>     * использование L3 (если нет L2)
>>
>>     * EVPN-VXLAN как основные технологии
>>
>>     * не ясно что с MTU
>>
>>     * не ясно на какие бренды смотреть (свитчи и виртуальные роутеры)
>>
>>
>>     Покритикуйте конструктивно плз.
>>
>>
>>     Заранее спасибо!
>>
>>     Если кто может помочь с детальным дизайном - пишите в личку. Договоримся.
>>
>>
>>     Эдуард Мельник
>>
>>
>>
>>
>>     _______________________________________________
>>     uanog mailing list
>>     uanog at uanog.kiev.ua  <mailto:uanog at uanog.kiev.ua>
>>     https://mailman.uanog.kiev.ua/mailman/listinfo/uanog
>>
>
> _______________________________________________
> uanog mailing list
> uanog at uanog.kiev.ua
> https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- 
Volodymyr Litovka
   "Vision without Execution is Hallucination." -- Thomas Edison

-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://mailman.uanog.kiev.ua/pipermail/uanog/attachments/20191104/9d7df773/attachment-0001.html>