- Para adicionar mais resiliência à infraestrutura do AS54316 da AP Foundation, a ideia era manter equipamentos em operação contínua na casa do autor em Connecticut, fora do datacenter de NYC; o principal desafio era levar até a residência um link com suporte a BGP
- FTTH comuns, como Verizon FiOS e Optimum, não ofereciam peering BGP; era possível contornar com VPN, mas continuavam faltando SLA e havia um ponto único de falha na infraestrutura aérea compartilhada dos postes da região
- A alternativa era um circuito DIA com um par de fibras dedicado até o roteador da central/POP, e a Verizon Enterprise informou que a casa já estava “on net”, oferecendo a instalação sem custo, com contrato de 3 anos e cobrança mensal
- A instalação exigiu cerca de 2 meses, 5 visitas técnicas, mais de 10 engenheiros/técnicos da Verizon, presença da polícia e trabalho em cerca de 2,5 milhas de fibra; a topologia final ficou Verizon CO ↔ VzT NID ↔ VzB NID ↔ roteador
- Depois da ativação, o custo da porta passou a ter cerca de 30% de imposto do Federal Universal Service Fund; e, apesar do SLA de 100%, ainda houve alguns flaps momentâneos e uma queda de cerca de 30 minutos
Requisitos para ter BGP em casa
- O AS54316 é a rede base dos serviços da AP Foundation, e a infraestrutura existente ficava no datacenter NetActuate, no Telehouse Chelsea em NYC
- Em vez de manter outra colocação em um datacenter diferente, o objetivo era aproveitar o espaço disponível na casa em Connecticut para montar uma infraestrutura física em operação contínua
- Equipamentos em operação contínua exigiam refrigeração, energia, segurança e conectividade de rede; entre esses itens, a conectividade foi a tarefa crítica que levou mais de 2 meses
- O próprio espaço de endereços IPv4/IPv6 havia sido alocado pela ARIN e era anunciado pelo AS54316 via peering BGP com provedores de trânsito IP
- Em datacenters, é fácil se conectar a operadoras globais como GTT, Cogent e HE via colocation provider ou cross-connect, mas em ambiente residencial as condições eram bem diferentes
Limites de FTTH e do contorno via VPN
- Na região da casa havia dois provedores FTTH, Verizon FiOS e Optimum, e o FiOS já era usado para fins pessoais
- Nenhum dos dois tratava peering BGP como algo para clientes residenciais; em geral, isso era visto como recurso para grandes empresas
- Era possível fazer peering BGP por VPN com provedores VPS que oferecem trânsito IP, como Neptune ou Vultr
- Mas a maioria dos provedores FTTH não oferece SLA, então era difícil ter garantia da qualidade básica da conexão
- Também seria possível contratar Verizon FiOS e Optimum ao mesmo tempo e montar um multihoming baseado em VPN, mas ambos dependiam principalmente de infraestrutura aérea local em postes, o que os deixava vulneráveis ao mesmo tipo de falha, como árvores caindo sobre a fiação
O que o DIA oferece de diferente
- A alternativa era DIA (dedicated internet access) ou dedicated ethernet
- FTTH/FTTB comuns fora do mercado corporativo usam uma arquitetura compartilhada com tecnologias como PON para dividir o backhaul do bairro até a central do ISP
- O ISP pode atender várias casas/prédios usando uma única fibra e divisores ópticos passivos
- Mesmo que o cliente assine um plano simétrico de 1 Gbps, isso não significa que todos os assinantes possam usar simultaneamente 1 Gbps inteiro
- No DIA, o ISP monta um par de fibras dedicado entre o roteador da central e o prédio, com garantias de banda, disponibilidade, latência, jitter e tempo de reparo
- Esse circuito é mais próximo de uma conexão óptica longa entre o roteador do cliente e o roteador POP do ISP, e por causa do custo costuma ser usado principalmente por grandes empresas
- Neste caso, a diferença decisiva era que o provedor de DIA permitia peering BGP com o cliente
Escolha do provedor e estrutura de custos
- Com infraestrutura regional disponível, Verizon Enterprise e Lightpath eram escolhas naturais; também foram consultadas grandes operadoras de conectividade, como AT&T, Cogent, Zayo, Crown Castle e Lumen
- A pesquisa revelou várias limitações
- Alguns provedores simplesmente recusavam conectar prédios em áreas residenciais
- Alguns exigiam mensalidade mínima alta, taxa de instalação e obras com prazo de cerca de 1 ano
- Um provedor orçou US$ 128 mil para levar 1.148 pés de fibra até o bundle “live” mais próximo
- Alguns delegavam a infraestrutura física da última milha a uma operadora local terceirizada, o que poderia gerar dificuldades de coordenação e disputa de responsabilidade em caso de reparo
- Quase todos exigiam contrato de 3 anos
- A escolha final foi a Verizon Enterprise
- A casa já era considerada “on net”, então não haveria taxa de construção separada
- Era o único provedor que publicava preços de forma transparente no site
- Exemplo de preços da Verizon por velocidade do circuito
- 50 Mbps committed: US$ 455/mês
- 100 Mbps: US$ 661/mês
- 1 Gbps: US$ 999/mês
- 5 Gbps: US$ 2.099/mês
- 10 Gbps: US$ 3.099/mês
- No plano de 50 Mbps por US$ 455/mês, o custo real de “access” da internet era de cerca de US$ 90, e os US$ 365 restantes eram o custo da porta, isto é, da conexão de camada física
- O circuito incluía SLA, sessão BGP e conectividade dual-stack; também havia opção de cobrança por 95º percentil, mas uma configuração com 100 Mbps committed e burstable até 1 Gbps saía mais cara do que 1 Gbps committed e não se adequava ao caso de uso
- Durante a configuração do serviço, era possível escolher o tipo de handoff de rede, como 100base-FX, 1000base-LX, 1000base-T, single-mode e multi-mode
Processo de instalação: da vistoria à ativação da fibra
- A instalação levou cerca de 2 meses, envolveu mais de 10 engenheiros/técnicos da Verizon, 5 visitas e presença da polícia
- Internamente, a Verizon dividia o trabalho entre a Verizon Telecom, responsável pela camada física, e a Verizon Business, responsável pela camada de roteamento; a maior parte das atividades em campo ficou com a Verizon Telecom
- Durante a ativação, um order manager dedicado, no exterior, fazia a coordenação interna e servia como principal ponto de contato ao longo da instalação
-
1ª visita: vistoria técnica
- Um High Capacity Outside Plant Engineer da Verizon Telecom fez a vistoria no local
- Ele verificou os postes da rua, o ponto de entrada do serviço na casa e a posição do rack de servidores, além de explicar as exigências de dutos para fibra e os requisitos de energia e espaço em rack
- Foi informado que os equipamentos da Verizon exigiriam 4U de espaço em rack
- Havia grandes bundles de fibra nas vias principais, alguns com mais de 800 fibras, e restava dark fiber para projetos futuros
- Como a casa ficava logo ao lado de uma via principal, o plano passou a ser lançar algumas centenas de pés de fibra nova até conectar ao bundle principal, com uma ponta ligada à porta de switch da central local da Verizon e a outra ao rack de servidores
- Após a vistoria, foi definida uma data de firm order commitment para cerca de 1,5 mês depois; o cliente preparou energia, entrada de serviço, rack e equipamentos de rede, e então enviou a certificação de “site ready”
-
2ª visita: lançamento da fibra
- Algumas semanas depois, quatro técnicos com bucket truck instalaram o cabo de fibra do poste até o novo rack de servidores
- Por uma particularidade da legislação local, foi necessária presença da polícia
- A equipe instalou no rack um patch panel óptico de 2U
- As extremidades da fibra não foram terminadas na hora; uma equipe de fusão faria a conexão depois, no poste e no patch panel
- O cabo instalado era um cabo single-mode de 12 fibras da Corning e, diferentemente do cabo de 1 fibra usado pelo FiOS existente, ia direto do poste ao rack
-
3ª visita: instalação do primeiro NID
- Mais tarde naquela mesma semana, outro técnico instalou o NID (Network Interface Device), ocupando 1U do rack
- O NID era o ponto de demarcação do serviço da Verizon, separando a responsabilidade da Verizon da responsabilidade do cliente
- Engenheiros do NOC da Verizon podiam executar diagnósticos remotos no equipamento
- O hardware instalado era um Canoga Perkins 9145E
- No lado telecom/NNI foi instalado um transceptor SFP single-mode de 40 km, 1310 nm, 1,25 Gbps
- No lado user/UNI foi usado um transceptor semelhante de 10 km
- O modelo instalado tinha apenas uma fonte interna; o fabricante tinha modelo com fontes redundantes, mas foi informado que ele não era certificado pela Verizon
- O técnico comentou que nunca havia ido a uma residência instalar um NID em toda a carreira
-
4ª visita: equipe de fusão da fibra
- Algumas semanas depois, a Verizon informou que dois técnicos de fusão estavam conectando o par de fibras entre a central local e a casa a partir de um bueiro/manhole
- A dark fiber disponível no local não tinha as duas pontas conectadas, então foi preciso fazer fusão de pares de fibra entre vários bundles pela cidade para montar o caminho final
- Depois disso, foram vistos vários policiais e dois caminhões da Verizon na ponta da rua e, no dia seguinte, foi feita a fusão da fibra já instalada ao patch panel dentro da casa
- A equipe realizou a fusão dentro da residência, enquanto outro técnico trabalhava nas conexões no poste
- Após a conexão final, o teste OTDR mostrou que a extensão total entre a central local e o patch panel era de pouco mais de 2,5 milhas
- Mesmo assim, o circuito ainda não estava online e ainda faltava a visita final
O NID duplo da Verizon Telecom e da Verizon Business
- A infraestrutura de camada física já estava instalada e testada, mas a camada IP ainda exigia um NID dedicado adicional da Verizon Business
- O técnico final instalou um Ciena 3903 com optics single-mode de 1310 nm
- Esse NID exercia, do ponto de vista da Verizon Business, um papel semelhante ao do primeiro NID
- A Verizon Telecom entregava um EVC para a Verizon Business, e a relação comercial final era mais diretamente com a Verizon Business
- A topologia final ficou assim
- Verizon CO ↔ cerca de 2,5 milhas de fibra ↔ VzT NID ↔ VzB NID ↔ roteador do cliente
Ativação e observações após a operação real
- Após a instalação e os testes do último NID, foram fornecidas as informações IP e os dados de peering da sessão BGP para subir o link
- A etapa de ativação também revelou parte da infraestrutura interna da Verizon
- O DWDM/ROADM usava Fujitsu 9500
- O gateway/roteador de peering usava Juniper MX960
- O roteador de peering não ficava na central local, mas em NYC, a cerca de 30 a 40 milhas de distância
- Depois de alguns meses de operação, também ficaram claros alguns cuidados de custo e operação
- Ao custo da porta somava-se cerca de 30% de imposto do Federal Universal Service Fund
- Esse imposto varia a cada trimestre e deve entrar na análise de custo de circuitos com tráfego interestadual relevante
- Boa parte do helpdesk da Verizon operava a partir do exterior, o que às vezes dificultava diagnosticar problemas intermitentes
- Em contrapartida, os problemas graves eram relativamente fáceis de escalar, e, quando um trouble ticket era aberto, o sistema automático verificava se o NID/roteador respondia a ping e se a sessão BGP estava ativa
- Mesmo com SLA de 100%, era difícil esperar perfeição absoluta; ao longo de alguns meses houve alguns flaps momentâneos e uma interrupção de cerca de 30 minutos
1 comentários
Comentários do Hacker News
Mesmo que digam SLA de 100%, não se deve esperar perfeição. Um SLA é um compromisso financeiro que permite solicitar reembolso proporcional ou créditos de serviço por determinadas falhas; não é uma garantia de que o tempo real de disponibilidade ficará acima desse número.
Se a infraestrutura de fibra óptica for fisicamente danificada, como no circuito deste texto, a conexão inevitavelmente ficará fora por algumas horas enquanto a central localiza e corrige o problema. Mesmo que a Verizon prometa um SLA de 100%, na prática isso não foi projetado para um nível de cinco noves; para isso seriam necessários equipamentos redundantes nas instalações do cliente, entradas redundantes e diversidade de rotas de ponta a ponta.
Ao mesmo tempo, você também fica bem hábil em empurrar a responsabilidade para outros.
Mesmo que um circuito dedicado com SLA de 100% de US$ 10 mil por mês fique fora o mês inteiro e a empresa não pague a indenização, dificilmente faz sentido contratar um advogado e gastar tempo para receber US$ 10 mil. Para uma indisponibilidade de 3 horas é ainda pior: a US$ 10 mil por mês, isso dá US$ 13,89 por hora, e mesmo com compensação tripla fica por volta de US$ 125, então até preencher o formulário fica meio duvidoso.
O custo com que o fornecedor realmente se importa é a reputação. Mesmo que o técnico não se importe com a disponibilidade do circuito, entrar em contato com o gerente de contas pode mudar completamente a reação — e isso é algo separado do SLA em si.
No fim, é preciso comprar entendendo a realidade física do circuito e do serviço; colocar um SLA bonito por cima não muda o resultado.
O ISP que eu opero também oferece circuito dedicado se o cliente quiser. Cobramos uma taxa de instalação maior por causa do trabalho adicional de conexão, e a mensalidade também é um pouco mais alta porque usamos uma porta dedicada e core dedicado em vez de PON.
Dito isso, a maior parte do custo desse tipo de serviço está mais ligada a assumir o risco do SLA do que a uma garantia real de disponibilidade. A probabilidade de falha em si não é muito diferente da de PON, então, na prática, é mais uma garantia financeira e de serviço.
Como meio-termo, também oferecemos BGP no serviço comum e temos um esquema de indicação com outros ISPs parceiros que oferecem BGP. Do ponto de vista de resiliência, prefiro multihoming a algo “dedicado”, porque ele separa toda a pilha de rede, incluindo rede de transporte e peering.
Uma vez enviei vários endereços para um responsável comercial verificar; foi útil, mas o vai e volta era tão lento que teria sido melhor consultar diretamente.
Mais tarde, encontrei nos termos a frase: “caso você não compre um endereço IP fixo, poderemos alterar seu endereço de protocolo de internet (IP) sem aviso prévio”.
Vi pouquíssimas pessoas levando fibra “de verdade” até a própria casa. Dá inveja, tirando o fato de que a mensalidade do ISP parece prestação de carro.
Depois da instalação, continuei tendo problemas de desempenho; quando provei o problema e ameacei cancelar, eles fizeram upgrade do circuito para entregar a velocidade correta e baixaram a mensalidade para US$ 2.100. Ainda parece prestação de carro, mas é muito mais barato do que antes.
No fim, passei a ter SLA, conexão direta com provedores de nuvem, hospedagem de alguns blocos de IP e a possibilidade de operar algumas máquinas expostas à internet.
A casa que vendi recentemente também não era ruim: eu usava três circuitos AT&T de 5 Gbps por um total de US$ 450 por mês. Não havia redundância, mas era bem excelente.
Meu antigo prédio de apartamentos teve fibra por alguns anos, e, quando me mudei para outro prédio com cabo coaxial, recebi um orçamento de US$ 2.000 de instalação. O problema é que o serviço de fibra é simétrico, então, para obter a velocidade de download necessária para Netflix, você também precisa contratar um plano com mais de 200 Mbps de upload, o que ficava caro demais. Eles também não oferecem cobrança pelo 95º percentil.
Entendo casos como trabalhos relacionados a privacidade ou operar um nó Tor.
Minha configuração é parecida. Tenho uma linha DIA e uma VPN de backup em cima de uma péssima linha Comcast Business, terminando em um datacenter próximo
Foi preciso bastante insistência para fazer o ISP sequer conversar. Mesmo tendo dito desde o início que eu estava preparado para pagar todo o custo de passagem da fibra
Os ISPs da minha região parecem ter dividido a cidade em áreas de atendimento; não sei como isso é legal
Meu ISP instalou no local um equipamento ADVA grande de terminação de circuito óptico. Ainda estou tentando fazer com que eles movam isso para o lado do ISP e me entreguem apenas uma conexão SFP
O suporte é terceirizado para a Índia, e fazer entender por telefone o que eu quero é doloroso. Felizmente, o sistema de chamados web é utilizável
O equipamento que termina o cabeamento do lado do cliente obviamente precisa ficar do lado do cliente. Pode ser que o equipamento seja um simples SFP, não uma caixa grande, mas o ISP quer monitorar a conectividade até o equipamento de terminação, que é o trecho sob sua responsabilidade. Com apenas um SFP comum, isso não é possível, então deve ser difícil aceitar mantendo o SLA
Se houver um problema físico, como a caixa ser grande demais ou barulhenta demais, dá para negociar outro equipamento, mas, se a questão for simplesmente querer controle da rede, não é assim que funciona. A rede do cliente começa no ponto de demarcação; antes disso é a rede interna do ISP, e a rede do cliente começa depois de uma interface padrão de entrega, como Ethernet
A maioria desses contratos foi firmada nos anos 1970 ou no começo dos anos 1980, e basicamente imitava os contratos que a AT&T ou as operadoras Bell regionais tinham
Normalmente, para o ISP, a cobrança por largura de banda cai bastante e a receita diminui, então a equipe de vendas não é bem treinada e é difícil chegar por canais comuns. Mas, depois de implantado, é excelente. Imagine uma situação em que o ISP liga primeiro quando você reinicia o roteador
Fiquei fascinado pela pilha de rede, mas só cheguei ao ponto de ler Illustrated TCP/IP e fingir que entendo tcpdump. Tenho vontade de mexer diretamente com algo como BGP, e queria saber por onde começar
Parece que a maioria aprende por aprendizado prático no trabalho, e não sei se os sistemas relacionados são caros demais ou ficam trancados dentro de empresas, tornando-os pouco adequados para autodidatas
Para falar com a ARIN e obter um ASN, ter algum tipo de entidade empresarial facilita muito
Quando você tem um ASN, passa a ter uma entidade capaz de “possuir” blocos de IP sem depender de outra rede. Depois disso, olhando os produtos da Neptune Networks, dá para alugar instâncias que permitem trânsito por um custo mensal razoável. Só que a menor instância não tem RAM suficiente para armazenar a tabela BGP completa da internet mundial, o que vai se tornar importante quando você entender o que isso significa
Mesmo antes de procurar colocation local, dá para aprender bastante gastando pouco
O bom dessa área é que quase tudo se apoia em padrões abertos. Você não fica muito distante dos RFCs originais, como RFC 791 (IP), 793 (TCP), 4271 (BGP4), 9499 (visão geral de DNS). São secos, mas em geral são a fonte principal
Os livros do Stevens também são excelentes para entendimento de baixo nível, então são um bom ponto de partida. Depois disso, é preciso construir coisas por conta própria
Com ferramentas de virtualização, crie duas VMs, faça-as se comunicar, derrube o link e corrija usando ferramentas como tcpdump. Veja como ARP ou o NDP do IPv6 funcionam em baixo nível e aprenda também subnetting. Crie interfaces VLAN, adicione tags 802.1q, faça roteamento entre várias VLANs e depois quebre tudo de novo
Vale criar uma área OSPF básica, configurar adjacência BGP entre dois ASNs privados e redistribuir rotas entre protocolos diferentes. Também é bom mexer com serviços de camada superior, como DNS, uma rede experimental de anycast local, load balancers e servidores web. Construir, quebrar, consertar e repetir não é muito diferente do que especialistas fazem todos os dias. Você pode usar softwares como BIRD, quagga, nginx, haproxy, ip/nftables e dnsmasq/powerdns
Depois de experimentar bastante no lado de software e ficar com vontade de tocar hardware real, procure no eBay switches whitebox usados, como Quanta/QCT ou Edge-core, por algumas centenas de dólares ou menos. Instale um sistema operacional de rede ONIE e, se quiser open source, use Sonic; se estiver tudo bem pagar, use Cumulus para lidar com equipamento real
Também dá para aprender sobre transceptores SFP, modos de fibra óptica, cabos de conexão direta e port channels. Compre transceptores e patch cords ópticos baratos na fs.com ou no eBay e consulte o firmware para verificar potência de transmissão, taxa de erros e informações do sistema
É melhor ignorar o conselho de criar uma LLC e obter primeiro um ASN na ARIN: sem uma base, isso pode desperdiçar tempo e dinheiro e virar uma distração. Aprenda antes com recursos abundantes e, quando tiver certeza de que precisa do próximo passo, faça isso
Como muita coisa neste setor, quanto mais você olha, mais a complexidade pode crescer de forma fractal. Não se deixe sobrecarregar; avance um passo por vez e não tenha medo de quebrar coisas. É no processo de consertar que se aprende melhor
Fico curioso sobre como a sobrescrição funciona em FTTH. Não entendo muito de redes ópticas, mas eu achava que cada assinante tinha seu próprio comprimento de onda, ou uma faixa de comprimentos de onda com sua largura de banda, sem sobreposição com os demais
Se não for assim, não consigo ter uma noção de como uma rede óptica passiva funciona
Onde trabalho, usamos uma configuração 4-4-8 com splitters em 3 níveis
A OLT informa a cada ONU/ONT a alocação de tempo que ela pode usar para transmitir. Cada ONT transmite em sequência para não interferir nas outras. Esse cálculo também leva em conta a distância entre a OLT e a ONT, já que a latência de cada ONT varia conforme sua localização geográfica
Se a ONU tiver muitos dados para transmitir, pode solicitar tempo de transmissão adicional. O tempo alocado pela OLT depende do CIR, que é o mínimo garantido pelo ISP, e do PIR, que é o máximo conforme o serviço contratado pelo assinante
O motivo de as transmissões dos assinantes não colidirem é que os slots de tempo não se sobrepõem
Parece que a Verizon fica com margens enormes depois que o circuito está ativo. A ponto de bancar o custo de emendar fibra óptica, com 4 funcionários e até policiamento destacados por uma semana em um bueiro
É difícil acreditar que a empresa tenha concordado em pagar tudo isso, mas é incrível. Dá inveja
É muito parecido com o processo que passei ao levar DIA para um prédio comercial. O ISP disse que gastou US$ 60 mil para puxar meia milha de fibra dentro de um parque empresarial, e nós não pagamos esse custo
No nosso rack há apenas um equipamento do ISP. A Verizon parece mesmo entregar o organograma inteiro
Pagamos nosso empreiteiro para lançar fibra do DEMARC até a sala de servidores, mas depois descobrimos que talvez o ISP pudesse ter feito isso de graça
E a qualidade do suporte ao cliente que recebemos de três provedores de circuitos empresariais foi realmente excelente. É impressionante poder ligar para um engenheiro que sabe o que está acontecendo de verdade. Você recebe pelo que paga
Desci ao porão e vi um adesivo apagado da UUNET no equipamento de borda, mas não havia ID do circuito. Pesquisando, descobri que, depois de várias aquisições, aquilo agora pertencia à Verizon
Liguei para a Verizon Business e expliquei a situação; a atendente ficou uma hora na ligação tentando localizar o circuito. O endereço registrado era um bueiro na rua em frente ao prédio
Um técnico foi enviado e, cerca de uma hora depois, tudo voltou a funcionar. Ele também colocou uma nova etiqueta com o ID do circuito no equipamento de borda para que não passássemos por isso de novo
Acho engraçado o autor tratar isso como algo tão grandioso. Fazemos esse tipo de trabalho com bastante frequência nas casas de médicos