Введение:
Глобальный кэш Google (GGC) (также называемый «пограничным узлом») представляет уровень сетевой инфраструктуры Google, находящийся в максимальной близости к пользователям.
Вот так сам Google описывает его:
“Благодаря нашим пограничным узлам, сетевые операторы и интернет провайдеры (ISP) размещают сервера, поставляемые Google, внутри своей сети.”
Статический контент, который популярный среди пользователей провайдеров, включая YouTube и Google Play, который уже был запрошен пользователями, в сети провайдера, кэшируется(сохраняется) на пограничных узлах GGC.
Системы управления трафиком Google перенаправляют запросы пользователей на пограничный узел GGC, который обеспечивает доступ к контенту, размещенному локально у провайдера, то есть не требуется запрашивать контент через всю сеть, так как данный контент уже сохранен на пограничном узле GGC вашего провайдера.
Иногда, также используется кэш пограничного узла GGC для доставки других сервисов Google, таких как поиск Google, который обеспечивает улучшенную сквозную производительность для конечного пользователя.
Немного обо мне: Меня зовут Леонид Кролле, и я хочу изменить мир к лучшему, сделав его чуточку безопаснее.
Я занимаюсь информационной безопасностью: исследованиями в области как железных, так и программных продуктов. ИБ занимаюсь с начала 90х годов, работал в крупных Российских ИБ компаниях, сейчас полностью перешёл на Bug Bounty.
Отмечен такими компаниями как: Google, Ebay, Danske Bank, AT&T, Mail.ru и многими другими крупными компаниями.
Преамбула:
Какое отношение Google имеет к аппаратному и программному обеспечению, которое устанавливается у провайдера как часть GGC?
«Пограничный узел (GGC) реализован как набор серверов, развернутых в центре обработки данных провайдера и управляемых Google. Количество развернутых серверов зависит от требований пользователей к полосе пропускания и количества мест, в которых вы решили установить узлы GGC».
Итак, на данный момент мы получили достаточно информации, чтобы четко понять, что такое GGC:
Это часть ресурсов, управляемых Google.
Мой день — это поиск и обработка данных, которые мне помогают в нахождении уязвимостей в web и сетевых приложениях компаний, которые участвуют в качестве инициаторов Bug Bounty, а также написание отчётов о найденных уязвимостях компаниям, либо на платформу: Hackerone, Bugcrowd, Intigriti.
Bug Bounty — это программа, предлагаемая компаниями по оценке защищенности веб, а также, сетевых ресурсов.
Занимаясь исследованием, я обнаружил некоторую важную информацию: было обнаружено несколько устройств Cisco с включенной службой Smart Install, которые уязвимы к атаке, позволяющей осуществить удаленное произвольное выполнения кода(RCE) на этих устройствах, а также, возможность получать файлы конфигурации устройств, изменить их и загрузить обратно в устройство Cisco.
Cisco Smart Install — это возможность конфигурации устройства по технологии «plug-and-play», а доступна также функциональность управления образами, обеспечивающая развертывание новых устройств без участия пользователя.
· Например, можно отправить коммутатор Cisco в удаленный офис, поместить его в сеть и включить его без необходимости настройки устройства заранее. Далее оно будет уже сконфигурировано специалистом из любого места. Функционал Cisco Smart Install чем-то похож на TeamViewer, только без GUI.
Чтобы это все работало, технология включена по умолчанию.
Всё хорошо, только есть одно, НО:
Уязвимость CVE-2018–0171 была обнаружена в коде ПО для сетевых коммутаторов Cisco Smart Install Client. Она позволяет принудительно перезагрузить устройство, выполнить на нем произвольный код или обновить прошивку либо конфигурацию устройства.
Что будет, если запретят Google Global Cache — простым языком
Сегодня появилась новость, о том, что youtube это плохо Роскомнадзор хочет запретить Google Global Cache. Для обычного пользователя это просто набор слов, который не как не трансформируется в проблемы с каким-то сервисом, которым он пользуется. В этом посте я постараюсь простым языком объяснить что будет, если это произойдет.
Последствия будут катастрофическими. Для всех.
Что такое Google Global Cache — далее GGC?
Каждый раз, когда вы смотрите ролик на Youtube, вы получаете данные с серверов, где он хранится, а хранится он может:
- На оригинальных серверах — за океаном
- На локальных серверах вашего провайдера — через улицу от вас
Не стоит забывать, что каналы внутри сети провайдера (между городами, улицами, домами) будут шире, чем каналы во вне.
Как работает GGC
Кэширование может работать в двух вариантах:
- При частом обращении к контенту (предположим, ролику на YouTube), после 10-го, например, обращения он попадет в кэши, таким образом 11-е и последующие обращения будут обрабатываться кэшем.
- Превентивное, весь TOP будет загружатся на сервера вне зависимости от количества обращений.
Что (какие сервисы) обслуживает GGC?
Он обслуживает любые статические файлы, а если быть точнее:
- Карты
- Обновление приложений на Android
- Обновление Chrome
- Поиск картинок
- Youtube
Контент Youtube разделен на несколько типов:
- Видео
- Картинки (превью)
- Стриминг
Даже на основе этих данных можно примерно представить объемы трафика, которые переваривает Youtube. Для примера — серия «Игры престолов» в 1080p «весит» около 1.2 ГБ, и это еще не 60 кадров; при 60 умножаем на 2.
Что будет при отключении GGC
Для пользователя
- Замедление загрузки видео на Youtube;
- Невозможность просмотра видео в высоком качестве из-за ограничения канала (многие провайдеры делают трафик Youtube локальным, и он доступен на локальной скорости);
- Замедление всех сервисов, которые работают через GGC;
- Медленный отклик приложения: сейчас вы нажали на видео, и вот вы уже его смотрите; но потом забудьте — пока ваш запрос долетит до США, пройдет некоторое время, которое вы будете ждать каждый раз, нажимая на ролик;
- Повышение цен на домашний и мобильный интернет.
Для оператора
Итак, вы оператор, у вас есть много пользователей, которые любят видео контент. Сейчас около 40% трафика — это видео, и как можно догадаться, 90% — это Youtube. Когда у вас есть GGC — вы платите за около 10% от трафика до сервисов Google, остальной трафик обрабатывается в вашем ЦОД, не выходя за пределы вашей сети.
Если вы оператор, который работает в нескольких городах, у вас, скорее всего, стоят сервера GGC в каждом городе, что позволяет даже не выпускать трафик за пределы города, экономя деньги на магистрали.
Теперь же вы будете платить за весь этот трафик.
Прогноз
Предположим, у нас есть пользователь домашнего интернета. В месяц он потребил около 200ГБ данных, из них 90 ГБ — трафик, за который ваш оператор пока не платит. А что будет, когда он начнет за него платить?
Верно, первым гвоздём в гроб безлимитных тарифов был закон о хранении всего трафика абонента, а последним — отключение кэширующих серверов Google. Да-да, скоро все безлимитные тарифы закончатся и цена будет установлена на уровне с мобильным интернетом.
Но последствия будут куда катастрофичнее для оператора, люди будут отказываться от домашнего интернета. Зачем он им, если он такой же, как на мобильном? Самое время вспомнить, сколько людей работают в операторах связи, сколько людей получают зарплату за то, что они:
- Подключают абонентов
- Проводят каналы по домам
- Отвечают на звонки в цолл-центрах
Возможно, вы скажите, что операторы связи будут рады, нет.
Они так же экономят деньги, да, у них будет рост выручки, но она лишь компенсирует потерю из-за запрета.
Introduction to GGC
Google Global Cache (GGC) allows ISPs to serve certain Google content from within their own networks. This eases congestion within your network, and reduces the amount on traffic on your peering and transit links.
If you do not currently host a GGC node, but would like to enquire about availability, please use this web form.
GGC features
- Transparent to users: Google transparently serves user requests from caches inside your network.
- Reduced external traffic: Typically between 70-90% of cacheable traffic can be served from GGC. Cache hit rates will vary, based on the unique consumption patterns of end users on each operator’s network.
- Robust: GGC provides resilience through multiple levels of redundancy, which are transparent to users. Google ensures that users are always served from the best available data location, even in the event of a temporary outage.
- Easy to set up: Google provides the GGC hardware. You only need to provide rack space, power, a keyboard & monitor, and a connection to your network. Once you have completed the initial setup, Google takes care of the remote operation of the cache.
Configuration overview
Google maintains a web portal for ISPs (the ISP portal is restricted to users with login access). Use this to provide Google with the following information:
Google Global Cache — для избранных
Одна из характеристик Google — предоставление качественный сервисов, бесплатно и с выгодой для себя.
Google Global Cache (GGC) — одно из решений по оптимизации огромных объемов своего трафика на базе платформы CDN, да еще и с пользой для пользователей (читай провайдеров).
Но что же все-таки это такое?
Взрыв широкополосного доступа и богатый мультимедийный контент постоянно увеличивает спрос от провайдеров Интернета (ISP). GGC позволяет предоставлять Google контент, в первую очередь видео, из собственной сети (провайдера). Это облегчает нагрузки на сеть и снижает затраты на транзитные линки, тем самым экономя деньги провайдеров, в то же время повышая уровень обслуживания пользователей.
Проект GGC находятся на стадии бета, поэтому соглашение с провайдером является коммерческой тайной, и запрещено использовать упоминания об этой услуги в своих целях.
Обзор системы
Без GGC, каждый запрос пользователя из сети провайдера на видео YouTube, Google Apps, etc. создает транзит этого экземпляра видео по сети, от Google к пользователю.
С GGC, только первая копия видео проходит транзит по всей сети. Если другой пользователь запрашивает то же видео, Google обслуживает его из узла GGC.
Особенности GGC
— сокращение трафика через сети: процент запросов через cache варьирует в зависимости от схемы использования пользователей, но типичная производительность близка к 75%,
— быстрый ответ, прозрачный для пользователей: Google прозрачно обслуживает пользователей запросы из кэша внутри сети,
— простота установки: для установки требуется rack (шкаф), ноутбук, копия CD от Google, а также подключение к Интернету. После того как сервера были настроены и доступны из сети, Google будет делать всю остальную работу и мониторить удаленно,
— надежность: узел имеет несколько уровней избыточности. Если узел GGC недоступен по любой причине, запросы пользователей будут отправлены прозрачно для Google.
Как GGC работает
Когда пользователь запрашивает части содержания — например, видео, веб-страницы или изображения — системы Google определяют, если этот ресурс может быть предоставлен из узла GGC внутри сети, и если пользователь имеет право доступа к узлу GGC.
Если узел GGC уже имеет закэшированую версию запрашиваемого контента в своем локальном кэше, он будет предоставлять контент непосредственно конечному потребителю, улучшая работу пользователей и экономя деньги за Интернет транзит.
Если содержимое не хранится на узле GGC, узел скачивает их из Google, предоставляет его пользователю, и хранит его для будущих запросов.
Диаграмма запросов
1. Пользователь запрашивает по ссылке видео или другой контент размещенный на Google. Компьютер генерирует запрос DNS для адреса хоста.
2. DNS провайдера запрашивает DNS Google на адрес IP хоста с содержанием.
3. DNS Google знает, что у вас есть GGC, так что ответы содержат IP адреса GGC узла провайдера.
Это известно, потому что провайдер анонсировал IP адреса DNS резолвера узлу GGC (через BGP) и Google обновил информацию в свой DNS.
4. DNS провайдера отвечает IP-адрес GGC узла пользователю.
5. Компьютер пользователя отправляет запрос на IP адрес который маршрутизируется на GGC узел.
6. Узел подтверждает, что пользователь имеет доступ к этому узлу (делается путем сопоставления IP-адресa пользователя в список блоков IP анонсированных через узел BGP.) Если адрес не является в списке, пользователь перенаправляется на кэш в сети Google.
7. Если контент не содержится на узле GGC, узел запрашивает контент из Google и кэширует его.
8. После того как узел GGC содержит контент, отдает его пользователю. Контент содержится на узле, так что следующий запрос может быть отдан без запроса к Google.
Предоставляемое оборудование от Google
Google предоставляет необходимое оборудование, провайдер должен обеспечить размещение с своем помещении, питание от электросети и подключение к Интернету.
GGC работает на стоечных серверах (rack mountable), по 3-8 в каждом кластере.
Характеристики серверов
• 2 RU Rack-mountable chassis
• 74см Д x 44см Щ x 8.64см В
• Вес: 28 КГ
• Блок питания: 2x 110/220 VAC.
• 4 x 1000Base-T copper Gigabit Ethernet
• IP адресация: выделенная подсеть (один широковещательный домен).
Возможные конфигурации:
3 сервера — 6RU 1200W
4 сервера — 8RU 1600W
6 сервера — 12RU 2400W
8 сервера — 16RU 3200W
Администрирование
Используется сайт ggcadmin.google.com, для конфигурации узла и информации о доставке. Первоначальный пользователь получает доступ к порталу от группы GGC.
После принятия бета-соглашения, пользователь может пригласить дополнительных пользователей.
Остальные детали
— Google сохраняет право собственности на оборудование и программное обеспечение, из которого составлен узел. Google будет отвечать за техническое обслуживание, поддержку и транспортные расходы, связанные с серверным оборудованием,
— По уверениям Google, конфиденциальность пользователей имеет первостепенное значение.
Личная информация (Personally Identifiable Information) или частный контет пользователей не сохраняется на узле GGC,
— Google сохраняет право требовать от провайдеров заверений о неразглашении использования услуги, так как проект находится в стадии бета.
Почему для избранных спросите вы?
Дело в том что Google обычно предлагает сам такие услуги только тем провайдерам, которые присутствуют в крупнейших точках обмена трафиком и если трафик на ресурсоемкие услуги Google (youtube, maps) составляют значительный процент от трафика (>70%).