This is an old revision of the document!
Наборы масок для классификации узлов инфраструктуры Google. Применяются алгоритмом со страницы unknown_discovering:start (шаг 3).
Правила: знаменатель — записи с непустым host на IP; доля — по числу записей; * = fnmatch (любая подстрока с точками); регистр не важен. Если порог берут несколько сервисов — метка по максимальной доле.
Доп. фильтр к наборам. Помимо масок host, к набору применяется дополнительный фильтр по полю Host AS (номер автономной системы). Записи, не проходящие фильтр, не учитываются — ни в числителе, ни в знаменателе набора. Сейчас у всех наборов Google фильтр общий: Host AS IN (15169) (основная AS Google). В дальнейшем фильтр может задаваться индивидуально для каждого набора — значение в строке «Доп. фильтр» ниже имеет приоритет над общим.
AS15169 отсекает трафик на IP из чужих AS: например GCP-тенантов в AS396982 (наблюдалось на h3.market.xiaomi.com → 35.241.31.20). Тем самым фильтр напрямую закрывает проблему мультитенантности.
| Метка | Порог | Доп. фильтр | Назначение |
|---|---|---|---|
| youtube | > 80% | Host AS IN (15169) | YouTube (видео, обновления, реклама) |
| google_maps | > 50% | Host AS IN (15169) | Google Maps |
| google_play | > 50% | Host AS IN (15169) | Google Play |
| google_cloud | > 50% | Host AS IN (15169) | Google Cloud Storage (upload/download/storage) |
| google_cdn | > 50% | Host AS IN (15169) | Google CDN (blogspot, ampproject, usercontent) |
youtube (порог > 80%)
Доп. фильтр: Host AS IN (15169)
*.googlevideo.com *.gvt1.com *.2mdn.net upload.youtube.com *.upload.youtube.com youtube.com *.youtube.com
Замечания:
*.gvt1.com— общая download/update-инфраструктура Google (в т.ч. обновления Chrome и Play);*.2mdn.net— рекламная выдача. На IP, где доминируют апдейты или реклама, могут поднять метку youtube — учитывать при разборе спорных узлов.*.youtube.comуже покрываетupload.youtube.comи*.upload.youtube.com— эти строки избыточны, вреда не несут.
google_maps (порог > 50%)
Доп. фильтр: Host AS IN (15169)
mobilemaps.googleapis.com *.mobilemaps.googleapis.com
google_play (порог > 50%)
Доп. фильтр: Host AS IN (15169)
play.googleapis.com
google_cloud (порог > 50%)
Доп. фильтр: Host AS IN (15169)
*upload.googleapis.com *download.googleapis.com *storage.googleapis.com
Замечание: бесточечные маски по fnmatch ловят и поддомены, и префиксы — *storage.googleapis.com совпадает с firebasestorage.googleapis.com.
Осторожно: сервисы Google Cloud Storage хостятся и в AS Google Cloud (напр. AS396982), а не только в AS15169. Если целевой трафик google_cloud идёт из другой AS — общий фильтр 15169 его отсечёт. При заполнении/проверке этого набора уточнить нужную AS индивидуально.
google_cdn (порог > 50%)
Доп. фильтр: Host AS IN (15169)
*.blogspot.com *.cdn.ampproject.org *.usercontent.google.com
Примечания по инфраструктуре
*.googleapis.com-маски намеренно узкие: play / maps / storage не пересекаются, поэтому на одном IP максимум одна из этих меток берёт порог. Обратная сторона — на общих GFE-фронтах, где googleapis размазан по многим сервисам, ни одна доля не дотянет до 50%, и IP останется без метки.- Адрес из netblock Google (например 35.x — GCP) может обслуживать сторонний контент (пример:
h3.market.xiaomi.comна GCP,Host AS = 396982). Классифицировать строго по SNI-«земле»; доп. фильтр поHost ASдополнительно отсекает такие случаи.