Наборы масок для классификации узлов инфраструктуры Google. Применяются алгоритмом со страницы unknown_discovering:start (шаг 3).
Правила: знаменатель — записи с непустым host на IP; доля — по числу записей; * = fnmatch (любая подстрока с точками); регистр не важен. Если порог берут несколько сервисов — метка по максимальной доле.
Доп. фильтр к наборам. Помимо масок host, к набору применяется дополнительный фильтр по полю Host AS (номер автономной системы). Записи, не проходящие фильтр, не учитываются — ни в числителе, ни в знаменателе набора. Сейчас у всех наборов Google фильтр общий: Host AS IN (15169) (основная AS Google). Фильтр может задаваться индивидуально для каждого набора — значение в строке «Доп. фильтр» имеет приоритет над общим.
Приоритет частных наборов. Набор google — общий (catch-all) и включает широкую маску *.googleapis.com, которая перекрывает google_play, google_maps, google_cloud. Поэтому: частные метки (youtube, google_play, google_maps, google_cloud, google_cdn) имеют приоритет; метку google присваивать только если ни один частный набор не взял свой порог.
| Метка | Порог | Доп. фильтр | Назначение |
|---|---|---|---|
| youtube | > 80% | Host AS IN (15169) | YouTube (видео, обновления, реклама) |
| google_maps | > 50% | Host AS IN (15169) | Google Maps |
| google_play | > 50% | Host AS IN (15169) | Google Play |
| google_cloud | > 50% | Host AS IN (15169) | Google Cloud Storage (upload/download/storage) |
| google_cdn | > 70% | Host AS IN (15169) | Google CDN (blogspot, ampproject, usercontent, googleusercontent, ggpht, ytimg) |
| > 50% | Host AS IN (15169) | Прочие сервисы Google (catch-all) — googleapis, поиск, gstatic, fitbit |
Доп. фильтр: Host AS IN (15169)
*.googlevideo.com *.gvt1.com *.2mdn.net upload.youtube.com *.upload.youtube.com youtube.com *.youtube.com
Замечания:
*.gvt1.com — общая download/update-инфраструктура Google (в т.ч. обновления Chrome и Play); *.2mdn.net — рекламная выдача. На IP, где доминируют апдейты или реклама, могут поднять метку youtube — учитывать при разборе спорных узлов.*.youtube.com уже покрывает upload.youtube.com и *.upload.youtube.com — эти строки избыточны, вреда не несут.
Доп. фильтр: Host AS IN (15169)
mobilemaps.googleapis.com *.mobilemaps.googleapis.com
Доп. фильтр: Host AS IN (15169)
play.googleapis.com
Доп. фильтр: Host AS IN (15169)
*upload.googleapis.com *download.googleapis.com *storage.googleapis.com
Замечание: бесточечные маски по fnmatch ловят и поддомены, и префиксы — *storage.googleapis.com совпадает с firebasestorage.googleapis.com.
Осторожно: сервисы Google Cloud Storage хостятся и в AS Google Cloud (напр. AS396982), а не только в AS15169. Если целевой трафик google_cloud идёт из другой AS — общий фильтр 15169 его отсечёт. При заполнении/проверке этого набора уточнить нужную AS индивидуально.
Доп. фильтр: Host AS IN (15169)
*.blogspot.com *.cdn.ampproject.org cdn.ampproject.org *.usercontent.google.com *.googleusercontent.com googleusercontent.com *.ggpht.com i.ytimg.com
Замечания:
*.googleusercontent.com покрывает play-lh.googleusercontent.com (убран как избыточный). Голый googleusercontent.com и cdn.ampproject.org масками с *. не ловятся — заданы отдельно.*.googleusercontent.com (домен googleusercontent.com) — НЕ то же, что *.usercontent.google.com; в наборе присутствуют оба.*.ggpht.com — CDN превью Google (Photos/YouTube); i.ytimg.com — превью YouTube.
Доп. фильтр: Host AS IN (15169)
*.googleapis.com *.fitbit.com *.clients6.google.com www.google.com *.google.com gstatic.com *.gstatic.com google.by *.google.by
Замечания:
*.googleapis.com перекрывает play/maps/cloud — отсюда и правило приоритета.*.google.com покрывает www.google.com (строка избыточна, вреда нет). *.gstatic.com НЕ покрывает голый gstatic.com (fnmatch требует .gstatic.com в конце) — поэтому gstatic.com указан отдельно; аналогично google.by.*.googleapis.com-маски (play. / maps. / storage.) намеренно узкие и не пересекаются между собой. Общий набор google намеренно берёт широкую *.googleapis.com как catch-all — поэтому и нужно правило приоритета частных наборов.google.h3.market.xiaomi.com на GCP, Host AS = 396982). Классифицировать строго по SNI-«земле»; доп. фильтр по Host AS дополнительно отсекает такие случаи.