Google

Наборы масок для классификации узлов инфраструктуры Google. Применяются алгоритмом со страницы unknown_discovering:start (шаг 3).

Правила: знаменатель — записи с непустым host на IP; доля — по числу записей; * = fnmatch (любая подстрока с точками); регистр не важен. Если порог берут несколько сервисов — метка по максимальной доле.

Доп. фильтр к наборам. Помимо масок host, к набору применяется дополнительный фильтр по полю Host AS (номер автономной системы). Записи, не проходящие фильтр, не учитываются — ни в числителе, ни в знаменателе набора. Сейчас у всех наборов Google фильтр общий: Host AS IN (15169) (основная AS Google). Фильтр может задаваться индивидуально для каждого набора — значение в строке «Доп. фильтр» имеет приоритет над общим.

Приоритет частных наборов. Набор google — общий (catch-all) и включает широкую маску *.googleapis.com, которая перекрывает google_play, google_maps, google_cloud. Поэтому: частные метки (youtube, google_play, google_maps, google_cloud, google_cdn) имеют приоритет; метку google присваивать только если ни один частный набор не взял свой порог.

Доп. фильтр: Host AS IN (15169)

*.googlevideo.com
*.gvt1.com
*.2mdn.net
upload.youtube.com
*.upload.youtube.com
youtube.com
*.youtube.com

Замечания:

• *.gvt1.com — общая download/update-инфраструктура Google (в т.ч. обновления Chrome и Play); *.2mdn.net — рекламная выдача. На IP, где доминируют апдейты или реклама, могут поднять метку youtube — учитывать при разборе спорных узлов.
• *.youtube.com уже покрывает upload.youtube.com и *.upload.youtube.com — эти строки избыточны, вреда не несут.

Доп. фильтр: Host AS IN (15169)

mobilemaps.googleapis.com
*.mobilemaps.googleapis.com

Доп. фильтр: Host AS IN (15169)

play.googleapis.com

Доп. фильтр: Host AS IN (15169)

*upload.googleapis.com
*download.googleapis.com
*storage.googleapis.com

Замечание: бесточечные маски по fnmatch ловят и поддомены, и префиксы — *storage.googleapis.com совпадает с firebasestorage.googleapis.com.

Осторожно: сервисы Google Cloud Storage хостятся и в AS Google Cloud (напр. AS396982), а не только в AS15169. Если целевой трафик google_cloud идёт из другой AS — общий фильтр 15169 его отсечёт. При заполнении/проверке этого набора уточнить нужную AS индивидуально.

Доп. фильтр: Host AS IN (15169)

*.blogspot.com
*.cdn.ampproject.org
cdn.ampproject.org
*.usercontent.google.com
*.googleusercontent.com
googleusercontent.com
*.ggpht.com
i.ytimg.com

Замечания:

• Порог поднят с 50% до 70%.
• *.googleusercontent.com покрывает play-lh.googleusercontent.com (убран как избыточный). Голый googleusercontent.com и cdn.ampproject.org масками с *. не ловятся — заданы отдельно.
• *.googleusercontent.com (домен googleusercontent.com) — НЕ то же, что *.usercontent.google.com; в наборе присутствуют оба.
• *.ggpht.com — CDN превью Google (Photos/YouTube); i.ytimg.com — превью YouTube.

Доп. фильтр: Host AS IN (15169)

*.googleapis.com
*.fitbit.com
*.clients6.google.com
www.google.com
*.google.com
gstatic.com
*.gstatic.com
google.by
*.google.by

Замечания:

• Catch-all для прочих сервисов Google. Применяется только если ни один частный набор Google не взял свой порог (см. «Приоритет частных наборов» выше).
• *.googleapis.com перекрывает play/maps/cloud — отсюда и правило приоритета.
• *.google.com покрывает www.google.com (строка избыточна, вреда нет). *.gstatic.com НЕ покрывает голый gstatic.com (fnmatch требует .gstatic.com в конце) — поэтому gstatic.com указан отдельно; аналогично google.by.

• Частные *.googleapis.com-маски (play. / maps. / storage.) намеренно узкие и не пересекаются между собой. Общий набор google намеренно берёт широкую *.googleapis.com как catch-all — поэтому и нужно правило приоритета частных наборов.
• На общих GFE-фронтах, где googleapis размазан по многим сервисам, ни одна частная доля может не дотянуть до 50% — тогда сработает общий google.
• Адрес из netblock Google (например 35.x — GCP) может обслуживать сторонний контент (пример: h3.market.xiaomi.com на GCP, Host AS = 396982). Классифицировать строго по SNI-«земле»; доп. фильтр по Host AS дополнительно отсекает такие случаи.