BBR на длинном RTT: что меняется на практике
Канал на 600 Мбит/с и утилизация 2% — ситуация, знакомая каждому, кто поднимал сервер далеко от пользователя. Причина почти всегда одна и та же: контроль перегрузки, основанный на потерях, плохо переносит большую задержку.
Почему cubic сдаётся
Cubic увеличивает окно, пока нет потерь, и режет его, когда потери появляются. На коротком RTT это работает: окно успевает вырасти между событиями. На канале с RTT 200 мс всё иначе — окно растёт медленно, а любая потеря, даже вызванная не перегрузкой, а джиттером, отбрасывает его назад.
Итог — пила с низкой средней амплитудой. Приложение видит стабильно узкий канал, хотя физически он широкий.
BBR считает иначе
BBR не трактует потерю как сигнал перегрузки. Он оценивает пропускную способность по скорости доставки и минимальный RTT, и держит окно около произведения этих величин. Потери при этом не приводят к обвалу окна.
Практическая разница на канале 600 Мбит/с и RTT 150–250 мс была такой:
cubic: 12 Мбит/с, ping до 1000 мс под нагрузкой
BBR+fq: 20 Мбит/с, ping 8 мс стабильно
Скорость выросла не в разы — узким местом был сам канал до клиента. Но задержка перестала раздуваться: исчез bufferbloat, и соединения стали отзывчивыми. Для интерактивных задач это важнее пиковой цифры.
Как включить и закрепить
Модуль обычно уже есть, но лучше проверить. Настройки кладутся в /etc/sysctl.d/, а не
только в sysctl -w — иначе после перезагрузки всё вернётся.
modprobe tcp_bbr
cat > /etc/sysctl.d/99-bbr.conf <<EOF
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
EOF
sysctl --system
sysctl -n net.ipv4.tcp_congestion_control # bbr
Подводные камни
- fq обязателен. BBR рассчитан на разумную очередь; без
fqэффект слабее, а задержки выше. - Замеры важнее теории. Скорость нужно мерить с той стороны, где находится пользователь, а не с сервера по геолокации.
- Мобильная сеть искажает картину. Пара прогонов с телефона почти ничего не говорит: канал клиента меняется каждые секунды.
- BBR не создаёт полосу. Если физически доступно 20 Мбит/с, он не сделает 100.
Правило, которое сэкономило мне больше всего времени: сначала мерить, потом менять. Один и тот же конфиг на разных каналах даёт противоположные результаты.
В следующей заметке — про то, как заметить деградацию канала до того, как о ней напишут пользователи.