Сайт может стоять на быстром NVMe и мощном процессоре, но отдавать страницы медленно — потому что узким местом стала сеть, точнее её настройки по умолчанию. Ядро Linux консервативно: стандартный алгоритм контроля перегрузки CUBIC резко сбрасывает скорость при малейших потерях пакетов, а размеры буферов рассчитаны на сценарии десятилетней давности. В этой статье включим TCP BBR, приведём в порядок буферы и очереди через sysctl и измерим результат до и после.
Что такое congestion control и почему BBR быстрее
Каждое TCP-соединение постоянно решает вопрос: с какой скоростью слать данные, чтобы не «утопить» канал? За это отвечает алгоритм контроля перегрузки (congestion control).
Классический CUBIC (стандарт в большинстве дистрибутивов) считает потерю пакета сигналом перегрузки и режет скорость. Логика родом из эпохи проводных сетей, где пакеты терялись только при переполнении. Сегодня клиенты сидят на мобильных сетях и Wi-Fi, где случайные потери — норма, и CUBIC на таких линиях хронически недоиспользует канал.
BBR (Bottleneck Bandwidth and RTT), разработанный Google, действует иначе: он измеряет фактическую пропускную способность и время оборота пакета (RTT) и вычисляет оптимальную скорость отправки, не дожидаясь потерь. На линиях с потерями 1–2% BBR может отдавать данные в разы быстрее CUBIC — именно поэтому его используют YouTube и google.com.
| Критерий | CUBIC | BBR |
|---|---|---|
| Реакция на потери | Сброс скорости | Игнорирует случайные потери |
| Каналы с высоким RTT | Медленный разгон | Быстрый выход на полосу |
| Мобильные клиенты | Заниженная скорость | Стабильная отдача |
| Наполнение буферов (bufferbloat) | Заполняет очереди | Держит очереди короткими |
| Требования | Любое ядро | Ядро 4.9+ |
Проверяем текущее состояние
Убедитесь, что ядро достаточно свежее и посмотрите активный алгоритм:
# Версия ядра — нужна 4.9 или новее
uname -r
# Текущий алгоритм контроля перегрузки
sysctl net.ipv4.tcp_congestion_control
# Какие алгоритмы доступны
sysctl net.ipv4.tcp_available_congestion_control
# Текущая дисциплина очереди
sysctl net.core.default_qdisc
На Debian 11+, Ubuntu 20.04+, AlmaLinux 9 ядро заведомо подходит. Если в списке доступных нет bbr, подгрузите модуль:
modprobe tcp_bbr
echo "tcp_bbr" > /etc/modules-load.d/bbr.conf
Включаем BBR + fq
BBR рекомендуется использовать в паре с планировщиком очереди fq (fair queuing) — он обеспечивает пакетный pacing, на который BBR рассчитывает:
cat > /etc/sysctl.d/90-bbr.conf <<'EOF'
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
EOF
sysctl --system
Проверяем:
sysctl net.ipv4.tcp_congestion_control
# net.ipv4.tcp_congestion_control = bbr
ss -ti | grep -o 'bbr' | head -1
# bbr — новые соединения уже используют BBR
Изменение применяется на лету, перезагрузка не нужна. Уже открытые соединения продолжат жить на старом алгоритме, новые пойдут через BBR.
Тюнинг буферов TCP
Размер окна TCP ограничен буферами сокетов. Если буфер мал, соединение с высоким RTT физически не может разогнаться: максимальная скорость = размер окна / RTT. При буфере 4 МБ и RTT 100 мс потолок — 40 МБ/с на соединение, сколько бы гигабит ни было в канале.
cat > /etc/sysctl.d/91-net-buffers.conf <<'EOF'
# Максимальные размеры буферов сокетов (16 МБ)
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
# Авто-тюнинг TCP-буферов: min / default / max
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
# Не сбрасывать окно после простоя соединения
net.ipv4.tcp_slow_start_after_idle = 0
# MTU probing: обход проблем с ICMP-блокировкой на пути
net.ipv4.tcp_mtu_probing = 1
EOF
sysctl --system
Важно: третье число в tcp_rmem/tcp_wmem — это максимум, до которого ядро может дорастить буфер, а не постоянный расход памяти. Авто-тюнинг выделяет память по мере необходимости, поэтому такие значения безопасны даже на скромных VPS. Если памяти на сервере впритык и вы решаете, сколько её нужно вообще, загляните в статью сколько RAM нужно серверу.
Очереди соединений для нагруженного веб-сервера
Когда на сервер прилетает всплеск новых подключений, они проходят через две очереди: SYN-очередь (полуоткрытые) и accept-очередь (ожидающие приложение). Дефолты рассчитаны на слабую нагрузку:
cat > /etc/sysctl.d/92-net-queues.conf <<'EOF'
# Очередь входящих соединений, ожидающих accept()
net.core.somaxconn = 4096
# Очередь полуоткрытых соединений (SYN получен, handshake не завершён)
net.ipv4.tcp_max_syn_backlog = 4096
# Буфер пакетов между сетевой картой и ядром
net.core.netdev_max_backlog = 4096
# Быстрая утилизация сокетов в TIME-WAIT для исходящих соединений
net.ipv4.tcp_tw_reuse = 1
# Диапазон локальных портов для исходящих соединений
net.ipv4.ip_local_port_range = 10240 65535
# TCP Fast Open (клиент+сервер): экономия RTT на повторных подключениях
net.ipv4.tcp_fastopen = 3
EOF
sysctl --system
Помните, что somaxconn — только потолок: приложение должно само запросить такой backlog. В nginx это параметр listen 80 backlog=4096;, после чего нужен nginx -s reload.
Отдельное предупреждение: не включайте устаревший tcp_tw_recycle — в новых ядрах он удалён, а в старых ломал соединения клиентов за NAT. tcp_tw_reuse = 1 безопасен, так как касается только исходящих соединений.
Измеряем эффект
Тюнинг без измерений — гадание. Сравните скорость до и после хотя бы простым способом — скачиванием тестового файла с сервера:
# На сервере: создаём файл 500 МБ и отдаём его nginx'ом
dd if=/dev/urandom of=/var/www/html/test.bin bs=1M count=500
# На клиенте (лучше — географически удалённом):
curl -o /dev/null -w "Скорость: %{speed_download} байт/с, время: %{time_total}s\n" \
http://ВАШ_СЕРВЕР/test.bin
Для детальной картины используйте iperf3 (сервер: iperf3 -s, клиент: iperf3 -c ВАШ_СЕРВЕР -R -t 30) и смотрите статистику соединений на сервере:
ss -ti state established | grep -A1 bbr
В выводе видны фактические cwnd, RTT и полоса по каждому соединению. Наибольший прирост от BBR получают клиенты «далеко и с потерями» — мобильные пользователи из других регионов; в локальном тесте с соседнего сервера разницы можно и не увидеть. Комплексную методику замеров мы собрали в статье как протестировать VPS, а чтобы отслеживать эффект постоянно, настройте мониторинг VPS своими руками.
Итоговый конфиг одним файлом
Для удобства — всё вышеперечисленное в одном файле:
cat > /etc/sysctl.d/99-network-tuning.conf <<'EOF'
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_mtu_probing = 1
net.core.somaxconn = 4096
net.ipv4.tcp_max_syn_backlog = 4096
net.core.netdev_max_backlog = 4096
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10240 65535
net.ipv4.tcp_fastopen = 3
EOF
sysctl --system
Меняйте параметры осознанно и по одному блоку за раз: так при неожиданном поведении будет понятно, что именно откатывать. Откат — удаление файла из /etc/sysctl.d/ и повторный sysctl --system.
Частые вопросы
BBR действительно безопасен для продакшена?
Да. BBR входит в основное ядро Linux с версии 4.9 (конец 2016 года) и почти десять лет работает в продакшене Google на публичных сервисах масштаба YouTube. Он не требует поддержки со стороны клиента — алгоритм действует только на отправляющей стороне, поэтому любой браузер и любая ОС клиента получают выгоду автоматически. Единственное требование — ядро 4.9+ и qdisc fq.
Нужно ли перезагружать сервер после изменения sysctl?
Нет. Команда sysctl --system применяет все файлы из /etc/sysctl.d/ немедленно, а размещение настроек в этих файлах гарантирует, что они переживут перезагрузку. Нюанс один: уже установленные TCP-соединения сохраняют прежний алгоритм congestion control, поэтому долгоживущие сессии (например, туннели) увидят BBR только после переподключения.
Сработает ли этот тюнинг на дешёвом NAT VPS?
Да, sysctl-настройки работают в любой полноценной KVM-виртуализации независимо от типа адресации. На NAT VPS с общим IPv4 внешние клиенты подключаются к вам через проброшенные порты, но TCP-стек вашей машины остаётся вашим, и BBR ускоряет отдачу точно так же. Учтите только, что диапазон ip_local_port_range касается исходящих соединений и с пробросом входящих портов никак не связан.
Почему после включения BBR скорость не выросла?
Три типовые причины. Первая: вы тестируете с близкого сервера по чистому каналу — там и CUBIC работает на полную, преимущество BBR проявляется на дистанции и при потерях. Вторая: узкое место не в сети, а в приложении или диске — проверьте отдачу статики напрямую. Третья: упёрлись в CPU — под шифрованием TLS и высоким pps процессор может стать лимитом; проверьте нагрузку через sysbench и top во время теста.
Какие параметры категорически не стоит трогать?
Не включайте net.ipv4.tcp_tw_recycle (сломает клиентов за NAT, в ядрах 4.12+ удалён), не отключайте tcp_timestamps (нужны для оценки RTT и защиты от заворота секвенций), не выкручивайте буферы в сотни мегабайт «про запас» — это приводит к bufferbloat и росту задержек. И не копируйте конфиги «супер-тюнинга» из случайных источников целиком: половина параметров там либо дефолтные, либо вредные.
Быстрый сервер для быстрой сети
Тюнинг раскрывается на полную, когда и железо не подводит. VPS Pro от Cheap-Host — 12 vCPU, 16 ГБ RAM, 128 ГБ NVMe на KVM в Москве за 750 ₽/мес: запас по процессору для TLS и трафика плюс быстрый диск для отдачи контента. Выдача за 45–60 секунд. Заказать: Cheap-Host.