Утилиты sed и awk в Linux — это классический и незаменимый инструментарий системного администратора, позволяющий мгновенно анализировать гигабайтные текстовые файлы, парсить логи веб-серверов и автоматизировать точечную правку конфигурационных файлов прямо из командной строки. Когда сервер работает под высокой нагрузкой или настраивается через автоматические bash-скрипты, открывать каждый файл в интерактивном редакторе вроде nano или vim слишком медленно и неэффективно. В этом практическом руководстве мы подробно разберём синтаксис потокового редактора sed и мощного языка обработки данных awk, изучим 10 готовых рецептов для повседневного администрирования VPS на Ubuntu 24.04 LTS и сравним их возможности с утилитой grep.
Зачем системному администратору VPS нужны sed и awk
Современное администрирование серверов строится на принципах автоматизации. Ручное редактирование файлов не масштабируется: если вам нужно изменить порт SSH или отключить директиву в конфиге Nginx на нескольких десятках виртуальных машин, делать это вручную через текстовый редактор нерационально.
Именно здесь на помощь приходят два мощных UNIX-инструмента:
- sed (Stream Editor) — потоковый редактор, предназначенный для построчной трансформации текста: поиска и замены по шаблонам, удаления строк, вставки фрагментов без открытия файла в интерактивном интерфейсе.
- awk (названный по фамилиям создателей Aho, Weinberger, Kernighan) — полноценный язык построчной обработки структурированных текстовых данных (таблиц, CSV, логов, списков процессов), умеющий оперировать столбцами, переменными, математическими вычислениями и условиями.
В связке со стандартными системными утилитами они позволяют за доли секунды вычленить IP-адреса атакующих ботов, посчитать суммарный объём переданного сетевого трафика или подготовить сервер к работе сразу после развёртывания. Базовые принципы навигации в консоли описаны в статье «30 основных команд Linux для начинающих администраторов».
Потоковый редактор sed: синтаксис и базовые операции
Принцип работы sed прост: утилита считывает входной поток построчно в специальный буфер шаблонов (pattern space), применяет к нему заданную инструкцию и выводит результат в стандартный вывод stdout.
1. Поиск и замена текста: команда s
Базовая конструкция замены выглядит так: s/что_ищем/на_что_меняем/флаги.
# Замена первого вхождения слова "error" на "warning" в каждой строке
sed 's/error/warning/' /var/log/syslog
# Замена ВСЕХ вхождений в строке (флаг g - global)
sed 's/error/warning/g' /var/log/syslog
# Нечувствительность к регистру (флаг i)
sed 's/error/warning/gi' /var/log/syslog
2. Изменение разделителя для путей файлов
Если в тексте для замены присутствуют слеши (например, пути каталогов вроде /var/www/html), стандартный разделитель / приходится экранировать обратными слешами \/, что превращает команду в нечитаемый набор символов. В sed в роли разделителя может выступать любой другой символ, например решётка # или запятая:
# Вместо нечитаемого sed 's/\/var\/www\/html/\/opt\/app/g'
sed 's#/var/www/html#/opt/app#g' /etc/nginx/sites-available/default
3. Редактирование файла на месте: флаг -i и создание резервной копии
По умолчанию sed не изменяет исходный файл, а лишь печатает результат в терминал. Чтобы записать изменения прямо в файл, используется ключ -i (in-place).
Критически важное правило безопасности: всегда создавайте резервную копию при использовании -i, указав расширение для бэкапа:
# Заменит текст в файле и создаст копию sshd_config.bak
sudo sed -i.bak 's/Port 22/Port 2222/' /etc/ssh/sshd_config
Если что-то пойдёт не так, исходный файл можно будет восстановить за одну секунду.
4. Удаление строк по шаблону и номерам
Для удаления строк используется команда d:
# Удалить 5-ю строку файла
sed '5d' access.log
# Удалить строки с 10 по 25
sed '10,25d' access.log
# Удалить все пустые строки
sed '/^$/d' config.txt
# Удалить все строки комментариев, начинающиеся с #
sed '/^#/d' /etc/vsftpd.conf
5. Вывод определённого диапазона строк
С ключом -n (подавлять автоматический вывод) и командой p (print) можно вывести только нужный фрагмент файла:
# Вывести строго строки со 100 по 120
sed -n '100,120p' /var/log/nginx/access.log
Утилита awk: работа со столбцами, условиями и подсчётами
В отличие от sed, ориентированного на замену подстрок, awk воспринимает каждую строку файла как запись, состоящую из отдельных полей (столбцов).
По умолчанию разделителем полей считаются пробелы или символы табуляции:
$0— вся текущая строка целиком.$1,$2,$3— первый, второй, третий столбцы.$NF— последнее поле в текущей строке (Number of Fields).NR— порядковый номер текущей строки (Number of Records).
1. Вывод конкретных столбцов
# Вывести первый и третий столбец списка процессов
ps aux | awk '{print $1, $3}'
# Вывести IP-адрес клиента и запрашиваемый URL из лога Nginx
awk '{print $1, $7}' /var/log/nginx/access.log
2. Изменение разделителя полей: флаг -F
Если поля в файле разделены не пробелом, а другим символом (двоеточием, запятой, точкой с запятой), разделитель указывается флагом -F:
# Вывод имени пользователя ($1) и его домашнего каталога ($6) из /etc/passwd
awk -F: '{print $1, $6}' /etc/passwd
3. Фильтрация строк по условиям
В awk можно задавать условия перед блоком выполнения {}:
# Показать только те процессы, которые потребляют больше 10% CPU
ps aux | awk '$3 > 10.0 {print $1, $2, $3, $11}'
# Показать пользователей, у которых UID ($3) больше или равен 1000
awk -F: '$3 >= 1000 {print $1, $3}' /etc/passwd
4. Специальные блоки BEGIN и END
Блок BEGIN выполняется один раз до начала чтения файла, а блок END — один раз после обработки всех строк. Это превращает awk в инструмент агрегации и подсчёта:
# Подсчёт общего количества строк в файле
awk 'END {print "Всего строк:", NR}' /var/log/nginx/access.log
# Подсчёт суммарного размера переданных байт (столбец $10 в логе Nginx)
awk '{sum += $10} END {print "Передано мегабайт:", sum / (1024 * 1024)}' /var/log/nginx/access.log
10 практических рецептов для администрирования VPS
Ниже собраны готовые однострочники, которые ежедневно экономят часы работы при сопровождении виртуальных серверов на Ubuntu 24.04 LTS.
1. Топ-10 IP-адресов, атакующих ваш сайт (анализ access.log)
Команда извлекает первый столбец лога, сортирует адреса, считает число повторений и выводит десятку лидеров:
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -n 10
2. Подсчёт ответов с ошибками 404 и 500
Считаем распределение кодов HTTP-ответов сервера (в стандартном логе Nginx код ответа находится в 9-м поле):
awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn
Подробные методики поиска аномалий и сбоев описаны в статье «Анализ логов сервера: от системных журналов до веб-сервера».
3. Быстрая смена порта SSH в sshd_config
Заменяем стандартный порт Port 22 на безопасный нестандартный порт Port 2222:
sudo sed -i 's/^#\?Port 22$/Port 2222/' /etc/ssh/sshd_config
Регулярное выражение ^#\? гарантирует, что строка изменится, даже если она была закомментирована. Прежде чем применять изменения, откройте новый порт в файрволе (sudo ufw allow 2222/tcp), иначе потеряете доступ к серверу. В Ubuntu 24.04 SSH запускается через сокет, поэтому после правки выполните sudo systemctl daemon-reload && sudo systemctl restart ssh.socket. Подробнее — в статье «Как сменить порт SSH».
4. Отключение входа root по паролю в SSH
Находим директиву PermitRootLogin и переводим её в защищённый режим:
sudo sed -i 's/^#\?PermitRootLogin .*/PermitRootLogin prohibit-password/' /etc/ssh/sshd_config
5. Вывод списка реальных пользователей системы
Фильтруем пользователей из базы /etc/passwd, отсекая системных демонов без командной оболочки:
awk -F: '$7 !~ /(nologin|false)$/ {print $1, $6, $7}' /etc/passwd
6. Мониторинг свободной оперативной памяти в мегабайтах
Утилита free выводит сводку памяти. С помощью awk можно извлечь точное значение доступной памяти:
free -m | awk '/Mem:/ {print "Доступно оперативной памяти: " $7 " МБ"}'
7. Удаление комментариев и пустых строк из конфигурационных файлов
Когда требуется посмотреть чистый конфиг без сотен строк документации:
sed -e '/^[[:space:]]*#/d' -e '/^[[:space:]]*$/d' /etc/nginx/nginx.conf
8. Очистка старых логов или замена тестового IP-адреса
Заменяем тестовый адрес разработчика 203.0.113.10 во всех скриптах каталога:
sed -i 's/203\.0\.113\.10/198.51.100.25/g' /home/deploy/scripts/*.sh
9. Подсчёт уникальных посетителей за текущий день
Фильтруем записи лога по сегодняшней дате (например, 05/Nov/2026) и выводим количество уникальных IP:
awk '/05\/Nov\/2026/ {print $1}' /var/log/nginx/access.log | sort -u | wc -l
10. Проверка утилизации разделов жесткого диска
Выводим только те дисковые разделы, заполненность которых превышает 80%:
df -h | awk 'NR>1 {gsub("%","",$5); if ($5+0 > 80) print "Внимание! Раздел " $6 " заполнен на " $5 "%"}'
Прибавление +0 превращает значение в число: без него awk сравнил бы строки, и раздел, заполненный на 9%, оказался бы «больше 80».
О том, как комбинировать подобные однострочники с глобальным поиском по файловой системе, читайте в статье «Поиск файлов в Linux: find и grep на примерах».
Сравнение инструментов: grep vs sed vs awk
Хотя все три утилиты работают с текстом и поддерживают регулярные выражения, каждая из них спроектирована под свою задачу.
| Инструмент | Основное назначение | Преимущества | Ограничения |
|---|---|---|---|
| grep | Фильтрация и поиск строк по регулярным выражениям | Максимальная скорость работы, простота синтаксиса | Не умеет изменять текст и форматировать столбцы |
| sed | Построчная замена, удаление и трансформация текста | Быстрая правка файлов на месте (-i), удобная работа со строками | Сложно производить математические вычисления |
| awk | Анализ табличных данных, парсинг логов, вычисления | Полноценный скриптовый язык, поддержка массивов и условий | Более длинный синтаксис для простых задач замены |
При администрировании серверов их чаще всего объединяют через пайплайн: grep быстро отсекает 95% лишних строк, awk извлекает нужные столбцы, а sed приводит финальный текст к требуемому формату.
FAQ
Можно ли испортить файл при использовании команды sed -i?
Да, если регулярное выражение составлено неверно, ключ -i мгновенно перезапишет оригинальный файл ошибочными данными. Чтобы избежать потери конфигураций, всегда указывайте суффикс резервной копии, например sed -i.bak 's/foo/bar/' file.conf. В этом случае рядом с файлом автоматически появится копия file.conf.bak.
Почему в sed не работает замена путей со слешами?
По умолчанию команда замены использует слеш в качестве разделителя шаблона: s/старое/новое/. Если в самом тексте есть слеши (например, путь /var/log), sed воспринимает их как границы команд и падает с синтаксической ошибкой. Решение — использовать альтернативный разделитель, например решетку: sed 's#/var/log#/opt/logs#g'.
В чём разница между одинарными и двойными кавычками в sed и awk?
Одинарные кавычки передают строку команд без изменений напрямую интерпретатору утилиты. Если заключить команду в двойные кавычки, командная оболочка bash предварительно раскроет переменные окружения, такие как $USER или $HOME. В awk знак доллара $1 обозначает поле строки, а в двойных кавычках bash подставит вместо $1 свой первый аргумент (обычно пустую строку), и awk получит не ту программу. Поэтому программы awk пишут в одинарных кавычках или экранируют доллар: \$1.
Как с помощью awk сложить числа из определенного столбца?
Для суммирования числовых значений используйте накопительную переменную в блоке {sum += $Номер} и напечатайте итоговую сумму в блоке END. Например, команда awk '{sum += $2} END {print sum}' data.txt выведет сумму всех чисел из второго столбца файла.
Какая утилита работает быстрее при поиске по гигабайтным логам?
Для простого поиска строк утилита grep работает значительно быстрее sed и awk, так как оптимизирована на уровне алгоритмов прямого сопоставления байтов. При обработке огромных журналов рекомендуется сначала отфильтровать нужные строки через grep 'Шаблон', а затем передавать поток в awk для разбора столбцов.
Вывод
Освоение утилит sed и awk переводит системного администратора на новый уровень эффективности. Вместо рутинного ручного поиска и правки конфигурационных файлов вы получаете возможность создавать надежные, воспроизводимые и легко автоматизируемые сценарии управления инфраструктурой.
Для отработки навыков автоматизации, развёртывания тестовых веб-серверов и парсинга реальных сетевых журналов отлично подходят производительные виртуальные серверы от Cheap-Host. Вы можете заказать VPS в Москве или Германии с честными KVM-ресурсами и быстрым NVMe-хранилищем от 450 рублей в месяц или ультрабюджетный NAT VPS от 59 рублей в месяц с автоматической активацией за 60 секунд.