sed и awk в Linux: практические примеры для VPS

Linux и команды

Утилиты sed и awk в Linux — это классический и незаменимый инструментарий системного администратора, позволяющий мгновенно анализировать гигабайтные текстовые файлы, парсить логи веб-серверов и автоматизировать точечную правку конфигурационных файлов прямо из командной строки. Когда сервер работает под высокой нагрузкой или настраивается через автоматические bash-скрипты, открывать каждый файл в интерактивном редакторе вроде nano или vim слишком медленно и неэффективно. В этом практическом руководстве мы подробно разберём синтаксис потокового редактора sed и мощного языка обработки данных awk, изучим 10 готовых рецептов для повседневного администрирования VPS на Ubuntu 24.04 LTS и сравним их возможности с утилитой grep.

Зачем системному администратору VPS нужны sed и awk

Современное администрирование серверов строится на принципах автоматизации. Ручное редактирование файлов не масштабируется: если вам нужно изменить порт SSH или отключить директиву в конфиге Nginx на нескольких десятках виртуальных машин, делать это вручную через текстовый редактор нерационально.

Именно здесь на помощь приходят два мощных UNIX-инструмента:

  • sed (Stream Editor) — потоковый редактор, предназначенный для построчной трансформации текста: поиска и замены по шаблонам, удаления строк, вставки фрагментов без открытия файла в интерактивном интерфейсе.
  • awk (названный по фамилиям создателей Aho, Weinberger, Kernighan) — полноценный язык построчной обработки структурированных текстовых данных (таблиц, CSV, логов, списков процессов), умеющий оперировать столбцами, переменными, математическими вычислениями и условиями.

В связке со стандартными системными утилитами они позволяют за доли секунды вычленить IP-адреса атакующих ботов, посчитать суммарный объём переданного сетевого трафика или подготовить сервер к работе сразу после развёртывания. Базовые принципы навигации в консоли описаны в статье «30 основных команд Linux для начинающих администраторов».

Потоковый редактор sed: синтаксис и базовые операции

Принцип работы sed прост: утилита считывает входной поток построчно в специальный буфер шаблонов (pattern space), применяет к нему заданную инструкцию и выводит результат в стандартный вывод stdout.

1. Поиск и замена текста: команда s

Базовая конструкция замены выглядит так: s/что_ищем/на_что_меняем/флаги.

# Замена первого вхождения слова "error" на "warning" в каждой строке
sed 's/error/warning/' /var/log/syslog

# Замена ВСЕХ вхождений в строке (флаг g - global)
sed 's/error/warning/g' /var/log/syslog

# Нечувствительность к регистру (флаг i)
sed 's/error/warning/gi' /var/log/syslog

2. Изменение разделителя для путей файлов

Если в тексте для замены присутствуют слеши (например, пути каталогов вроде /var/www/html), стандартный разделитель / приходится экранировать обратными слешами \/, что превращает команду в нечитаемый набор символов. В sed в роли разделителя может выступать любой другой символ, например решётка # или запятая:

# Вместо нечитаемого sed 's/\/var\/www\/html/\/opt\/app/g'
sed 's#/var/www/html#/opt/app#g' /etc/nginx/sites-available/default

3. Редактирование файла на месте: флаг -i и создание резервной копии

По умолчанию sed не изменяет исходный файл, а лишь печатает результат в терминал. Чтобы записать изменения прямо в файл, используется ключ -i (in-place).

Критически важное правило безопасности: всегда создавайте резервную копию при использовании -i, указав расширение для бэкапа:

# Заменит текст в файле и создаст копию sshd_config.bak
sudo sed -i.bak 's/Port 22/Port 2222/' /etc/ssh/sshd_config

Если что-то пойдёт не так, исходный файл можно будет восстановить за одну секунду.

4. Удаление строк по шаблону и номерам

Для удаления строк используется команда d:

# Удалить 5-ю строку файла
sed '5d' access.log

# Удалить строки с 10 по 25
sed '10,25d' access.log

# Удалить все пустые строки
sed '/^$/d' config.txt

# Удалить все строки комментариев, начинающиеся с #
sed '/^#/d' /etc/vsftpd.conf

5. Вывод определённого диапазона строк

С ключом -n (подавлять автоматический вывод) и командой p (print) можно вывести только нужный фрагмент файла:

# Вывести строго строки со 100 по 120
sed -n '100,120p' /var/log/nginx/access.log

Утилита awk: работа со столбцами, условиями и подсчётами

В отличие от sed, ориентированного на замену подстрок, awk воспринимает каждую строку файла как запись, состоящую из отдельных полей (столбцов).

По умолчанию разделителем полей считаются пробелы или символы табуляции:

  • $0 — вся текущая строка целиком.
  • $1, $2, $3 — первый, второй, третий столбцы.
  • $NF — последнее поле в текущей строке (Number of Fields).
  • NR — порядковый номер текущей строки (Number of Records).

1. Вывод конкретных столбцов

# Вывести первый и третий столбец списка процессов
ps aux | awk '{print $1, $3}'

# Вывести IP-адрес клиента и запрашиваемый URL из лога Nginx
awk '{print $1, $7}' /var/log/nginx/access.log

2. Изменение разделителя полей: флаг -F

Если поля в файле разделены не пробелом, а другим символом (двоеточием, запятой, точкой с запятой), разделитель указывается флагом -F:

# Вывод имени пользователя ($1) и его домашнего каталога ($6) из /etc/passwd
awk -F: '{print $1, $6}' /etc/passwd

3. Фильтрация строк по условиям

В awk можно задавать условия перед блоком выполнения {}:

# Показать только те процессы, которые потребляют больше 10% CPU
ps aux | awk '$3 > 10.0 {print $1, $2, $3, $11}'

# Показать пользователей, у которых UID ($3) больше или равен 1000
awk -F: '$3 >= 1000 {print $1, $3}' /etc/passwd

4. Специальные блоки BEGIN и END

Блок BEGIN выполняется один раз до начала чтения файла, а блок END — один раз после обработки всех строк. Это превращает awk в инструмент агрегации и подсчёта:

# Подсчёт общего количества строк в файле
awk 'END {print "Всего строк:", NR}' /var/log/nginx/access.log

# Подсчёт суммарного размера переданных байт (столбец $10 в логе Nginx)
awk '{sum += $10} END {print "Передано мегабайт:", sum / (1024 * 1024)}' /var/log/nginx/access.log

10 практических рецептов для администрирования VPS

Ниже собраны готовые однострочники, которые ежедневно экономят часы работы при сопровождении виртуальных серверов на Ubuntu 24.04 LTS.

1. Топ-10 IP-адресов, атакующих ваш сайт (анализ access.log)

Команда извлекает первый столбец лога, сортирует адреса, считает число повторений и выводит десятку лидеров:

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -n 10

2. Подсчёт ответов с ошибками 404 и 500

Считаем распределение кодов HTTP-ответов сервера (в стандартном логе Nginx код ответа находится в 9-м поле):

awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c | sort -rn

Подробные методики поиска аномалий и сбоев описаны в статье «Анализ логов сервера: от системных журналов до веб-сервера».

3. Быстрая смена порта SSH в sshd_config

Заменяем стандартный порт Port 22 на безопасный нестандартный порт Port 2222:

sudo sed -i 's/^#\?Port 22$/Port 2222/' /etc/ssh/sshd_config

Регулярное выражение ^#\? гарантирует, что строка изменится, даже если она была закомментирована. Прежде чем применять изменения, откройте новый порт в файрволе (sudo ufw allow 2222/tcp), иначе потеряете доступ к серверу. В Ubuntu 24.04 SSH запускается через сокет, поэтому после правки выполните sudo systemctl daemon-reload && sudo systemctl restart ssh.socket. Подробнее — в статье «Как сменить порт SSH».

4. Отключение входа root по паролю в SSH

Находим директиву PermitRootLogin и переводим её в защищённый режим:

sudo sed -i 's/^#\?PermitRootLogin .*/PermitRootLogin prohibit-password/' /etc/ssh/sshd_config

5. Вывод списка реальных пользователей системы

Фильтруем пользователей из базы /etc/passwd, отсекая системных демонов без командной оболочки:

awk -F: '$7 !~ /(nologin|false)$/ {print $1, $6, $7}' /etc/passwd

6. Мониторинг свободной оперативной памяти в мегабайтах

Утилита free выводит сводку памяти. С помощью awk можно извлечь точное значение доступной памяти:

free -m | awk '/Mem:/ {print "Доступно оперативной памяти: " $7 " МБ"}'

7. Удаление комментариев и пустых строк из конфигурационных файлов

Когда требуется посмотреть чистый конфиг без сотен строк документации:

sed -e '/^[[:space:]]*#/d' -e '/^[[:space:]]*$/d' /etc/nginx/nginx.conf

8. Очистка старых логов или замена тестового IP-адреса

Заменяем тестовый адрес разработчика 203.0.113.10 во всех скриптах каталога:

sed -i 's/203\.0\.113\.10/198.51.100.25/g' /home/deploy/scripts/*.sh

9. Подсчёт уникальных посетителей за текущий день

Фильтруем записи лога по сегодняшней дате (например, 05/Nov/2026) и выводим количество уникальных IP:

awk '/05\/Nov\/2026/ {print $1}' /var/log/nginx/access.log | sort -u | wc -l

10. Проверка утилизации разделов жесткого диска

Выводим только те дисковые разделы, заполненность которых превышает 80%:

df -h | awk 'NR>1 {gsub("%","",$5); if ($5+0 > 80) print "Внимание! Раздел " $6 " заполнен на " $5 "%"}'

Прибавление +0 превращает значение в число: без него awk сравнил бы строки, и раздел, заполненный на 9%, оказался бы «больше 80».

О том, как комбинировать подобные однострочники с глобальным поиском по файловой системе, читайте в статье «Поиск файлов в Linux: find и grep на примерах».

Сравнение инструментов: grep vs sed vs awk

Хотя все три утилиты работают с текстом и поддерживают регулярные выражения, каждая из них спроектирована под свою задачу.

ИнструментОсновное назначениеПреимуществаОграничения
grepФильтрация и поиск строк по регулярным выражениямМаксимальная скорость работы, простота синтаксисаНе умеет изменять текст и форматировать столбцы
sedПострочная замена, удаление и трансформация текстаБыстрая правка файлов на месте (-i), удобная работа со строкамиСложно производить математические вычисления
awkАнализ табличных данных, парсинг логов, вычисленияПолноценный скриптовый язык, поддержка массивов и условийБолее длинный синтаксис для простых задач замены

При администрировании серверов их чаще всего объединяют через пайплайн: grep быстро отсекает 95% лишних строк, awk извлекает нужные столбцы, а sed приводит финальный текст к требуемому формату.

FAQ

Можно ли испортить файл при использовании команды sed -i?

Да, если регулярное выражение составлено неверно, ключ -i мгновенно перезапишет оригинальный файл ошибочными данными. Чтобы избежать потери конфигураций, всегда указывайте суффикс резервной копии, например sed -i.bak 's/foo/bar/' file.conf. В этом случае рядом с файлом автоматически появится копия file.conf.bak.

Почему в sed не работает замена путей со слешами?

По умолчанию команда замены использует слеш в качестве разделителя шаблона: s/старое/новое/. Если в самом тексте есть слеши (например, путь /var/log), sed воспринимает их как границы команд и падает с синтаксической ошибкой. Решение — использовать альтернативный разделитель, например решетку: sed 's#/var/log#/opt/logs#g'.

В чём разница между одинарными и двойными кавычками в sed и awk?

Одинарные кавычки передают строку команд без изменений напрямую интерпретатору утилиты. Если заключить команду в двойные кавычки, командная оболочка bash предварительно раскроет переменные окружения, такие как $USER или $HOME. В awk знак доллара $1 обозначает поле строки, а в двойных кавычках bash подставит вместо $1 свой первый аргумент (обычно пустую строку), и awk получит не ту программу. Поэтому программы awk пишут в одинарных кавычках или экранируют доллар: \$1.

Как с помощью awk сложить числа из определенного столбца?

Для суммирования числовых значений используйте накопительную переменную в блоке {sum += $Номер} и напечатайте итоговую сумму в блоке END. Например, команда awk '{sum += $2} END {print sum}' data.txt выведет сумму всех чисел из второго столбца файла.

Какая утилита работает быстрее при поиске по гигабайтным логам?

Для простого поиска строк утилита grep работает значительно быстрее sed и awk, так как оптимизирована на уровне алгоритмов прямого сопоставления байтов. При обработке огромных журналов рекомендуется сначала отфильтровать нужные строки через grep 'Шаблон', а затем передавать поток в awk для разбора столбцов.

Вывод

Освоение утилит sed и awk переводит системного администратора на новый уровень эффективности. Вместо рутинного ручного поиска и правки конфигурационных файлов вы получаете возможность создавать надежные, воспроизводимые и легко автоматизируемые сценарии управления инфраструктурой.

Для отработки навыков автоматизации, развёртывания тестовых веб-серверов и парсинга реальных сетевых журналов отлично подходят производительные виртуальные серверы от Cheap-Host. Вы можете заказать VPS в Москве или Германии с честными KVM-ресурсами и быстрым NVMe-хранилищем от 450 рублей в месяц или ультрабюджетный NAT VPS от 59 рублей в месяц с автоматической активацией за 60 секунд.

Читайте также