Sed linux замена пути

Обновлено: 08.07.2024

2. Читает первую инструкцию из программы или из файла _ программы . Если строка

ввода выбирается адресом ( или адресами ) , обрабатывает строку ввода согласно

3. Читает следующую инструкцию из программы или из файла _ программы . Если

строка ввода выбирается адресом ( или адресами ) , обрабатывает строку ввода ( воз -

можно , уже измененную предыдущей инструкцией ) согласно инструкции .

4. Повторяет шаг 3 до тех пор , пока не будут выполнены все инструкции в программе

5. Начинает с шага 1 , если есть еще одна строка ввода ; если такой строки нет , sed за -

Адреса
Номер строки является адресом, выбирающим строку. В качестве особого случая,
номер, обозначенный символом $, является представителем последней строки ввода.
Регулярное выражение является адресом, выбирающим строки, содержащие соот-
ветствующие этому выражению строковые значения. Хотя в качестве ограничителей
регулярных выражений чаще всего используются слэши, sed позволяет использовать
для этих целей любые символы, кроме обратного слэша и разделителя строк.
Кроме того, уже отмечалось, что перед инструкцией может не быть вообще ника-
кого адреса, или же быть один или два адреса (в виде либо номеров строк, либо регу-
лярных выражений). Если адрес не будет указан, sed выбирает все строки, заставляя
инструкцию обрабатывать каждую строку ввода. Указание одного адреса заставляет
инструкцию обрабатывать каждую строку ввода, выбранную адресом. Указание двух
адресов заставляет инструкцию обрабатывать группу строк. В этом случае первый
адрес выбирает первую строку в первой группе. Второй адрес выбирает следующую
за первой строку, соответствующую этому адресу; и эта строка становится последней
строкой первой группы. Если соответствий для второго адреса найдено не будет, то он
укажет на конец файла. После выбора последней строки в группе sed начинает новый
процесс выбора с поиска следующей строки, соответствующей первому адресу. Эта
строка становится первой строкой следующей группы. Утилита sed продолжает этот
процесс, пока не будет пройден весь файл.

Инструкции
Утилита sed использует два буфера. Следующие команды работают
с Областью шаблона, в котором изначально хранится строка ввода,
только что прочитанная sed.
Другой буфер, Область хранения, рассмотрен далее в соответствующем разделе.

Довольно часто при работе с текстовыми файлами вам нужно находить и заменять строки текста в одном или нескольких файлах.

sed - это потоковый редактор. Он может выполнять основные операции с текстом над файлами и входными потоками, такими как конвейеры. С помощью sed вы можете искать, находить и заменять, вставлять и удалять слова и строки. Он поддерживает базовые и расширенные регулярные выражения, которые позволяют сопоставлять сложные шаблоны.

В этой статье мы поговорим о том, как находить и заменять строки с помощью sed. Мы также покажем вам, как выполнять рекурсивный поиск и замену.

Существует несколько версий sed, с некоторыми функциональными отличиями между ними. macOS использует версию BSD, а большинство дистрибутивов Linux поставляются с предварительно установленной GNU sed по умолчанию. Мы будем использовать версию GNU.

Общая форма команды поиска и замены текста с использованием sed имеет следующий вид:

-i - По умолчанию sed записывает свой вывод в стандартный вывод. Эта опция указывает sed редактировать файлы на месте. Если указано расширение (например, -i.bak), будет создана резервная копия исходного файла.
s - Команда замены, вероятно, наиболее часто используемая команда в sed.
/ / / - Разделитель символов. Это может быть любой символ, но обычно используется символ косой черты (/).
SEARCH_REGEX - Обычная строка или регулярное выражение для поиска.
REPLACEMENT - Строка замены.
g - Флаг глобальной замены. По умолчанию sed читает файл построчно и изменяет только первое вхождение SEARCH_REGEX в строке. Если указан флаг замены, будут заменены все вхождения.
INPUTFILE - Имя файла, для которого вы хотите выполнить команду.

Рекомендуется заключать аргументы в кавычки, чтобы метасимволы оболочки не расширялись.

Давайте рассмотрим примеры использования команды sed для поиска и замены текста в файлах с некоторыми из его наиболее часто используемых опций и флагов.

Название Sed произошло от английского сокращения — Stream EDitor, потоковый текстовый редактор для Unix-среды. Sed не похож на привычный инструмент для работы с текстом, поскольку не является интерактивным редактором в привычном понимании. По своей «‎ странности » он чем-то похож на знаменитый Vim. Принцип работы Sed заключается в непрерывной обработке входящего потока данных, например, в составе программного канала. Напомним, что программный канал или pipe — способ передачи вывода одной команды на вход другой.

Утилита Sed работает с текстовыми файлами. Принцип работы с ним заключается в том, что вы указываете параметры редактирования текста, а программа сама автоматически производит все необходимые изменения. Благодаря такому конвейерному подходу, редактор может справляться с довольно большими массивами текстовых данных. Программа может спасти ситуацию, когда необходимо внести изменения в большие файлы, с которыми не справляются (или неэффективны) обычные средства. Команды Sed составляют определенный синтаксис, который влияет на правила обработки текстовой информации.

Внутренние команды

У редактора Sed очень много внутренних команд. Самая главная из них, которая используется чаще других, — это команда замены текстового фрагмента. Чтобы поменять один текстовый фрагмент на другой, используем конструкцию:

На практике это выглядит так:

При наличии метасимволов в тексте выражение s/ИСХОДНЫЙ_ТЕКСТ/ЗАМЕНЯЕМЫЙ_ТЕКСТ/ необходимо было бы заключать в кавычки.

Иногда вместо прямого слеша используется обратный (в другую сторону). Это может быть удобно, если необходимо менять пути к каталогам (path), которые также разделяются прямым слешем. Например, когда имеем дело с каталогами /usr/local/bin , код выглядит некрасиво, так сказать, с «‎ частоколом » :

Поэтому в роли элемента-разделителя в Sed можно применять альтернативные символы (практически любые) — двоеточие, нижнее подчеркивание, знак « шарп » , « тильда » и так далее.

Поскольку работа потокового редактора завязана на регулярных выражениях, поговорим об их синтаксисе. Любой неспециальный символ — буква или цифра — в программе видятся как регулярные выражения , представляющие сами себя.

Перечислим стандартные обозначения Regex:

Примеры использования данного синтаксиса:

Знак & означает любой текстовый фрагмент, обнаруженный в документе:

Без знака « * » текстовый редактор применил бы регулярное выражение только к первому знаку:

Рассмотрим практический пример, где необходимо отредактировать алгебраическое выражение, поставив скобки:

Пример удвоения исходного фрагмента текста с помощью амперсанда

Обратите внимание на то, что выражение 1* ищет совпадения только в первом символе строки. Поэтому, если переставить фрагменты местами, то повторение наблюдаться не будет.

Чтобы они удваивались, необходимо отредактировать маску замены:

Перестановка слов местами

Ниже показан пример синтаксиса для редактора Sed, при котором слова в текстовом фрагменте меняются местами.

$ echo вход выход |sed 's/$[а-я]*$ $[а-я]*$/\2 \1/'
выход вход

В этом выражении мы запоминаем две подстроки, а затем выполняем их ротацию.

Удаление повторов

В данном случае \2 соответствует второму слову, а \1 — первому. Маску \1 можно использовать не только в шаблоне для замены, но и в образце для удаления повторяющихся слов.

$ echo longpool longpool | sed 's/$[а-я]*$ \1/\1/'
longpool

Модификаторы

Язык команд утилиты Sed реагирует модификаторы, которые конфигурируют действие программы если в строке имеется более одного совпадения. Например, глобальный модификатор g , определяет область поиска, не ограничивая его первым словом на строке. Так, если в документе есть текст и мы его обрабатываем без глобального модификатора g , имеем:

Теперь запишем с модификатором и получим:

Другой тип модификатора — числовой. Это простое число, которое показывает на номер совпавшего фрагмента, который необходимо отредактировать.

Возможна также комбинация глобального и числового модификаторов

Для удаления определенных слов в поле замены мы ничего не ставим или ставим пробел:

Модификатор /w дает возможность записывать результат редактирования сразу в определенный файл:

Команда /p в редакторе делает вывод на экран результата редактирования. Поскольку она применяется сама к себе, то удваивает число строк

Комбинируя команду печати с командой для запрета отображения строк, можно сделать маску, при которой будут показаны, например, одни только комментарии:

Из прочих команд хотелось бы отметить команду = , которая сообщает номер указанной строки, а также команду q (quit) , благодаря которой утилита может выполнить завершение своей работы по достижению указанной строки.

Заключение

Утилита Sed — один из тех инструментов, которыми приходится пользоваться не каждый день, однако, не имеющий альтернатив. Она справляется с большими объемами данных и при грамотном использовании регулярных выражений может творить с текстом чудеса, автоматизируя рутинную работу пользователя. Более подробное описание синтаксиса языка Sed можно найти в его официальной документации или в соответствующем « man » .

Highload нужны авторы технических текстов. Вы наш человек, если разбираетесь в разработке, знаете языки программирования и умеете просто писать о сложном!
Откликнуться на вакансию можно здесь .

В прошлый раз мы говорили о функциях в bash-скриптах, в частности, о том, как вызывать их из командной строки. Наша сегодняшняя тема — весьма полезный инструмент для обработки строковых данных — утилита Linux, которая называется sed. Её часто используют для работы с текстами, имеющими вид лог-файлов, конфигурационных и других файлов.

Если вы, в bash-скриптах, каким-то образом обрабатываете данные, вам не помешает знакомство с инструментами sed и gawk. Тут мы сосредоточимся на sed и на работе с текстами, так как это — очень важный шаг в нашем путешествии по бескрайним просторам разработки bash-скриптов.

Сейчас мы разберём основы работы с sed, а так же рассмотрим более трёх десятков примеров использования этого инструмента.

Основы работы с sed

Утилиту sed называют потоковым текстовым редактором. В интерактивных текстовых редакторах, наподобие nano, с текстами работают, используя клавиатуру, редактируя файлы, добавляя, удаляя или изменяя тексты. Sed позволяет редактировать потоки данных, основываясь на заданных разработчиком наборах правил. Вот как выглядит схема вызова этой команды:

По умолчанию sed применяет указанные при вызове правила, выраженные в виде набора команд, к STDIN . Это позволяет передавать данные непосредственно sed.

Вот что получится при выполнении этой команды.

Простой пример вызова sed

В данном случае sed заменяет слово «test» в строке, переданной для обработки, словами «another test». Для оформления правила обработки текста, заключённого в кавычки, используются прямые слэши. В нашем случае применена команда вида s/pattern1/pattern2/ . Буква «s» — это сокращение слова «substitute», то есть — перед нами команда замены. Sed, выполняя эту команду, просмотрит переданный текст и заменит найденные в нём фрагменты (о том — какие именно, поговорим ниже), соответствующие pattern1 , на pattern2 .

Выше приведён примитивный пример использования sed, нужный для того, чтобы ввести вас в курс дела. На самом деле, sed можно применять в гораздо более сложных сценариях обработки текстов, например — для работы с файлами.

Ниже показан файл, в котором содержится фрагмент текста, и результаты его обработки такой командой:

Текстовый файл и результаты его обработки

Здесь применён тот же подход, который мы использовали выше, но теперь sed обрабатывает текст, хранящийся в файле. При этом, если файл достаточно велик, можно заметить, что sed обрабатывает данные порциями и выводит то, что обработано, на экран, не дожидаясь обработки всего файла.

Выполнение наборов команд при вызове sed

Для выполнения нескольких действий с данными, используйте ключ -e при вызове sed. Например, вот как организовать замену двух фрагментов текста:

Использование ключа -e при вызове sed

К каждой строке текста из файла применяются обе команды. Их нужно разделить точкой с запятой, при этом между окончанием команды и точкой с запятой не должно быть пробела.
Для ввода нескольких шаблонов обработки текста при вызове sed, можно, после ввода первой одиночной кавычки, нажать Enter, после чего вводить каждое правило с новой строки, не забыв о закрывающей кавычке:

Вот что получится после того, как команда, представленная в таком виде, будет выполнена.

Другой способ работы с sed

Чтение команд из файла

Если имеется множество команд sed, с помощью которых надо обработать текст, обычно удобнее всего предварительно записать их в файл. Для того, чтобы указать sed файл, содержащий команды, используют ключ -f :

Вот содержимое файла mycommands :

Вызовем sed, передав редактору файл с командами и файл для обработки:

Результат при вызове такой команды аналогичен тому, который получался в предыдущих примерах.

Использование файла с командами при вызове sed

Флаги команды замены

Внимательно посмотрите на следующий пример.

Вот что содержится в файле, и что будет получено после его обработки sed.

Исходный файл и результаты его обработки

Команда замены нормально обрабатывает файл, состоящий из нескольких строк, но заменяются только первые вхождения искомого фрагмента текста в каждой строке. Для того, чтобы заменить все вхождения шаблона, нужно использовать соответствующий флаг.

Схема записи команды замены при использовании флагов выглядит так:

Выполнение этой команды можно модифицировать несколькими способами.

При передаче номера учитывается порядковый номер вхождения шаблона в строку, заменено будет именно это вхождение.
Флаг g указывает на то, что нужно обработать все вхождения шаблона, имеющиеся в строке.
Флаг p указывает на то, что нужно вывести содержимое исходной строки.
Флаг вида w file указывает команде на то, что нужно записать результаты обработки текста в файл.

Вызов команды замены с указанием позиции заменяемого фрагмента

Тут мы указали, в качестве флага замены, число 2. Это привело к тому, что было заменено лишь второе вхождение искомого шаблона в каждой строке. Теперь опробуем флаг глобальной замены — g :

Как видно из результатов вывода, такая команда заменила все вхождения шаблона в тексте.

Глобальная замена

Флаг команды замены p позволяет выводить строки, в которых найдены совпадения, при этом ключ -n , указанный при вызове sed, подавляет обычный вывод:

Как результат, при запуске sed в такой конфигурации на экран выводятся лишь строки (в нашем случае — одна строка), в которых найден заданный фрагмент текста.

Использование флага команды замены p

Воспользуемся флагом w , который позволяет сохранить результаты обработки текста в файл:

Сохранение результатов обработки текста в файл

Хорошо видно, что в ходе работы команды данные выводятся в STDOUT, при этом обработанные строки записываются в файл, имя которого указано после w .

Символы-разделители

Представьте, что нужно заменить /bin/bash на /bin/csh в файле /etc/passwd . Задача не такая уж и сложная:

Однако, выглядит всё это не очень-то хорошо. Всё дело в том, что так как прямые слэши используются в роли символов-разделителей, такие же символы в передаваемых sed строках приходится экранировать. В результате страдает читаемость команды.

К счастью, sed позволяет нам самостоятельно задавать символы-разделители для использования их в команде замены. Разделителем считается первый символ, который будет встречен после s :

В данном случае в качестве разделителя использован восклицательный знак, в результате код легче читать и он выглядит куда опрятнее, чем прежде.

Выбор фрагментов текста для обработки

До сих пор мы вызывали sed для обработки всего переданного редактору потока данных. В некоторых случаях с помощью sed надо обработать лишь какую-то часть текста — некую конкретную строку или группу строк. Для достижения такой цели можно воспользоваться двумя подходами:

Задать ограничение на номера обрабатываемых строк.
Указать фильтр, соответствующие которому строки нужно обработать.

Обработка только одной строки, номер который задан при вызове sed

Второй вариант — диапазон строк:

Обработка диапазона строк

Кроме того, можно вызвать команду замены так, чтобы файл был обработан начиная с некоей строки и до конца:

Обработка файла начиная со второй строки и до конца

Для того, чтобы обрабатывать с помощью команды замены только строки, соответствующие заданному фильтру, команду надо вызвать так:

По аналогии с тем, что было рассмотрено выше, шаблон передаётся перед именем команды s .

Обработка строк, соответствующих фильтру

Тут мы использовали очень простой фильтр. Для того, чтобы в полной мере раскрыть возможности данного подхода, можно воспользоваться регулярными выражениями. О них мы поговорим в одном из следующих материалов этой серии.

Удаление строк

Утилита sed годится не только для замены одних последовательностей символов в строках на другие. С её помощью, а именно, используя команду d , можно удалять строки из текстового потока.

Вызов команды выглядит так:

Мы хотим, чтобы из текста была удалена третья строка. Обратите внимание на то, что речь не идёт о файле. Файл останется неизменным, удаление отразится лишь на выводе, который сформирует sed.

Удаление третьей строки

Если при вызове команды d не указать номер удаляемой строки, удалены будут все строки потока.

Вот как применить команду d к диапазону строк:

Удаление диапазона строк

А вот как удалить строки, начиная с заданной — и до конца файла:

Удаление строк до конца файла

Строки можно удалять и по шаблону:

Удаление строк по шаблону

При вызове d можно указывать пару шаблонов — будут удалены строки, в которых встретится шаблон, и те строки, которые находятся между ними:

Удаление диапазона строк с использованием шаблонов

Вставка текста в поток

С помощью sed можно вставлять данные в текстовый поток, используя команды i и a :

Команда i добавляет новую строку перед заданной.
Команда a добавляет новую строку после заданной.

Теперь взглянем на команду a :

Как видно, эти команды добавляют текст до или после данных из потока. Что если надо добавить строку где-нибудь посередине?

Тут нам поможет указание номера опорной строки в потоке, или шаблона. Учтите, что адресация строк в виде диапазона тут не подойдёт. Вызовем команду i , указав номер строки, перед которой надо вставить новую строку:

Команда i с указанием номера опорной строки

Проделаем то же самое с командой a :

Команда a с указанием номера опорной строки

Обратите внимание на разницу в работе команд i и a . Первая вставляет новую строку до указанной, вторая — после.

Замена строк

Команда c позволяет изменить содержимое целой строки текста в потоке данных. При её вызове нужно указать номер строки, вместо которой в поток надо добавить новые данные:

Замена строки целиком

Если воспользоваться при вызове команды шаблоном в виде обычного текста или регулярного выражения, заменены будут все соответствующие шаблону строки:

Замена строк по шаблону

Замена символов

Команда y работает с отдельными символами, заменяя их в соответствии с переданными ей при вызове данными:

Замена символов

Используя эту команду, нужно учесть, что она применяется ко всему текстовому потоку, ограничить её конкретными вхождениями символов нельзя.

Вывод номеров строк

Если вызвать sed, использовав команду = , утилита выведет номера строк в потоке данных:

Вывод номеров строк

Потоковый редактор вывел номера строк перед их содержимым.

Если передать этой команде шаблон и воспользоваться ключом sed -n , выведены будут только номера строк, соответствующих шаблону:

Вывод номеров строк, соответствующих шаблону

Чтение данных для вставки из файла

Выше мы рассматривали приёмы вставки данных в поток, указывая то, что надо вставить, прямо при вызове sed. В качестве источника данных можно воспользоваться и файлом. Для этого служит команда r , которая позволяет вставлять в поток данные из указанного файла. При её вызове можно указать номер строки, после которой надо вставить содержимое файла, или шаблон.

Вставка в поток содержимого файла

Тут содержимое файла newfile было вставлено после третьей строки файла myfile .

Вот что произойдёт, если применить при вызове команды r шаблон:

Использование шаблона при вызове команды r

Содержимое файла будет вставлено после каждой строки, соответствующей шаблону.

Пример

Представим себе такую задачу. Есть файл, в котором имеется некая последовательность символов, сама по себе бессмысленная, которую надо заменить на данные, взятые из другого файла. А именно, пусть это будет файл newfile , в котором роль указателя места заполнения играет последовательность символов DATA . Данные, которые нужно подставить вместо DATA , хранятся в файле data .

Решить эту задачу можно, воспользовавшись командами r и d потокового редактора sed:

Замена указателя места заполнения на реальные данные

Как видите, вместо заполнителя DATA sed добавил в выходной поток две строки из файла data .

Итоги

Сегодня мы рассмотрели основы работы с потоковым редактором sed. На самом деле, sed — это огромнейшая тема. Его изучение вполне можно сравнить с изучением нового языка программирования, однако, поняв основы, вы сможете освоить sed на любом необходимом вам уровне. В результате ваши возможности по обработке с его помощью текстов будет ограничивать лишь воображение.

На сегодня это всё. В следующий раз поговорим о языке обработки данных awk.

Читайте также: