Где найти файл txt
Обновлено: 07.07.2024
В этой статье мы собираемся раскрыть такие вопросы:
К концу нашего обсуждения у вас будет всё необходимое для настройки отличного файла robots.txt для вашего сайт на WordPress. Начнём!
Что такое файл robots.txt для WordPress и зачем он нужен
Когда вы создаёте новый сайт, поисковые движки будут отправлять своих миньонов (или роботов) для сканирования и создания карты всех его страниц. Таким образом, они будут знать, какие страницы показывать как результат, когда кто-либо ищет по относящимся ключевым словам. На базовом уровне это достаточно просто.
Проблема состоит в том, что современные сайты содержат множество других элементом, кроме страниц. WordPress позволяет вам устанавливать, например, плагины, которые часто имеют свои каталоги. Вы не хотите показывать это в результатах поисковой выдачи, поскольку они не соответствуют содержимому.
На практике, поисковые движки всё равно будут сканировать ваш сайт, даже если вы не создадите файл robots.txt. Однако, не создавать его является весьма нерациональным шагом. Без этого файла вы оставите роботам для индексации весь контент вашего сайта и они решать, что можно показывать все части вашего сайта, даже те, которые бы вы хотели скрыть от общего доступа.
Более важный момент, без файла robots.txt, у вас будет очень много обращений для сканирования ботами вашего сайта. Это негативно скажется на его производительности. Даже если посещаемость вашего сайта ещё невелика, скорость загрузки страницы – это то, что всегда должно быть в приоритете и на высшем уровне. В конце концов, есть всего несколько моментов, которые люди не любят больше, чем медленная загрузка сайтов.
Где находится файл robots.txt для WordPress
Это пример самого простого базового файла robots.txt. Переводя на понятный человеку язык, правая часть после User-agent: объявляет, для каких роботов предназначены правила ниже. Звёздочка означает, что правило универсальное и применяется для всех ботов. В данном случае файл говорит ботам, что им нельзя сканировать каталоги wp-admin и wp-includes. Смыл этих правил заключается в том, что данные каталоги содержат очень много файлов, требующих защиты от общего доступа.
Конечно же, вы можете добавить больше правил в свой файл. Прежде чем вы это сделаете, вам нужно понять, что это виртуальный файл. Обычно, WordPress robots.txt находится в корневом(root) каталоге, который часто называется public_html или www (или по названию имени вашего сайта):
Надо отметить, что файл robots.txt для WordPress, устанавливаемый по умолчанию, не доступен для вас ни из какого каталога. Он работает, но если вы захотите внести изменения, вам нужно создать ваш собственный файл и загрузить его в корневой каталог в качестве замены.
Мы рассмотрим несколько способов создания файла robots.txt для WordPress за минуту. А сейчас давайте обсудим, как определить, какие правила нужно включить в файл.
Какие правила нужно включить в файл robots.txt для WordPress
В предыдущем разделе мы видели пример генерируемого WordPress файла robots.txt. Он включает в себя только два коротких правила, но для большинства сайтов их достаточно. Давайте взглянем на два разных файла robots.txt и рассмотрим, что каждый из них делает.
Вот наш первый пример файла robots.txt WordPress:
Этот файл robots.txt создан для форума. Поисковые системы обычно индексируют каждое обсуждение на форуме. В зависимости от того, какая тематика вашего форума, вы можете захотеть запретить индексацию. Так, например, Google не будет индексировать сотни коротких обсуждения пользователей. Вы также можете установить правила, указывающие на конкретную ветвь форума, чтобы исключить её, и позволить поисковым системам обходить остальные.
Вы также заметили строку, которая начинается с Allow: / вверху файла. Эта строка говорит ботам, что они могут сканировать все страницы вашего сайта, кроме установленных ниже ограничений. Также вы заметили, что мы установили эти правила как универсальные (со звёздочкой), как было в виртуальном файле WordPress robots.txt.
Давайте проверим другой пример файла WordPress robots.txt:
В этом файле мы устанавливаем те же правила, что идут в WordPress по умолчанию. Хотя мы также добавляем новый набор правил, которые блокируют поисковых роботов Bing от сканирования нашего сайта. Bingbot, как можно понять, это имя робота.
Вы можете совершенно конкретно задавать поисковых роботов отдельного движка для ограничения/разрешения их доступа. На практике, конечно, Bingbot очень хороший (даже если не такой хороший, как Googlebot). Однако, есть и много вредоносных роботов.
Плохой новостью является то, что они далеко не всегда следуют инструкциям из файла robots.txt (они же всё же работают как террористы). Следует иметь в виду, что, хотя большинство роботов будут использовать указания, представленные в этом файле, но вы не можете принудить их это делать. Мы просто хорошо просим.
Если глубже вникнуть в тему, вы найдёте много предложений того, что разрешать и что блокировать на своём сайте WordPress. Хотя, из нашего опыта, меньше правил часто лучше. Вот пример рекомендованного вида вашего первого файла robots.txt:
Традиционно WordPress любит закрывать каталоги wp-admin и wp-includes. Однако, это уже не является лучшим решением. Плюс, если вы добавляете мета тэги для своих изображений с целью продвижения (SEO), нету смысла указывать ботам не отслеживать содержимое этих каталогов. Вместо этого, два правила выше обеспечивают основные потребности большинства сайтов.
Что содержится в вашем файле robots.txt будет зависеть от особенностей и потребностей вашего сайта. Поэтому смело проводите больше исследований!
Как создать файл robots.txt для WordPress (3 способа)
Как только вы решили сделать свой файл robots.txt, всё что осталось – это найти способ его создать. Вы можете редактировать robots.txt в WordPress, используя плагин или вручную. В этом разделе мы обучим вас применению двух наиболее популярных плагинов для выполнения этой задачи и обсудим, как создать и загрузить файл вручную. Поехали!
1. Использование плагина Yoast SEO
Yoast SEO вряд ли требует представления. Это наиболее известный SEO-плагин для WordPress, он позволяет вам улучшать ваши записи и страницы для лучшего использования ключевых слов. Кроме этого, он также оценит ваш контент с точки зрения удобности чтения, а это повысит аудиторию поклонников.
Наша команда является почитателями плагина Yoast SEO благодаря его простоте и удобству. Это относится и к вопросу создания файла robots.txt. Как только вы установите и активируете свой плагин, перейдите во вкладку SEO › Инструменты в своей консоли и найдите настройку Редактор файлов:
Нажав на эту ссылку, вы можете редактировать файл .htaccess не покидая админ консоль. Здесь же есть кнопка Создать файл robots.txt:
После нажатия на кнопку во вкладке будет отображён новый редактор, где вы можете напрямую редактировать ваш файл robots.txt. Обратите внимание, что Yoast SEO устанавливает свои правила по умолчанию, которые перекрывают правила существующего виртуального файла robots.txt.
После удаления или добавления правил нажимайте кнопку Сохранить изменения в robots.txt для вступления их в силу:
Это всё! Давайте теперь посмотрим на другой популярный плагин, который позволит нам выполнить эту же задачу.
2. Применение плагина All in One SEO Pack
Плагин All in One SEO Pack – ещё один прекрасный плагин WordPress для настройки SEO. Он включает в себя большинство функций плагина Yoast SEO, но некоторые предпочитают его потому что он более легковесный. Что касается файла robots.txt, его создать в этом плагине также просто.
После установки плагина, перейдите на страницу All in One SEO > Управление модулями в консоли. Внутри вы найдёте опцию Robots.txt с хорошо заметной кнопкой Activate внизу справа. Нажмите на неё:
Теперь в меню All in One SEO будет отображаться новая вкладка Robots.txt. Если вы нажмёте на этот пункт меню, вы увидите настройки для добавления новых правил в ваш файл, сохраните внесённые изменения или удалите всё:
Обратите внимание, что вы не можете напрямую изменять файл robots.txt при помощи этого плагина. Содержимое файла будет неактивным, что видно по серому фону поля, в отличие от Yoast SEO, который позволяет вам вводить всё, что вы хотите:
Это всё, что вам нужно сделать, если вы выбрали этот способ. Теперь давайте поговорим о том, как вручную создать файл robots.txt, если вы не хотите устанавливать дополнительный плагин только для этой задачи.
3. Создание и загрузка файла robots.txt для WordPress по FTP
Что может быть проще, чем создание текстового файла txt. Всё, что вам нужно сделать, открыть свой любимый редактор (как, например, Notepad или TextEdit) и ввести несколько строк. Потом вы сохраняете файл, используя любое имя и расширение txt. Это буквально займёт несколько секунд, поэтому вы вполне можете захотеть создать robots.txt для WordPress без использования плагина.
Вот быстрый пример такого файла:
Мы сохранили этот файл локально на компьютере. Как только вы сделали свой собственный файл вам нужно подключиться к своему сайту по FTP. Если вы не совсем понимаете, как это сделать, у нас есть руководство, посвящённое этому – использование удобного для новичков клиента FileZilla.
После подключения к своему сайту перейдите в каталог public_html. Теперь, всё что вам нужно сделать это загрузить файл robots.txt со своего компьютера на сервер. Вы можете это сделать либо нажав правой кнопкой мыши на файле в локальной FTP навигаторе или простым перетаскиванием мышью:
Это займёт всего несколько секунд. Как вы видите, этот способ не сложнее использования плагина.
Теперь, когда ваш файл WordPress robots.txt создан и загружен на сайт, вы можете проверить его на ошибки в Консоли Google Search. Search Console – это набор инструментов Google, призванных помочь вам отслеживать то, как ваш контент появляется в результатах поиска. Один из таких инструментов проверяет robots.txt, его вы можете использовать перейдя в своей консоли в раздел Инструмент проверки файла robots.txt:
Теперь платформа проверит ваш файл на ошибки. Если будет найдена ошибка, информация об этом будет показана вам.
Вы ознакомились с несколькими примерами файл robots.txt WordPress, и теперь у вас есть ещё больше шансов создать свой идеальный!
Заключение
Чтобы быть уверенным, что ваш сайт представлен наилучшим образом для поисковых роботов стоит позаботиться о том, чтобы для них был открыт необходимый контент. Как мы увидели, хорошо настроенный файл robots.txt WordPress поможет показать роботам, каким образом лучше взаимодействовать с вашим сайтом. Таким образом, они помогут тем, кто ищет получить более релевантный и полезный контент.
У вас остались вопросы о том, как редактировать robots.txt в WordPress? Напишите нам в разделе комментариев ниже!
Елена имеет профессиональное техническое образование в области информационных технологий и опыт программирования на разных языках под разные платформы и системы. Более 10 лет посвятила сфере веб, работая с разными CMS, такими как: Drupal, Joomla, Magento и конечно же наиболее популярной в наши дни системой управления контентом – WordPress. Её статьи всегда технически выверены и точны, будь то обзор для WordPress или инструкции по настройке вашего VPS сервера.
Да и нередко к поиску приходиться прибегать и в тех случаях, когда вы, например, не знаете, где точно расположены определенные файлы (или хотите быстро отфильтровать и просмотреть только картинки). Ситуаций, на самом деле, может быть множество.
Как найти файл на диске
Способ №1: с помощью проводника Windows
Если у вас современная ОС Windows 10 — то в проводнике, в принципе, есть все самые необходимые инструменты, позволяющие вести поиск данных на всех носителях, которые видны вашей системой.
Обычно, ссылка на запуск проводника вынесена на панель задач, рядом с кнопкой ПУСК (см. пример ниже). Также можно воспользоваться сочетанием кнопок Win+E.
В проводнике следует обратить внимание на два элемента:
- слева в сайдбаре (колонке) представлены все самые популярные папки, в которые вы заходите (искомый документ вполне вероятно представлен в одной из них);
- в правой части, сверху, есть поисковая строка: в нее можно написать часть названия вашего файла или часть его содержания.
Проводник в Windows
Например, в качестве примера напишу в поисковую строку слово "Открытки" .
В результатах поиска будут представлены как файлы с таким именем, так и те файлы, в теле которых содержится данное слово.
И, отмечу, что файлов может найтись великое множество (если у вас в системе 2-3 диска каждый из которых на 4-8 ТБ, скажем, то файлов может быть тысячи!)
Во вкладке "Размер" можно указать самые разные варианты:
- пустые: 0 КБ;
- крошечные: 0-10 КБ;
- маленькие: 10-100 КБ (например, текстовые файлы с паролями);
- средние: 100 КБ - 1 МБ (наиболее популярный размер "среднего" документа) и др.
В общем-то, указав и задав все необходимые параметры - можно быстро найти на диске только определенные типы файлов. Из десятка найденных куда проще найти тот, что вам нужен (чем из тысяч, не так ли?!).
Способ №2: с помощью Total Commander
Проводник проводником, но его возможностей не всегда хватает (да и работа часто вызывает нарекания).
Куда эффективней воспользоваться для поиска файловыми коммандерами. Одной из самых популярных программ подобного рода является Total Commander. В нем и рассмотрю, как и что делать.
Внешний вид Total Commander (2 окна)
Альтернатива проводнику. Представляет диски, папки и файлы в двух колонках: во многих случаях так гораздо удобнее с ними работать (например, для копирования файлов — достаточно из одного окна перенести в другое).
Также коммандер поддерживает работу с архивами, с FTP-серверами, пакетное переименование файлов, поиск файлов и т.д. (о его функциональности можно написать еще несколько статей).
Рассмотрим ниже вариант поиска изображений на диске: ищем все картинки, которые на нем есть (обращаю внимание, что поиск документов или видео будет аналогичен).
После запуска программы нажмите в панели инструментов на иконку с "Лупой" — либо просто зажмите сочетание клавиш Alt+F7. Должно появиться окно поиска.
Нажимаем кнопку поиска (альтернатива - сочетание кнопок ALT+F7)
В том числе и для поиска файлов самых различных типов: архивы, базы данных, документы, графика и т.д. Отмечу, что, выбрав один из шаблонов — все расширения файлов для поиска будут автоматически загружены в настройки поиска.
Выбираем, что будем искать (шаблоны)
Далее необходимо указать диски, где будет производиться поиск (например, можно искать на флешке или HDD, на любом носителе, который видит ваша ОС).
Указываем диски для поиска
Собственно, через некоторое время вы увидите, как под окно поиска будут показываться все найденные файлы. Когда поиск будет окончен, нажмите кнопку "Файлы на панель", чтобы ознакомиться со всеми результатами поиска.
Рассмотрим другой вариант поиска: документ, в содержании которого есть слово "ключ".
Для этого в шаблонах необходимо выбрать офисный тип документов (будут автоматически подставлены файлы документов: doc, txt и пр.), указать букву диска, и поставить галочку в графе "С текстом" — в строку напротив написать текст, который будет искаться в файле.
Отмечу, что Total Commander способен находить заданный текст в различных кодировках (ANSI, ASCII, UTF-8, UTF-16).
Поиск документов, которые содержат определенное слово
Еще одна частая задача: производить поиск уже в найденных результатах поиска. Т.е. пошаговый поиск, позволяющий отсортировать сначала сотню файлов из тысяч, затем из этой сотни - десяток, а из десятка - несколько нужных.
Для примера я найду все картинки на системном диске "C:\" (всё выполняется аналогично примерам выше). Обратите внимание, что получилось найти 4484 файлов. После нажимаем кнопку "Файлы на панель" .
Нашли тысячи файлов.
Теперь необходимо снова вызвать поиск (сочетание кнопок Alt+F7 ) и ввести критерии поиска ( но не указывать место поиска! По умолчанию Total Commander будет вести поиск уже в найденных результатах).
Например, я укажу просто имя файла "canc" (разумеется, можно задавать куда более сложные критерии поиска). Как результат — из найденных 4000+ файлов осталось только 20 с таким именем.
Результаты поиска в результатах поиска
Способ №3: с помощью спец. утилит для поиска
В данной статье не могу не отметить и спец. утилиты для поиска. Их достаточно много, но я выделю одну из наиболее популярных.
Everything
Everything - главное окно поиска
Это небольшая, бесплатная и очень полезная программа, предназначенная для быстрого поиска и фильтрации файлов на любых дисках в системе.
Использование утилиты очень простое: после запуска она сканирует компьютер (все накопители, подключенные к системе). Далее, когда от вас поступает запрос, она отфильтровывает и оставляет только самое нужное.
Отмечу, что ее скорость работы в разы превышает скорость работы проводника. Поэтому, если вы часто ищите различные файлы на винчестере — крайне рекомендую к знакомству.
Что делать если нужно найти определённый документ среди десятка или сотен?
Если известно имя документа, то выполнить поиск довольно просто — многие программы, в том числе стандартный проводник Windows умеют искать по имени файла.
Чтобы найти файл по имени, откройте проводник (файловый менеджер) Windows, перейдите в папку, где вы хотите выполнить поиск и в поле «Поиск» введите имя файла или часть имени, чтобы найти все файлы, которые ему соответствуют:
Полнотекстовый поиск по папкам
Но что делать, если мы хотим найти файл по его содержимому? Например, нам известна фамилия, которая упоминается в документе.
Если вы ищете среди текстовых документов, то многие программы могут вам помочь, например, Total Commander и Double Commander могут искать по содержимому текстовых файлов.
Но если это офисные документы, то всё становится сложнее, поскольку файлы .docx, .doc и другие офисные форматы представляют собой довольно сложные контейнеры.
К счастью, самый обычный проводник Windows умеет делать полнотекстовый поиск по всем офисным форматам MS Office.
Чтобы искать по содержимому офисных документов, перейдите в папку, где находятся файлы, среди которых вы хотите выполнить поиск. В поле «Поиск» введите искомое слово или фразу. Нажмите на слово «Поиск» под фразой «Средства поиска»:
Нажмите на кнопку «Дополнительные параметры»:
Нажмите «Содержимое файлов»:
В результате если файлов много, то поиск будет выполняться значительно дольше, чем поиск по именам файлов. Но зато теперь вы сможете найти документы по словам, которые содержатся в тексте офисных файлов.
Как искать по файлам в ZIP архивах
Если файлы упакованы в ZIP архивы, то по умолчанию в них не выполняется поиск даже если включён поиск по содержимому файлов.
Чтобы включить поиск по ZIP архивам, введите слово для поиска, нажмите на слово «Поиск» под фразой «Средства поиска», нажмите на кнопку «Дополнительные параметры» и выберите «Сжатые ZIP-папки»:
Данные опции являются постоянными и сохраняются даже после закрытия проводника и перезагрузки компьютера. Если вы обычно ищите по имени файла (а не по его содержимому) и поиск для вас стал слишком медленным, то отключите эти опции в том же самом порядке, как показано их включение.
Как искать по точному совпадению. Как искать по фразе
По умолчанию будут показаны документы содержащие любое из искомых слов. При этом разделителем между слов являются пробелы, точки и другие знаки препинания. По этой причине невозможно найти точную фразу, состоящую из нескольких слово или включающую в себя точки и другие символы.
Если поместить фразу в кавычки, то это ничего не изменит — по-прежнему будут показаны документы, содержащее хотя бы одно слово.
В Windows 10
Тем не менее решение есть, для этого нужно использовать конструкцию
Чтобы было понятнее, допустим, нам нужно найти документы, содержащие точную фразу «Exa.ct Phr.ase», тогда в строку поиска нам нужно ввести:
В Windows 11
В Windows 11 для поиска точного совпадения по-прежнему работает конструкция
="НАЙДИ МЕНЯ". Но на поиск сильно влияет индексирование файлов. Например, при включённом индексировании наблюдались следующие особенности:
После отключения индексирования папки, работа поиска стала аналогичной как в Windows 10. То есть если вы не знаете, включено ли индексирование папки, в которой вы выполняете поиск, то попробуйте оба описанных в данной статье способа и посмотрите, какой из них сработает.
Читайте также: