Как скопировать лог файл

Обновлено: 30.06.2024

Записки по настройке Debian Ubuntu и Microsoft Windows

Скрипт для копирования файлов с проверкой и записью в лог-файл

robocopy (от англ. Robust File Copy) — утилита командной строки для репликации (не просто копирования) каталогов (папок). Она была доступна как часть Windows Resource Kit и представлена как стандартный компонент Windows Vista, Windows 7 и Windows Server 2008.

Что выполняет скрипт:

- копирует файлы из заданной папки;

- с введение лога, пишим имена скопированных файлов;

- и перед следующим копированием сверяем с записью в логах, если есть файл в логах - то его не копируем, если в логах отсутствует - копируем.

:: ( кодировка Dos 866 если имеется названия папок по русски )
@Echo off
:: ( путь откуда, без кавычек)
set $from=_ПУТЬ_ОТКУДА_
:: ( куда, без кавычек )
set $dest=_КУДА_
::
set $log=_ПУТЬ_ЛОГ_ФАЙЛА\copyfile.log
for /f "delims=" %%i in ('dir "%$from%" /B/A:-D') do Call :CheckLog "%%i"
:CheckLog
If Exist "%$log%" For /f "delims=" %%a in (%$log%) Do If "%%a"=="%

1" Exit /B
robocopy "%$from%" "%$dest%" "%

1" /minage:0
if %errorlevel%==1 (echo.Copy is successful - %

/MINAGE:n :: Минимальный возраст файла — исключить файлы, возраст которых менее n дней.

p.s.s Утилита robocopy это отличнейшая вещь, очень гибкий инструмент копирования и бэкапа. Вот не больший пример для backup

> robocopy С:\исходная_папка \192.168.0.1\целевая_папка /E /Z /COPY:TDASO /DCOPY:T /M /R:2 /W:5

В данном примере:

Мы копируем папку «исходная папка», находящуюся на локальном диске С:

Мы копируем эту папку на компьютер \192.168.0.1 в папку «целевая папка»

/E : Мы копируем все подпапки и файлы

/Z : Включаем поддержку докачки (на случай обрыва связи)

/COPY:TDASO : Копируем все атрибуты и ACL прав доступа NTFS (но не копируем атрибуты аудита)

/DCOPY:T : Копируем время создания папок

/M : Копируем только файлы с установленным атрибутом «A — Архивный» и сбрасываем этот атрибут, что позволяет нам копировать только измененные файлы.

/R : Количество повторных попыток копирования файла в случае, если копирование не удалось. Причем «не удалось» срабатывает и в том случае, если доступ к файлу закрыт. По-умолчанию = 1 бесконечно, потому копирование благополучно встанет на первом же файле, к которому не будет доступа.

/W : Задержка в секундах между попытками копирования. По-умолчанию = 30 секундам.

Заметка. Очень рекомендую задавать вручную параметры /R и /W, иначе при автоматической синхронизации она попросту зависнет, встретив на своем пути ошибку доступа.

А сколько у вас ушло времени на изучение C++ .
Я понимаю, это зависит от человека. но все же:)

Сколько времени на это уйдет ?
Начинаю изучать Си, тяжело мне дается честно сказать. Напишу пример задачи, хотелось бы знать.

что это такое и сколько это стоит?
помогите опознать что это такое и сколько это стоит?

узнать: сколько краски потребуется , что-бы покрасить стены комнаты, и сколько будет это стоить.
Помогите , плз, через 3 дня зачет. Нужно написать форму ВБА. Нужно вводить: длинна комнаты.

при копировании вести лог не только откуда ведется копирование но и куда тут наверно можно будет использовать For для каждого файла и записывать в лог время. Посмотри на форуме примеры где то были >>log.txt дает откуда файл и то что он скопирован
(результат) а нужно видеть куда Добавлено через 13 часов 29 минут
забыл в начале echo off

а можно сделать так что-бы в лог записывалась не системная дата, которая на компьютере а дата изменения файла?

Добавлено через 11 минут
и если папка названа по русски то какие-то кракозябры записываются

если папка названа по русски то какие-то кракозябры записываются Чтобы не было кракозябров, сохраняйте батник в 866 кодировке.
что-бы в лог записывалась не системная дата, которая на компьютере а дата изменения файла? кодировку поменял но по-прежнему не правильно выводится

Решение

Anonymоus, Спасибо огромное. Замечательный батник для бэкапа. Подскажите, пожалуйста, каким именно способом он производит копирование (то есть инкрементальное копирование, то есть только тех файлов и папок, которые подверглись изменению (по принципу robocopy /mir - зеркало) или он в лоб копирует всё). Расскажите какие ещё у написанного вами батника особенности?

666blade666, Anonymоus не был на форуме больше года.

Добавлено через 1 минуту
Но там не используется инкрементальное копирование.

FraidZZ, он просто копирует файлы с заменой и не боле того так? Ну то есть к примеру файл word c одним и тем же именем копируется в определённый каталог и получается так что, даже если файл старый по размеру больше, чем тот что будет скопирован, то новый всё равно копируется затирая собой старый файл, не смотря на то что старый файл был больше по размеру. Типу вопрос: файл с таким-же именем существует в этом расположений - копировать с заменой? И батник говорит - ДА! Я правильно понял, так он работает? FraidZZ, Подскажите пожалуйста ещё вот такую штуку. Реально ли к этому батнику дописать ещё такую строчку, чтобы шла проверка чек-сум файла, ну то есть чтобы проверялась целостность скопированного файла. То есть вот чего не хватает - файл скопировался, а в логе надпись, что все данные скопированы верно, база абсолютно до битика скопирована правильно и работоспособна, можете спать спокойно =), вот что-то типу такого. Это называется, проверка хеш-сумм или проверка файла на целостность что-то в этом роде. Такое возможно добавить?

Скорость и так невелика - а после такого апгрейда она ещё глубже сядет. Тогда уж лучше использовать полноценный ЯП.

Хотя можно всё. Но нужны сторонние утилиты для получения md5 или crc32.

FraidZZ, подскажите, а каким-то ещё способом, кроме как запустить скопированную базу данных - можно проверить работоспособность бэкапа, ну то есть - как проверить что бэкап, который был скопирован через выше приведённый скрипт работоспособен и копирование произошло успешно на все 100%? Только непосредственно запустив бэкап через базу? Или можно как-то через скрипт это сделать? Если утилиты, то какие и как их туда подвязать (я имею в виду к батнику приведённому выше).

И ещё возможно ли дописать в этот батник пункт, который бы находился в конце лога копирования и говорил бы о том, сколько всего по весу скопировано файлов? Ну то есть чтобы в конце лога было видно суммарное количество, которое было скопировано.

А по поводу скорости, так бог с ней пусть копирование будет на много медленнее идти, зато будет спокойно на душе, что все файлы скопировались успешно на все 100% и в случаи падения базы бэкап будет 100% рабочим.

Добавлено через 1 час 11 минут
FraidZZ, Вот к примеру есть программа TeraCopy, которая позволяет после копирования проверить целостность скопированных файлов (MD5), вот только как можно через командную строку пустить эту программу на копирование, а затем ею же проверить хеш-суммы скопированных файлов на целостность и затем занести в лог результат копирования, что он удовлетворительный или копирование произведено с ошибками. Вы знаете как это сделать?

В зависимости от того, сколько файлов уже было загружено, определить директорию, куда загружать новый
В БД есть 3 колонки: file_new, file_new2 и file_new3. Если в file_new пусто, то файл грузится сюда.

Непонятно что с новым диском: низкая скорость копирования файлов
Купил на пробу новый Corsair Force LS 60 Gb (F60GBLSB). 1. Тест CrystalDiskMark вроде как.

Перейти ко времени . что это?
Что это и как этим пользоваться? Первый раз вижу такой диалог .

Что такое лог? Лог (журнал, log file) - специальный файл с хронологической информацией, который хранится на компьютере или сервере пользователя и содержит данные о действиях программ или отдельных пользователей. Логи - текстовые файлы, которые содержат данные о возникших ошибках работы системы. Серверное ПО создает логи, по которым можно узнать необходимую информацию. Название лога состоит из 2 частиц, например, error_log или access_log.

Зачем нужны лог файлы?

В некоторых ситуациях каждому пользователю ПК или сервера требуется проверить логи. Рассмотрим зачем именно нужны лог файлы.

1. Логи могут понадобится, если нужно узнать статистику по сайту. Например, логи сайтов отображают следующую информацию:

а) статистику посещаемости

б) точки входа и выхода с сайта

в) поисковые запросы, по которым приходят посетители, и наиболее популярные страницы сайта

г) поисковики, страны и браузеры посетителей

д) уровень конверсии и страницы сайта, которые никто не посещает

е) сайты, которые ссылаются на этот ресурс.

2. В случае вирусов или Дддос атаки на сайт, логи помогут быстрее выяснить причину и соответственно помочь устранить ее.

3. Для восстановления доступов испольузются логи авторизации, которые собирают данные о попытках входа.

4. В случае ошибок в работе определенного ПО, устройства или ОС, когда необходимо определить источник проблемы.

Логи (server logs) помогают контролировать работу серверной машины и в случае возникновения ошибок быстро их находить и устранять. Логи используются практически везде, где ведется запись и прослеживание истории программного процесса. В первую очередь это необходимо в целях безопасности. Для того, чтобы найти и проанализировать логи, используют специально предназначенное для этого ПО. Некоторые логи могут обладать очень большим размером, поэтому время от времени их нужно очищать. Лог файл показывает события и его непосредственный источник. Причиной события может быть:

действия пользователя системы;
программная ошибка;
действия со стороны ОС;
со стороны используемого оборудования и другие.

Какие есть виды логов?

На практике видов логов может быть несколько. Рассмотрим каждый из них.

Логи системы - это логи, связанные с системными событиями.
Логи сервера - логи, отвечающие за обращения к серверу и за возникшие ошибки.
Логи баз данных - специальные логи, которые имеют отношение к запросам баз данным и возникших ошибках.
Логи почты отвечают за отправленные и принятые письма, ошибки и причины по которым письма не были доставлены.
Логи cron (планировщика задач).
Логи панели управления хостингом, где размещен сайт.
Лог основного файла, например, фаервола, днс сервера и др.

Как найти логи?

Место, где находятся логи зависит от используемого ПО, заданных настроек и пути, который заведомо установил администратор сервера.

Если вам нужно найти лог файлы сервера или хостинга, вы можете обратится и получить подробную консультацию у вашего хостинг-провайдера, где размещается ваш сайт.

Путь /var/log/ - наиболее частый путь для хранения логов, но могут использоваться и другие папки. Например, для популярных Debian или Ubuntu логи Apache расположены в /var/log/apache2

Названия файлов: журнал ошибок – error.log; журнал доступов – log; основной журнал – syslog; журнал загрузки системы – dmesg.

В ОС Windows свой способ структуризации логов, в котором выделяют уровни событий: подробности; сведения; предупреждение; ошибка; критический. Пользователь может сортировать и фильтровать записи, в зависимости от того, что именно ему нужно.

Что делать с логами?

Лог файлы могут понадобится во многих ситуациях при работе с сайтов, ПК или сервером. Но обратите внимания, что логи не хранятся вечно, поэтому если появилась необходимость проверить их, то следует это делать своевременно. Например, часто хостинг-провайдеры хранят логи до 14 дней, а далее они удаляются и записываются новые. Поэтому если ваш сайт взломали более нескольких недель назад, то установить причину по логам не получится, если логи уже удалены.

Включение и выключение записей логов на сервере происходит в панели управления. В большинстве случаев эта функция доступна в разделе панели Журнал или Логи. Более детально об этом вы можете уточнить непосредственно у вашего хостера.

Лог файлы - удобный и практичный инструмент для отслеживания работы сайта и сервера, поэтому если вы научитесь их быстро находить и правильно читать, то это поможет результативно решать возникшие ошибки в работе ПО и быстро реагировать на проблемы, например, на Ддос атаки.

Блоги, форумы, посадочные страницы и другие интернет-ресурсы представляют собой совокупность графического, текстового, аудио- и видео-контента, размещенного на веб-страницах в виде кода. Чтобы обеспечить к ним доступ пользователей через интернет, файлы размещают на серверах. Это аппаратное обеспечение (персональный компьютер или рабочая станция), на жестком диске которого и хранится код. Ключевые функции выполняются без участия человека, что актуально для всех типов оборудования, включая виртуальный выделенный сервер. Но это не означает, что контроль не осуществляется. Большинство событий, которые происходят при участии оборудования, пользователей и софта, включая ошибки, логи сервера фиксируют и сохраняют. Из этой статьи вы узнаете, что они собой представляют, зачем нужны, и как их читать.

Что такое логи

Это текстовые файлы, которые хранятся на жестком диске сервера. Создаются и заполняются в автоматическом режиме, в хронологическом порядке. В них записываются:

Посмотреть логи сервера может каждый, у кого есть к ним доступ, но непосвященному обывателю этот набор символов может показаться бессмысленным. Интерпретировать записи и получить пользу после прочтения проще профессионалу.

Классификация логов

Для каждой разновидности софта предусмотрены соответствующие файлы. Все логи сервера могут храниться на одном диске или даже на отдельном сервере. Существует довольно много разновидностей логов, вот наиболее распространенные:

Записи в системные журналы выполняет установленный софт.

Зачем нужны логи

Анализ логов сервера — неотъемлемая часть работы системного администратора или веб-разработчика. Обрабатывая их, специалисты получают массу полезных сведений. Используются в следующих целях:

поиск ошибок и сбоев в работе системы;
выявление вредоносной активности;
сбор статистики посещения веб-ресурса.

После изучения информации можно получить точную статистику в виде сводных цифр, информацию о юзерах, выявить поведенческие закономерности пользовательских групп.

Читайте также: