Как пересканировать файлы в nextcloud

Обновлено: 05.07.2024

1 000 000 файлов. При попытке найти что-либо средствами встроенного поиска методом вставки запроса в поле, система загружает 1 поток процессора на 100%, поиск продолжается 01мин 13сек

Если вводить в поле поиска название файла вручную то на поиск уйдёт уже 02 мин 13 сек при этом загружаются все 4 потока на 100% в первые полминуты, потом загрузка снижается до 50-70%.

Поиск файла работает одинаково не зависимо из какой папки хранилища был запущен запрос на поиск. Допустим если я зашел в папку "\docs\photo\folder1" а в ней есть файл "img_001.jpg" и я из папки "folder1" начну искать файл "img_001.jpg", то поиск найдет его примерно через 01мин 13сек (при условии что название файла было скопировано и вставлено в поле поиска). Если начать поиск их корня хранилища , как впрочем и из любого места то время поиска файла будет одинаково. Естественно работа поиска таким методом не позволяет комфортно им пользоваться.

Смена типа Базы данных ?
Смена Файловой системы? СХД
Установка системы на ssd рейд 0 ?
Поможет ли замена CPU ?
Существуют ли приложения/расширения для NextCloud которые ориентированы на работу с поиском информации? Искать файл рекурсивно с определенной директории, файл по дате, по размеру, по владельцу.

Средний 3 комментария

Не понял чем отличается в вашем случае метод поиска 1 от метода 2. И зачем в какую-то папку заходить при этом. На скорость выполнения запроса это разве влияет. Поиск осуществляется по базе данных. Ничего из железа менять не нужно, все должно выполняться примерно за секунду, видимо что-то не так настроено. Как вариант чтобы разобраться можете попробовать выполнить поиск непосредственно из командной строки через SQL запрос и дальше уже думать. referi baiden, первый метод поиска это когда в поле поиска копипастим текст, второй метод когда побуквенно вводим с клавиатуры текст. Ваш вариант пока не пробовал потому как занимался установкой и тестированием работы NC на БД от postgresql, так вот там на postgresql поиск происходит как вы и говорили за считанные секунды 1 или 2..
Просто изначально snap версия как я полагал уже настроена под большинство нужд и не нуждается в настройке, поскольку там даже опущены дела с установкой веб сервера и БД.. неужели snap из коробки не "тащит" :-( referi baiden, сделал запрос непосредственно в БД там файл ищется (0.54 sec), а через web интерфейс очень долго.. куда в этом случае смотреть ?

Решение найдено! После многих тестов, смен БД я наконец то нашел причину долгого поиска. Проблема была действительно в БД., а точнее напишу чуть ниже. Включив логирование медленных запросов SET GLOBAL slow_query_log=1; я отследил какой запрос формируется через веб поиск

выполнив этот запрос непосредственно в консоли mysql я убедился, что запрос также выполняется около минуты, это сразу сняло подозрения на всевозможные домыслы в сторону проблем веб интерфейса, ранее когда я писал что через консоль бд я делал запрос и он выполнялся за доли секунды, то я оформил абсолютно не верный запрос, не такой какой формируется самой системой через веб поиск, это и сбило меня столку.
немного погуглив я познакомился с параметром

он дает представление от том какой размер памяти выделяется для хранения данных и индексов таблиц. 134217728 это значение равное 128 Мб. Логично предположить для того чтобы выделить достаточное кол-во памяти для хранения данных и индексов таблиц надо знать сколько эти данные занимают места, для этого выполним команду

Где видно что уже занято 415 Мб, соответственно нам надо задать параметр innodb_buffer_pool_size более того что занимает у нас БД, к примеру дадим 1 Гб

Проверим изменился ли параметр

Теперь идем в веб интерфейс и обновляем страницу и проверяем поиск. И конечно убеждаемся что все ищется очень быстро.
Все конечно хорошо , но после перезагрузки сервера наши изменения по параметру innodb_buffer_pool_size не сохранятся так как в snap версии не редактируется конфигурационный файл БД

PS. chmod не рабоатет. Я так понимаю nextcloud монтирует какой то раздел вместе с этим фалом только для чтения.

В этой статье собраны материалы по особенностям работы с Nextcloud, а также по интеграции с облачным сервисом сторонних приложений. Для установки Nextcloud воспользуйтесь следующим руководством.

Исправления

Обновление фотографий в контактах

Уже давно присутствует один неприятный баг, связанный с невозможностью заменить загруженную фотографию контакта. Когда вы кликаете на загруженной ранее фотографии, вместо формы выбора новой открывается загруженное ранее фото.

Эта ошибка исправляется следующим образом:

Зайдите в Nextcloud администратором, перейдите в Меню -> Приложения и установите приложение "Custom CSS".
Перейдите в Меню -> Настройки -> Темы оформления. В форму "Custom CSS" впишите:

Оптимизация Nextcloud

Использование фоновой обработки заданий

Для улучшения производительности все операции по обработке данных следует выполнять в фоне по расписанию. По умолчанию Nextcloud предлагает использовать запуск cron.php каждые 15 минут. Опция настройки находится в меню Настройки -> Администрирование -> Основные параметры. В разделе Фоновые задания выберите Cron:

После этого создайте сценарий запуска фонового процесса каждые 15 минут:

Файлы

Превью файлов

Типы файлов

По аналогии с файловыми менеджерами Nextcloud может создавать миниатюры с предпросмотром содержимого файлов для картинок, видео и аудиофайлов, текстовых документов и так далее. Более подробно об этом можно прочитать здесь. Для добавления отображения превью видеофайлов отредактируйте файл настроек проекта, включив отображение превью для всех типов фотографий и видеофайлов:

Для улучшения производительности и совместимости при работе с изображениями установите imagemagick для PHP:

emerge -a dev-php/pecl-imagick

Для извлечения превью из видеофайлов установите пакет ffmpeg :

emerge -a media-video/ffmpeg

Размер

Разумно ограничить максимальный размер превью, иначе в кэш будут попадать все ваши изображения в оригинальном размере. Для этого добавьте строчку:

Обновление кэша

Для ускорения доступа к директориям с файлами превью поддерживайте кэш в актуальном состоянии при помощи Nextcloud-приложения Preview Generator, которое можно установить из раздела "Мультимедиа".

После установки выполните:

su nginx -s /bin/bash

php occ preview:generate-all

При наличии большого количества файлов с изображениями в одной директории вам может понадобиться увеличить размер оперативной памяти, выделяемой для выполнения PHP. Для этого отредактируйте значение переменной :

Фотографии

Имена файлов

По умолчанию Nextcloud клиент выгружает отснятые в телефоне фотографии в облако в одну папку. При этом имена у фотографий используются вида , где "20180806" - год, месяц и день, "124329" - часы, минуты и секунды, "1" - вторая по счёту фотография, сделанная в ту же секунду.

Импортируемые из соцсетей фотографии могут иметь случайную последовательность символов в имени файла - что-то типа "MY0bLxnxTaM.jpg". Если это фотография, а не рисунок или скриншот, вы можете извлечь время снимка из EXIF-информации файла. Сделать это можно при помощи утилиты exiv2 , входящей в пакет :

exiv2 -F -r'IMG_%Y%m%d_%H%M%S' rename -- *.jpg

Чтобы посмотреть, все ли фотографии обработаны должным образом, вы можете указать другой путь сохранения переименованных:

mkdir new; exiv2 -F -r'new/IMG_%Y%m%d_%H%M%S' rename -- *.jpg

В итоге в исходной директории могут остаться скриншоты и обработанные фотографии, которые вы можете легко отделить от оригинальных снимков.

У такого именования файлов есть несколько плюсов:

При объединении фотографий из разных фотоаппаратов или карт памяти вы, скорее всего, никогда не столкнётесь с двумя одинаковыми именами, а значит, сможете после обработки спокойно переносить файлы в одну директорию.
Фотографии всегда будут расположены в хронологическом порядке. Вы можете помещать в одно место фотографии из разных источников.
При объединении фотографий, скачанных из облака в урезанном качестве, и оригиналов имена файлов будут совпадать. Благодаря этому после объединения в одной директории вы не получите дубли, а снимки с уменьшенным разрешением будет корректно замещены оригиналами.

Если расширение имён файлов было написано заглавными буквами, вы можете перевести его в нижний регистр следующей командой:

rename .JPG .jpg *.JPG

Время создания файлов

Во время копирования фотографий время изменения файла может измениться. Это неудобно, поскольку теряется инфорамация о времени снимка. Восстановить время создания файла можно по EXIF-информации при помощи упомянутой ранее утилиты exiv2 . Для восстановления перейдите в директорию с фотографиями и выполните:

Переиндексируйте базу, чтобы изменения вступили в силу.

Просмотрщик под Android

Для доступа к фотографиям из Nextcloud вы можете установить приложение Галерея QuickPic.

Музыка

Плеер под Android

Для проигрывания музыки из Nextcloud вы можете воспользоваться Soumi: Network Music Player. Плейер выгодно отличается тем, что умеет кэшировать аудио файлы из плейлиста.

Чтобы подключиться к облаку, перейдите на вкладку Libraries, кликните на "+", выберите Internet, а затем введите настройки подключения к своему облаку:

Пароли к сайтам

Для хранения паролей в Nextcloud существует приложение Passman. Оно полезно тем, что создает шифрованное хранилище внутри вашего облака. Таких хранилищ может быть несколько. Для взаимодействия с хранилищем паролей существуют расширения для браузеров Firefox (включая мобильную версию) и Chrome. Подключившись к хранилищу в облаке, вы создаёте пароль, при помощи которого будут зашифрованы данные подключения:

Passman сам находит поля авторизации на сайте и добавляет к ним своё изображение. При наличии сохранённого пароля данные будут подставлены в поля - см. скриншот:

Закладки браузера

Для работы с закладками в Nextcloud существует одноимённое приложение Закладки. Вместо привычной древовидной структуры для поиска закладок используются тэги. Для доступа к вашим закладкам вы можете установить расширение FreedomMarks для браузеров Firefox и Chrome:

Под Android существует также приложение Nextcloud Bookmarks для доступа к закладкам. В нём тоже используются тэги.

Если вы сторонник классического подхода к хранению закладок, то можете воспользоваться расширением floccus. Данное расширение добавляет свой тэг к каждой закладке с указанием вложенности.

GPS навигация

Для работы с GPS навигацией существует приложение PhoneTrack, позволяющее как производить импортированные маршрутов из файлов с расширением .gpx, так и отслеживать положение устройств в режиме реального времени.

Настройка приложения PhoneTrack

Все устройства, с которых необходимо получать данные, возможно объединить в группы (сессии). Создаётся сессия, после чего в ней необходимо произвести резервирование устройства.

На скрине видно, что создана группа Family, где зарезервировано 3 устройства, имеющие имя и маркер.

Перейдя на следующую закладку, мы увидим список URL-адресов, где перечислены все возможные варианты для передачи данных в режиме реального времени. Рядом с каждым вариантом стоит восклицательный знак, нажав на который мы получим ссылку. Её необходимо указать в программе на устройстве, подставив маркер устройства.

Ниже рассмотрим вариант настройки на примере программы GPS Logger.

Настройка GPS логера

Программа GPS Logger позволяет сохранять маршруты в файл .gpx и передавать их как в ручном режиме, так и автоматически. Присутствует возможность передачи координат в режиме реального времени.

Для передачи в режиме реального времени нам необходимо перейти по пути Настройки записи лога - Сохранять журналы по указанному пользователем URL-адресу и внести URL-адрес, указав вместо yourname маркер необходимого нам устройства.

На скриншотах показан успешный тест проверки и информация в логе о том, что координаты определены и переданы на требуемый адрес.

Данные записываются в используемую базу данных, так что устройство сразу появится в списке в виде цветного кружочка с первой буквой имени устройства.

В случае если на устройстве нет Интернета, координаты будут отправлены после подключения к нему.

Видео-аудио конференция

Nextcloud позволяет проводить чат, аудио-видео конференций через WebRTC. Для этого понадобится приложение Talk. Если вы планируете проводить конференции, где участники находятся в разных сетях, а тем более за симметричным NAT - вам понадобится TURN/STUN сервер.

Настройка TURN сервера

Работа с офисными документами

После установки NextCloud вы сможете просматривать и работать только с документами формата txt. Чтобы работать со всеми видами офисных документов, можно использовать Collabora Online.

Collabora Online

Установите и настройте Collabora Online согласно руководству.

Администрирование

Переиндексация базы

При копировании/переименовании файлов, изменении прав доступа или редактировании файлов напрямую на сервере, минуя Web-интерфейс Nextcloud или WebDAV, следует выполнить обновление базы данных Nextcloud. Для этого выполните следующее.

В случае прямого доступа к файлам Nextcloud (не через WebDAV или веб-интерфейс) не забывайте пересканировать файлы. Для этого выполните:

1 У нас есть Nextcloud, ОС ubuntu 19.04 Nginx +PHP-FPM из предыдущей статьи по установке и новый диск который мы хотели бы добавить под данные пользователей.

Проверяем подключенные диски, разделы:

$ sudo su
root@test:

Устр-во Загрузочный начало Конец Секторы Размер Идентификатор Тип
/dev/sda1 * 2048 34179071 34177024 16,3G 83 Linux
/dev/sda2 34181118 41940991 7759874 3,7G 5 Расширенный
/dev/sda5 34181120 41940991 7759872 3,7G 82 Linux своп / Solaris

/dev/sdb: 10 GiB - наш новый диск, разметим, отформатируем.

Сценарий
I загрузить разметку из файла сценария sfdisk
O записать разметку в файл сценария sfdisk

Записать и выйти
w запись таблицы разделов на диск и выход
q выход без сохранения изменений

Создать новую метку
g создание новой пустой таблицы разделов GPT
G создание новой пустой таблицы разделов SGI (IRIX)
o создание новой пустой таблицы разделов DOS
s создание новой пустой таблицы разделов Sun

Если раздел 2 и болeе ТБ, или система без поддержки BIOS, только UEFI, то создаем таблицу GPT

Команда (m для справки): g
Создана новая метка диска GPT (GUID: 7D8038B9-B07E-7345-A50E-770DF095C590).

Команда (m для справки):

Команда (m для справки): w
Таблица разделов была изменена.
Вызывается ioctl() для перечитывания таблицы разделов.
Синхронизируются диски.

Теперь наша таблица разделов выглядит так.

Диск /dev/sdb: 10 GiB, 10737418240 байт, 20971520 секторов
Disk model: Virtual disk
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: dos
Идентификатор диска: 0x6e935d4b
Устр-во Загрузочный начало Конец Секторы Размер Идентификатор Тип
/dev/sdb1 2048 20971519 20969472 10G 83 Linux
root@test:

sudo mkfs.ext4 /dev/sdb1 (или вместо ext4 - ext2, ext3, reiserfs и т.д.)
root@test:

Allocating group tables: done
Сохранение таблицы inod'ов: done
Создание журнала (16384 блоков): готово
Writing superblocks and filesystem accounting information: готово

Далее нам необходимо включить автомонтирование диска:
Создаем директорию для монтирования диска:

Здесь нам потребуется посмотреть UUID нашего раздела /dev/sdb1

Добавляем наш диск в fstab (так выглядит до внесения изменений)

defaults - Использовать настройки по умолчанию. Эквивалентно: rw,suid,dev,exec,auto,nouser,async.
В итоге получаем такой вид файла:

После перезагрузки диск будет смонтирован в директорию /mnt/nextcloud/

Пока перезагружаться не будем и примонтируeм раздел "вручную".

Eсли Nextcloud еще не установлен, то задача сильно упрощается -при установке Nextcloud указываем директорию для данных "/mnt/nextcloud/data"
Если же у вас Nextcloud уже развернут, как в моем случае, то необходимо перенести данные в новую директорию и сменить ее в конфигурации сервера (config/config.php)
Самый простой способ это сделать символическую ссылку:
Смотрим где сейчас наша директория:

Переместил директорию "data" с файлами в новую директорию /mnt/nextcloud/
Сменим владельца

Переходим в Nextcloud, загружаем пару файлов, проверяем, все в порядке, старые файлы на месте.

И рассмотрим теперь второй способ, если вы вдруг при установке Nextcloud оставили путь для директории пользовательских данных по умолчанию в каталоге "/var/www/. " В целях так же и безопасности переносим на наш новый диск.

1 Переводим сервер в режим обслуживания:

4 Меняем путь к директории в конфиге (config/config.php)

Так же после 3-его пункта рекомендуется сделать бэкап БД на случай если что то пойдет не так.

Проверяем в веб интерфейсе, у меня на тестовом сервере были только стандартные файлы и пара картинок, все файлы на месте. Возможно потребуется пересканировать файлы
sudo -u www-data php /var/www/nextcloud/occ files:scan -p /mnt/nextcloud/data

3 Replies to “Перенос директории "DATA" Nextcloud на новый диск”

Спасибо, а как добавить диск в zfs?

А примонтировать новый диск к /home/evgen/next/data не проще?

А какой в этом смысл, если монтировать в эту же директорию диск, то сначала нужно куда то забэкапить данные, + одна операция

Веб-интерфейс Nextcloud можно использовать для перехода к файлам Nextcloud, а также для создания, предварительного просмотра, редактирования, удаления, предоставления доступа и повторного предоставления доступа к файлам. Администратор сервера Nextcloud может отключать данные функции, поэтому при отсутствии каких-либо пунктов в системе следует обратиться к администратору сервера.

Тегирование файлов

Каждому файлу можно присвоить определенные теги. Для создания тегов нужно открыть файл в области отображения подробной информации. После этого наберите текст тега. Для добавления нескольких тегов после набора текста каждого тега необходимо нажимать клавишу ввода. Все теги являются системными и могут совместно использоваться всеми пользователями на вашем сервере Nextcloud.

Для фильтрации файлов по тегам можно использовать фильтр тегов на левой боковой панели.

В области отображения подробной информации можно добавлять и читать комментарии к любому файлу или папке. Комментарии видны всем людям, имеющим доступ к соответствующему файлу.

Видеопроигрыватель

Управления файлами

С помощью Nextcloud можно просматривать эскизы изображений, обложек для файлов MP3, а также текстовых файлов (если данная функция включена администратором сервера). Для отображения кнопок управления нужно навести курсор на файл или папку. Данные кнопки выполняют следующие функции:

Избранное (Favorites): при щелчке по звезде, расположенной слева от значка файла, он будет добавлен в избранное. Это позволит в дальнейшем быстро найти его при помощи функции фильтра избранных файлов на левой боковой панели.

Предоставить доступ (Share): предоставление доступа к файлам или папкам для других пользователей или выбранной группы, а также предоставление всеобщего доступа при помощи гиперссылок. Также вы можете просмотреть, кто имеет доступ к файлу, и отменить предоставление доступа, щелкнув по значку корзины.

Примечание: начиная с версии 9.0, вы можете просматривать повторные публикации ваших оригинальных файлов.

Если функция автоматического заполнения включена, то во время набора имени пользователя или группы Nextcloud автоматически введет его за вас. Если ваш администратор включил функцию уведомления через электронную почту, вы можете отправлять уведомления о новых файлах, к которым был предоставлен доступ, через электронную почту, используя экран «Предоставление доступ» (Sharing).

Вы можете выбирать из 5 вариантов предоставления доступа:

«Можно предоставлять доступ» (Can share): пользователи могут повторно предоставлять доступ к данным;
«Можно редактировать» (Can edit): пользователи могут редактировать общие файлы, а также совместно работать с ними при помощи приложения «Документы» (Documents).
«Можно создавать» (Create): пользователи могут создавать новые файлы и могут предоставлять к ним доступ;
«Можно изменить» (Change): возможность выгрузки новой версии общего файла и его замена;
«Можно удалить» (Delete): пользователи могут удалять общие файлы.

Меню «Дополнительно» (Overflow): в меню «Дополнительно» (Overflow) в виде многоточия отображается подробная информация о файлах, также с его помощью можно изменить имя, загрузить или удалить файлы.

Значок «Настройки» (Settings) в виде шестеренки, находящийся в нижнем левом углу, позволяет отображать или не отображать скрытые файлы на веб-интерфейсе Nextcloud. Данные файла также называются файлами с точками, потому что в начале их имени стоит точка, например, .mailfile. Наличие точки указывает на то, что операционная система не должна отображать данные файлы в диспетчере, если пользователь не включит соответствующую функцию. Обычно это файлы конфигурации, которые можно скрыть, чтобы избежать перенасыщения экрана лишними деталями.

Предварительный просмотр файлов

Пользователи могут просмотреть содержимое несжатых текстовых файлов, файлов в формате OpenDocument, видеофайлов и файлов изображений при помощи встроенных средств программы Nextcloud, нажав на имя соответствующего файла. Кроме того, администратор может включить соответствующую функцию, чтобы в Nextcloud можно было просматривать файлы других типов. Если файл не может быть отображен в Nextcloud, программа запустит процесс загрузки файла на ваш компьютер.

Навигация в Nextcloud

Перемещение между папками в Nextcloud является максимально простым: для открытия папки нужно щелкнуть по ней кнопкой мыши, а для перехода на предыдущий уровень – нажать кнопку возврата в веб-обозревателе. Для быстрого перемещения в Nextcloud имеется навигационная панель, которая отображается в верхней части поля «Файлы» (Files).

В окне «Подробная информация» (Details) отображаются возможные действия, функция предоставления доступа и информация о версии

Условные обозначения для индикации состояния предоставления доступа

Создание или выгрузка файлов и папок

Для выгрузки или создания файлов в папке Nextcloud нужно щелкнуть левой кнопкой мыши по пункту «Создать» (New) в приложении «Файлы» (Files).

Пункт «Создать» (New) позволяет выполнить следующие действия:

Стрелка вверх — выгрузка файлов с компьютера в Nextcloud. Для выполнения выгрузки файлы можно перетащить из диспетчера файлов.
Текстовый файл (Text file) — создание нового текстового файла и его добавление в текущую папку.
Папка (Folder) — создание новой папки в текущей папке.

Выбор файлов или папок

Вы можете выбрать один или несколько файлов/папок, щелкнув левой кнопкой мыши в окошке рядом с ними. Для выбора всех файлов из текущей папки нужно щелкнуть левой кнопкой мыши в окошке, расположенном в верхней части списка файлов.

При выборе нескольких файлов их можно удалить или добавить в архив ZIP, используя кнопки «Удалить» (Delete) или «Загрузить» (Download), отображаемые в верхней части экрана.

Примечание: если кнопка «Загрузить» (Download) не отображается, то администратор отключил данную функцию.

Фильтрация отображаемых файлов

На левой боковой панели страницы «Файлы» (Files) имеется несколько фильтров для быстрой сортировки и управления файлами.

Все файлы (All files): режим отображения по умолчанию; в данном режиме отображаются все файлы, к которым вы имеет доступ.

Избранное (Favorites): режим отображения файлов и папок, отмеченных желтой звездочкой.

Файлы, к которым вам предоставлен доступ (Shared with you): режим отображения файлов, доступ к которым был предоставлен другими пользователями и группами.

Файлы, к которым вы предоставили доступ (Shared with others): режим отображения файлов, доступ к которым вы предоставили для других пользователей и групп.

Файлы, доступные по ссылке (Shared by link): режим отображения файлов, доступ к которым вы предоставили с помощью общедоступной ссылки.

Внешнее хранилище (опция) (External Storage (optional)): режим отображения файлов на внешнем устройстве или сервисе (Dropbox, Google и Amazon S3), к которым у вас есть доступ.

Перемещение файлов

Для перемещения файлов и папок их можно перетаскивать в любую директорию.

Изменение срока предоставления доступа

В предыдущих версиях Nextcloud можно было настроить срок предоставления доступа к локальным и опубликованным общим данных. Теперь вы можете настраивать срок предоставления доступа только к опубликованным общим данным, при этом доступ к локальным общим данным будет возможен даже по истечении срока предоставления доступа к опубликованным общим данным. Единственным способом отмены доступа к локальным общим данным является нажатие на значок корзины.

Создание ссылки или подключение к объединенной системе

Предоставление доступа к объединенной системе позволяет монтировать общие файлы с удаленных серверов Nextcloud и управлять ими точно так же, как и локальными общими файлами. Начиная с Nextcloud 9, процесс создания новой ссылки для предоставления общего доступа стал проще и удобнее. Информация о том, как создавать ссылки и подключаться к новым общим файлам объединенных систем, приведена в разделе «Использование общих файлов в объединенных системах».

Читайте также: