Utorrent part file dat что это

Обновлено: 06.07.2024

Было время, когда компьютерные файлы имели совсем маленький вес. Большинство программ запросто умещались на дискету объемом до 3 мегабайт ( смехотворно по нынешним меркам ).

Музыкальные и видео файлы были слишком громоздки и передавались посредством записи на CD диски. Вначале таких носителей было вполне достаточно, но информационные технологии начали стремительный рост. Компьютерные файлы становились все тяжелее и тяжелее. Потребность в количестве и скорости передаваемой информации росла на глазах.

CD, DVD, и даже Blu-ray диски, хотя все еще были актуальны, но не могли решить одну проблему – быстрое распространение информации.

Все эти приспособления это физические носители, и для того что бы поделится какой-то информацией необходимо выполнить целый ряд каких то манипуляций (копирование, отправка по почте, и тд. и тп.)

Лучшим решением для свободного так и коммерческого распространения информации стал интернет.

Файлы загружались на сервер ( подключенный к сети компьютер с большим объемом информации на нем ) с которого можно было свободно скачивать необходимые пользователям файлы. Естественно что скорость загрузки в основном зависела от того насколько быстрый у вас интернет. Но, так, же есть и ограничения касающиеся нагрузки на сервер. К примеру: оборудование сервера не самое новое и мощное, а информация на нем по каким-то причинам стала очень популярной. Все хотят скачать ее себе на свой компьютер. Соответственно запросов к серверу становится так много, что он уже не способен их корректно обработать. Он может зависнуть, понизить скорость отдачи, в общем, туго ему приходится.

Вот так плавно мы перейдем к торрентам и их работе.

Дабы не внедряться в технические аспекты работы торрента ( для этого существуют специальные специализированные сайты ), попробуем объяснить все «на пальцах».

Что такое ТОРРЕНТ?

Допустим, у нас есть большой файл – пускай это будет фильм. Мы, хотим поделиться им со всем миром. Естественно, что если все начнут обращаться к нам за этим файлом, наш ПК сойдет с ума. А еще он может быть отключен.

Для того что бы снизить нагрузку на сервер и файлы скачивались быстрее и всегда были доступны был разработан торрент протокол.

Как работает ТОРРЕНТ простыми словами?

Это работает примерно таким образом: с вашего компьютера кто-то скачал фильм, теперь этот файл становится доступен для скачивания уже с двух источников. И так дальше по нарастающей. То есть те, кто его скачали, так же становятся «донорами» и распространителями этого материала. Специальные программы определяют у кого есть в доступе нужный файл и отщипывают от него кусочек для скачивания. Таким образом, нагрузка на раздающие компьютеры становится минимальна. Чем больше людей делятся файлами, тем быстрее скорость их скачивания.

Сейчас по данной технологии распространяются практически все игры, фильмы и другие тяжелые файлы.

Для скачивания через торренты необходимы дополнительные программы – «клиенты»

Найти их в сети не составит труда, достаточно просто ввести в поисковике запрос: торрент клиент.

Все они интуитивно понятны и просты в обращении.

Работают они по принципу:

Вы находите ссылку на интересующий вас материал (скачать торрент) и загружаете себе маленький файлик. Открыв который в торрент клиенте, будет начато скачивание.

Всем хорош клиент, но в последних версиях разрабы опухли от жадности и впендюрили рекламу. Это нужно лечить.

На момент написания заметки последней версией uTorrent является 3.4.7. Рассматривается здесь именно она.

1. Выходим в меню настроек (настройки -> настройки программы -> дополнительно).
2. Находим следующие переменные (используем фильтр для поиска) и выставляем их в false:

3. Нажимаем OK, закрываем меню.
4. Снова вызываем меню "настройки", после чего зажимаем и держим Shift-F2 и кликаем по пункту "настройки программы".
5. Во вкладке "дополнительно" теперь совсем другой, "секретный" список переменных. Находим следующие переменные и выставляем их в false:

6. Перезапускаем клиент (через выход) и наслаждаемся отсутствием мусора.

PS: uTorrent последних версий при установке попытается пропихнуть на комп адварь OpenCandy. Рекомендуется превентивно заблокировать его установку (файл OCSetupHlp.dll). На всякий случай можно проследить за этим делом и после установки проверить, в случае чего - почистить руками или любой antispyware-софтиной.

PPS: Еще один шаг для удаления установленного рекламного мусора. Лезем в C:\Users\USERNAME%\AppData\Roaming\uTorrent\updates. Удаляем все папки с номерами версий, кроме последней. В последней папке тоже можно удалить все, но конкретно нас интересует файл utorrentie.exe. Его надо убить. После чего возвращаемся в папку updates и выставляем для папки, откуда мы удалили файл, запрет на запись (свойства папки -> безопасность -> изменить разрешения). Не забыть в самом uTorrent отключить обновление. Проверяем в диспетчере задач при запущенном uTorrent отсутствие лишнего процесса.

PPS: В качестве оптимальной версии uTorrent чаще всего отмечается весьма себе старая версия 1.8.2. В общем, пользоваться лучше именно ей, но в случае нужды, мало ли, вполне юзабельный продукт можно сделать и из самой свежей версии, как описано в этой заметке.

На одном трекере я являюсь активным сидером. Но когда приходит время обновлять раздачи, для меня начинается ужас: некоторые раздачи имеют разные название в торрент-клиенте и на трекере, раздач с идентичным названием на трекере очень много, да и искать какую-то конкретную раздачу очень трудно. К тому же у меня нет столько времени, чтобы заниматься таким рутинным делом. Поэтому мне понадобился небольшой скрипт, который бы обновлял раздачи в клиенте, при обновлении оных на трекере.

Что же делать?

Передо мной встала задача: найти какое-нибудь готовое решение или же попробовать написать нужный скрипт самому. На хабре встречались способы, в некотором роде выполняющие мою задачу, но способ либо мне не подходил, либо он мне не совсем нравился. При этом я никогда не писал программ или даже скриптов, поэтому вариант собственноручно написанного скрипта мне нравился ещё больше. Сначала надо было выбрать инструмент, язык, который был бы лёгок для освоения и погружения в программирование, и моё внимание привлёк python.

Python мне сразу понравился. Кажется, что он придаёт некую «легкость» в написании кода. Как первое чтиво по python'у я выбрал книгу Марка Лутца «Изучаем Python (4-е издание)». Что ж, инструмент есть, какая-никакая помощь в виде книги есть, поехали!

Постановка задачи и её решение

Итак, для начала нужно определить, что торрент-файл в нашем клиенте (в данном случае имеется в виду uTorrent 2.2) устарел и надо скачать новый. Первое, что я смог придумать, — парсинг страниц и сравнение с данными в торрент-файле. Такой способ работал, но у него был огромный минус в быстродействии: парсинг ста страниц, а именно такой лимит раздач на трекере, занимал около трёх минут. К тому же надо было все параметры раздачи сравнивать с результатом парсинга страницы, а это тоже отнимало немало времени. Такой метод работал без сбоев, но мне он не особо нравился, поэтому я продолжил поиски всевозможных решений поставленной задачи.

Вскоре, после долгих раздумий и поисков, я узнал о такой вещи как scrape. Scrape, как говорит википедия, — это дополнительный протокол запроса клиента к трекеру, при котором трекер сообщает клиенту общее количество сидов и пиров на раздаче. При помощи scrape-запроса можно легко узнать о том, существует ли раздача или нет. Также scrape-запрос клиентами посылается чаще, чем announce. Но надо знать, поддерживает ли конкретный трекер этот протокол или же нет. К моему счастью, мой трекер его поддерживает. Scrape-запрос посылается при помощи метода GET с заголовком и вот так выглядит адрес, по которому идёт запрос:

Хэш уникален для каждой раздачи, он включает в себя 20 символов и его можно достать из файла resume.dat. Но прежде, чем доставать информацию, надо знать, что этот файл, как файлы с расширением .torrent и settings.dat, представлены в формате bencode. Если нужно расшифровать файл быстро и без углублений в способ кодирования, то стоит скачать специальный пакет для питона здесь.

Приступим к расшифровке файла:

Теперь у нас на руках есть словарь с именами и хэшами раздач. Теперь нам остается только посылать scrape-запросы с подставленным и видоизменённым хэшем и проверять, есть ли раздача с таким хэшем на трекере или её уже нет. Также не стоит забывать о том, что делать такой запрос нужно как бы от лица клиента, иначе трекер откажет в доступе.

Обычный ответ на запрос выглядит так:

d5:filesd20:aaaaaaaaaaaaaaaaaaaad8:completei5e10:downloadedi50e10:incompletei10eeee

20 символов «a» — это хэш раздачи, 5 — сидеров, 10 — личеров и 50 закончивших качать.
Если же раздача не существует, то ответ на запрос принимает вид:

Ответ на запрос тоже представлен в формате bencode, но расшифровывать нам его не надо, можно просто сравнить полученную строку со строкой, возвращаемой в случае отсутствия раздачи на трекере с таким хэшем.
Далее надо скачать наш файл с трекера, положить его в папку автозагрузки клиента и, по возможности, удалить запись об устаревшем торренте в самом клиенте.
С трекера просто так скачать файл не получится: нужна авторизация. Сама функция описана выше под заголовком «authentication». А далее мы авторизируемся, скачиваем файл, кладём его в папку автозагрузки и удаляем старый .torrent файл из папки с торрентами.

Чтобы уже несуществующий .torrent файл не путал нас своей записью в клиенте, его стоит удалить из клиента. Но uTorrent устроен так, что редактирование resume.dat, а именно там хранятся сведения о всех торрентах, при запущенном клиенте не даст результата: uTorrent восстановит resume.dat таким, каким он его запомнил при запуске. Поэтому для такого случая нужно постоянно выключать uTorrent, редактировать resume.dat, включать uTorrent. Такой метод подошёл бы для одной изменённой раздачи в день, а что если раздачи меняются пачками, т.е. по несколько сразу? Сначала я, будучи далёк от программирования в целом, думал о том, что придётся работать с процессами напрямую, а это очень сложно для меня. Но тут я узнал о существовании uTorrent WebUI. У WebUI есть API, документация к которому есть на официальном сайте. Благодаря возможностям API WebUI можно удалить запись, и не только удалить, о торренте из клиента. Сначала мы должны получить cookie, в которых есть специальный пароль, и token. Второе нам необходимо, если параметр webui.token_auth в клиенте активирован.

В uTorrent авторизация в web-интерфейсе реализована не так, как на сайте, поэтому простая отправка данных не пройдёт. Затем мы получаем токен и вместе с ним выполняем какую-нибудь функцию в клиенте. Конечно, можно было бы выделить класс под действия в клиенте, но я посчитал, что для этого хватит и обычной функции.
(Прим.: К сожалению, моих знаний на данный момент не хватило, чтобы правильно авторизироваться в web-интерфейсе, поэтому я воспользовался способом, описанном на просторах интернета.)

Что в итоге

В итоге я получил скрипт, удовлетворяющий мою потребность, немного знаний и море удовольствия: очень весело до утра сидеть над кодом, а потом, когда ляжешь спать, понять, в чём была загвоздка.

Надеюсь, данный способ сможет кому-нибудь помочь.

UPD: Дико извиняюсь за свою невнимательность: приводил код в более читаемый вид перед публикацией, в результате чего и сам запутался, и вас запутал.
Код залил на Github. Работаю с ним впервые, так что, если я сделал что-то неправильно, обращайтесь.

Лучшим решением для свободного так и коммерческого распространения информации стал интернет.

Вот так плавно мы перейдем к торрентам и их работе.

Что такое ТОРРЕНТ?

Как работает ТОРРЕНТ простыми словами?

Сейчас по данной технологии распространяются практически все игры, фильмы и другие тяжелые файлы.

Для скачивания через торренты необходимы дополнительные программы – «клиенты»

Найти их в сети не составит труда, достаточно просто ввести в поисковике запрос: торрент клиент.

Все они интуитивно понятны и просты в обращении.

Работают они по принципу:

Многие пользователи Интернета привыкли скачивать фильмы и сериалы, хотя сейчас куча разнообразных сервисов, приложений и сайтов, где за небольшую плату можно посмотреть все, что душе угодно. Некоторые лейблы даже новинки сразу выкатывают на своих сервисах, и в кино идти не нужно. Но так называемые торренты не теряют популярности. Что это такое, как работает и насколько это законно — разберемся в этом материале.

Что такое торрент

Торрент, он же BitTórrent (в буквальном переводе — поток бит) — это пиринговый (P2P) сетевой протокол, созданный, чтобы совместно обмениваться файлами через Интернет. А пиринговая сеть — это одноранговая сеть, где узлы «общаются» без центрального элемента. Сетевой протокол является набором правил и последовательности действий. Все это вместе позволяет устройствам соединяться и обмениваться данными.

Торрент-файлы передаются частями между устройствами (для удобства будем иметь в виду ПК). Каждый клиент скачивает кусочки файлов и одновременно раздает их другим участникам сети. При этом достигается избыточность данных, которая позволяет снизить зависимость от каждого узла сети. Проще говоря, одни и те же куски файлов хранятся на многих компьютерах, и если часть компьютеров, хранящих файлы, пропадет из сети, то сеть продолжит работу.

Торренты распространяются через файлы с метаданными, имеющими расширение «.torrent». Каждый такой файл содержит обязательную информацию: URL трекера, имя и размер файла и контрольные хеш-суммы SHA1-сегментов раздаваемых файлов. Также в файле может быть необязательная информация: хеш-суммы файлов целиком и альтернативные источники, работающие не по протоколу BitTorrent.

Принцип работы протокола BitTorrent

Приложение-клиент подключается к трекеру, указанному в файле. Передает ему свой адрес и хеш-сумму файлов, которые он хочет скачать. В ответ трекер передает клиенту адреса других ПК, которые раздают нужные файлы. Далее терекер периодически передает клиенту новые адреса раздающих ПК, если такие появляются в сети.

Клиенты связываются друг с другом напрямую, без участия сервера-трекера. Чем больше устройств будет хранить нужный вам файл, тем быстрее будет происходить скачивание, так как разные куски файла можно будет одновременно скачивать из кучи источников.

При соединении клиенты сообщают друг другу об имеющихся у них сегментах. ПК, желающий скачать сегмент, — он называется личер — посылает запрос и, если второй ПК, — сидер — готов отдавать, личер получает этот сегмент. После этого клиент проверяет контрольную сумму сегмента. Если она совпала с той, что записана в торрент-файле, то сегмент успешно скачивается, а клиент оповещает всех присоединенных о том, что у него есть этот сегмент. Если же контрольные суммы различаются, то сегмент начинает скачиваться заново. Некоторые клиенты банят тех пиров, которые слишком часто отдают некорректные сегменты.

Порядок обмена сегментами выстроен, чтобы между клиентами распространялись в первую очередь самые редкие сегменты, так повышается доступность файла в сети. Сегменты могут весить от 16 до 4096 килобайт.

Режим End game

Компьютер переходит в этот режим, когда скачивание почти закончилось. В еnd game клиент запрашивает оставшиеся сегменты у всех подключенных. Благодаря этому не происходит замедление или полное «зависание» процесса скачивания файла, который почти уже загрузился, из-за каких-то медленных клиентов.

Сидирование

Когда клиент получил полный файл, он начинает отдавать данные другим участникам сети, то есть, становится сидом. Далее сид периодически подает трекеру сигналы об изменениях в состоянии закачек, обновляя списки IP-адресов.

Общие особенности протокола

Нет очереди на скачивание.
Файлы загружаются небольшими фрагментами.
Клиенты-пиры обмениваются сегментами по принципу «ты — мне, я — тебе».
Скачанные фрагменты становятся немедленно доступны другим клиентам.
Контролируется целостность каждого фрагмента.

На фрагменты разбивается вся раздача целиком, поэтому у «личера», который решил скачать только несколько файлов из закачки, будет храниться небольшой запас информации, для поддержания целостности фрагментов. В качестве объекта раздачи могут выступать несколько файлов, например, содержимое каталога.

Клиенты работают по протоколу TCP (Transmission Control Protocol — протокол управления передачей, один из основных протоколов передачи данных интернета). Клиенты и трекеры могут использовать любой порт, вместо стандартного 6969, чтобы избежать блокировки по порту некоторыми провайдерами.

Трекер

Трекер — это специальный сервер, позволяющий клиентам найти друг друга. Трекер хранит у себя только IP-адреса и хэш-суммы раздач и ничего не знает об имени и содержимом передаваемых файлов. Начиная с версии 4.2.0 официального клиента, выпущенного в 2015 году, появилась бестрекерная работа, которая базируется на DHT Kademlia. В этой реализации трекер доступен децентрализовано на клиентах в форме распределенной хеш-таблицы.

DHT — аббревиатура Distributed hash table, то есть распределенная хэш-таблица. Является протоколом, позволяющим битторрент-клиентам находить друг друга без использования трекера. Клиенты с поддержкой DHT образуют общую DHT-сеть и помогают друг другу найти участников одних и тех же раздач. Это позволяет участникам быстрее находить друг друга, снизить нагрузку на трекер, поддерживает участников вместе в периоды недоступности трекера.

Magnet-ссылка

magnet: — это открытый стандарт URI (Uniform Resource Identifier — единообразный идентификатор ресурса) схемы. Магнитная ссылка позволяет найти файлы без файла torrent. Эта ссылка содержит в себе только хэш-код раздачи. Также magnet-ссылки могут распространяться в виде файлов с расширением *.magnet.

Одним из преимуществ magnet-ссылок является их открытость и независимость от платформы: они могут быть использованы для загрузки файла при помощи разнообразных приложений на большинстве операционных систем. Благодаря тому, что magnet-ссылка представляет собой короткую строку текста, она может быть легко скопирована через буфер обмена, отправлена по электронной почте, через мессенджеры и SMS.

Недостатки и ограничения

Если в сети нет сидера, у которого есть все фрагменты раздачи нужного файла, то все части невозможно скачать, пока не появится клиент с полным набором. Раздача, в которой долгое время нет полного содержимого, называется «мертвой». Также в торрент-сети отсутствует анонимность, возможно узнать IP-адреса тех, кто скачивает, и тех, кто раздает. Но нельзя узнать какие еще раздачи или скачивания производятся с данного адреса.

Также некоторые из торрент-трекеров имеют открытый доступ, то есть каждый желающий может загрузить любую информацию, и эти раздачи не проверяются. Поэтому некоторые торренты могут содержать вредоносное ПО.

В 2008 году началась разработка нового поколения протокола — BitTorrent v2. В нем алгоритм хеширования SHA-1 заменен на более совершенный SHA-256. Он несовместим со старым, поэтому современные клиенты могут работать с обоими протоколами.

Законно ли пользоваться торрентами

Многие трекеры заблокированы в России за раздачу пиратского контента. Но в трекерах также содержится много авторских файлов и свободных раздач, которые полностью легальны. Если скачивать контент, не защищенный авторским правом — никаких последствий не будет.

За нарушение авторского права в российском законодательстве существует административная ответственность — уголовная и гражданская. Чтобы привлечь к административной ответственности по п.7.12 КоАП, надо доказать, что с помощью скаченного контента человек получит доход. А для привлечения к уголовной ответственности стоимость нарушения авторских прав должна превышать 100 тысяч рублей.

В России и во многих других странах в борьбе с нелегальным распространением контента в основном используется ограничение доступа. При этом пользователю фактически не грозит ответственность за незаконное скачивание. Но в некоторых государствах даже простое скачивание незаконного контента влечет за собой реальную административную или даже уголовную ответственность.

Протокол BitTorrent сам по себе не является незаконным или небезопасным. Это просто средство для обмена файлами любого типа, и существует множество легальных торрент-сервисов.

Но совместное использование и загрузка материалов, защищенных авторским правом, с помощью BitTorrent или иными способами, является незаконным процессом во многих странах. Простыми словами: торрент сам по себе легален, но загрузка несанкционированных материалов, защищенных авторским правом — это противозаконный процесс.

Лучшие торрент-клиенты

BitTorrent — это оригинальный и официальный торрент-клиент от разработчиков протокола. В бесплатной версии показывает рекламу.

BitComet — еще одно классическое приложение, появившееся чуть ли не одновременно с разработкой протокола. Но отзывы о нем протитвречивые.

BitLord — еще один собственный торрент-клиент, который доступен для платформ Windows и MacOS. Первоначально выпущенный в 2003 году, BitLord появился из вышеупомянутого BitComet и включает в себя ряд функций, которых нет на других платформах. Например, встроенный проигрыватель VLC для просмотра видео в приложении, поддержку субтитров с использованием API и встроенный торрент-поисковик.

Halite — это сверхлегкий, суперуниверсальный торрент-клиент. Поставляется со всеми программами и функциями, которые можно ожидать от современного торрент-клиента, в том числе с системой управляемых торрент-очередей, поддержкой магнитного URI, супер-заполнением и возможностью создавать торрент-файлы в приложении.

uTorrent — очень популярный клиент, который, со временем стало труднее рекомендовать из-за переизбытка рекламы. Изначально программа была легким и простым в использовании торрент-клиентом. В 2010 году uTorrent начала включать панель инструментов Conduit Engine в свою утилиту загрузки, а также делать домашнюю страницу и поисковую систему Conduit по умолчанию без согласия. В 2011 году uTorrent начал включать панель инструментов Bing, а затем объявил о платной версии приложения под названием uTorrent Plus.

qBittorrent — бесплатный клиент с открытым исходным кодом, без рекламных объявлений, регулярно обновляется.

Deluge — еще один бесплатный клиент с открытым кодом. От qBittorrent отличается меньшим размером — 34 килобайта.

Transmission — клиент для MacOS и linux, версия для Windows имеет меньший функционал.

Vuze — торрент-клиент. Имеет бесплатную и платную версии.

Сеть торрент и криптовалюты

BitTorrent, Inc. — частная американская компания со штаб-квартирой в Сан-Франциско, была основана 22 сентября 2004 года Брэмом Коэном (Bram Cohen) и Ашвином Невином (Ashwin Navin). На пике популярности аудитория сервисов BitTorrent достигала 150 миллионов активных пользователей в месяц.

В июне 2018 года компанию купил миллиардер, создатель криптовалюты TRON, Джастин Сан (Justin Sun). Протокол позволяет передавать любые типы файлов. Это помогло скомбинировать cеть BitTorrent и блокчейн TRON, так и был создан проект Atlas и криптовалюта BTT.

Криптовалюта BTT (BitTorrent Token) впервые появилась в продаже 28 января 2019 года на бирже Binance. Буквально за 15 минут было распродано 60 миллиардов токенов BitTorrent. Это принесло команде около $7 миллиардов. Сейчас эмиссия BitTorrent (количество монет в обращении) — 990,000,000,000.

Проект Atlas не предполагает майнинг. Разработчики не видят смысла поощрять майнеров за огромные траты электроэнергии и дорогостоящее оборудование — принцип действия алгоритма proof-of-work (например, у биткоина).

Алгоритм консенсуса BTT — delegated proof-of-stake (DPoS). Он основан на голосовании между владельцами токенов в реальном времени. Выбираются супер представители, которые следят за стабильностью системы, и за это получают вознаграждение. Если сообщество не устраивают представители, их можно переизбрать. Такой же алгоритм у криптовалюты Tron (TRX) — основного блокчейна для проекта Atlas.

BTT можно получить через обмен на другие валюты, либо через эирдроп. Для владельцев криптовалюты Tron (TRX) производится эирдроп, запланированный на шесть лет. Чтобы получить монеты BTT бесплатно, достаточно хранить любое количество токенов TRX. Но чем больше их будет, тем больше BTT получите на эирдроп:

с 11 февраля 2019 — 10,890 миллионов BTT;
с 11 марта 2019 до февраля 2020 — 11,880 миллионов BTT;
с 11 марта 2020 до февраля 2021 ー 12,870 млн BTT;
до февраля 2025 года сумму эирдропа будут повышать на 0,1 % от всех токенов ежегодно.

Эирдроп для держателей TRX производится 11 числа каждого месяца. Следить за курсом BTT можно здесь.

Читайте также: