Сколько памяти занимает сайт

Обновлено: 06.07.2024

Linux – довольно гибкая система, выполнить задачи в которой можно разными способами. Сегодня мы рассмотрим, как узнать, сколько оперативной памяти (ОЗУ — оперативное запоминающее устройство или RAM — Random Access Memory) используется определенным процессом. Сама оперативная память представляет собой специальное устройство, которое используется для временного хранения данных и обеспечивает функционирование ПО.

ОЗУ не стоит путать с ПЗУ (постоянным запоминающим устройством): их отличие заключается в том, что оперативная память является энергозависимой (при выключении компьютера все данные исчезнут), в то время как память жесткого диска сохранит все данные даже после выключения машины. Поэтому и функции, которые они выполняют, также разнятся. Процессор использует оперативную память для быстрого доступа к данным - жесткий диск такую скорость обеспечить не может, поэтому при запуске программа загружается в оперативную память.

Мы отследим занимаемую память на примере процесса веб-сервера Apache.

Команда ps

Первым вариантом будет команда ps, с помощью которой можно получить список процессов, запущенных на сервере.

<PID> - идентификатор процесса, в нашем случае это число 897110.

Получим следующий вывод:

ОЗУ будет представлено в процентном соотношении к общему количеству доступной памяти. К сожалению, в данном примере этот процент крайне мал, и столбец %MEM показывает 0,0.

Команда ps имеет свои ключи, которые вы также можете использовать для удобства:

  • -A : все процессы;
  • -a : процессы, связанные с конкретным терминалом, кроме главных системных процессов сеанса;
  • -d : все процессы, кроме главных системных процессов сеанса;
  • T : все процессы на конкретном терминале;
  • a : процессы, связанные с текущим терминалом, а также процессы других пользователей;
  • r : информация только о работающих процессах;
  • x : процессы, отсоединённые от терминала.

Команда top

Второй вариант – использование команды top. Более продвинутые пользователи должны знать эту команду, так как она выводит информацию о нагрузке системы и обновляет ее в реальном времени.

Обратите внимание на столбцы VIRT и %MEM. Последний столбец показывает информацию, которая очень похожа на ту, что получили предыдущей командой. А вот столбец VIRT отображает занятую виртуальную память.

Одним словом, виртуальная память – это некая комбинация ОЗУ и swap, которую использует запущенный процесс.

Обратите внимание, что команда top ограничена размерами окна, из-за чего игнорируется вся информация, которая не помещается на экран.

Получение занятой памяти из /proc

Последней командой для получения занятой процессором памяти будет обращение к псевдофайловой системе /proc.

Снова будет выведен результат, который схож с уже полученным ранее – виртуальная память, используемая процессом веб-сервера Apache.

Вот мы и разобрали на примере процесса Apache способы, которыми можно посмотреть занимаемую память.

Вы замечали, что мы постоянно скачиваем всё больше и больше информации, при этом она сама становится больше. Что я имею в виду - фильм, который раньше каждый из нас с удовольствием смотрел весил 400-600Мб, сейчас же - качество в 2-4Гб считается не очень, а уж если полноценно смотреть в высококачественном разрешении 4К - то конечно же надо скачивать фильм 20-30Гб по размеру и более. А уже не за горами и разрешение 8К и далее. И так со всеми остальными видами - тексты больше, картинки больше - всё больше.

И всё это радостно накапливается в Интернете … Сколько же сейчас там хранится данных, вот конкретно в нашем 2020м году. Оказывается, существует не только множество исследований, но и множество методик, которые пытаются оценить размер Интернета. Но прежде всего, нам придётся разобраться в единицах измерения - ибо конечно же Гигабайты и Терабайты в этом нам не помогут :)

Йоттабайт это очень много

Итак, как всем прекрасно известно, минимальный размер информации это 1 бит - то есть 0 или 1, 8 бит нам дают 1 байт и вот после этого и начинается прирост размера измерений почти на 1000, точнее на 1024 - связано это с тем, что 1024 это 2 в 10 степени. Отсюда и появляются некруглые итоговые значения. Кстати математики придумали гораздо большее количество названий большим и ОЧЕНЬ большим числам .

В Интернете нас более 4.5 миллиардов

Итак, прежде всего немного статистики - общее количество пользователей Интернета - более 4.5 миллиардов, более 1.5 миллиардов сайтов. Ежедневно мы шлём более 237 миллиардов электронных писем, более 705 миллионов постов в Твиттере, более 6 миллиардов видео просмотрено на YouTube. Живую статистику можно посмотреть прям здесь . А вот сколько именно данных создаёт каждый из нас - можно почитать здесь .

Каков же размер Интернета?

Итак, сколько же действительно данных в Интернете. На текущий размер ежегодный прирост данных в Интернете оценивается примерно в 1,1 Зеттабайт, что как мы помним из таблицы равно около 1,2 миллиарда терабайт данных. В целом же общий размер Интернета можно выразить в диапазоне от 2 до 4 Зеттабайт данных. И в целом если вдруг захочется скачать весь Интернет - то сегодня на хорошей скорости это потребует около 11 миллиардов лет.

А сколько же весит Интернет?

И вот это самый интересный вопрос - оказывается это можно посчитать :) Как мы помним, вся информация состоит из бит - то есть нулей и единиц и если 0 это просто отсутствие чего-то, то единица это фактически заряженный конденсатор - микроскопический и при этом содержит около 40.000 электронов - это очень мало, но они уже что-то весят! Масса электрона составляет 9,11 * 10⁻³¹ кг. Принимая, что примерно 0 и 1 одинаковое количество умножим на общий размер Интернета получаем, что он весит сейчас от 0,0000005 грамм до 0,0000015 грамм - немного не правда ли :)

Слишком большие данные: сколько информации хранится в интернете?

Мы даже не задумываемся, какой объем данных генерируем в течение дня, и где все эти данные хранятся. Благодаря интернету в 2017 году Google в день обрабатывает больше данных, чем было написано во всех литературных работах на всех языках до появления интернета, и это при том, что к паутине подключена только половина планеты.

Нативная реклама — материал/серия материалов, которые подготовлены журналистами AIN.UA по редакционным стандартам и были выпущены при поддержке рекламодателя

Безусловно, стремительный рост данных подтолкнул к появлению сайтов и распространению интернета — ведь одно дело копить информацию, другое — иметь возможность ею делиться. Первый сайт появился в 1990 году и содержал исключительно текстовую информацию — описание технологии World Wide Web.

Первые годы количество сайтов в интернете росло в два раза за каждые три месяца. К июню 1993 года в мире существовало уже 130 сайтов. А к декабрю — 623. К началу 1996 года количество сайтов в интернете достигло 100 000. В 2014 году их стало больше миллиарда, а к нынешнему времени — 1,2 млрд. Это примерно в шесть раз меньше, чем людей на Земле, и в три раза меньше, чем интернет-пользователей (3,6 млрд). То есть, грубо говоря, на каждый сайт в интернете приходится 3 интернет-пользователя.


Особенно быстро интернет-аудитория росла с 2010 года. Росту проникновения интернета способствовали мобильные сети — 3G и 4G. Сейчас у технологий мобильного доступа в интернет 3,3 млрд и 912 млн пользователей, а к 2020 году их количество должно достигнуть 4,3 и 1,8 млрд соответственно. Несмотря на то, что это большие цифры, значительная часть жителей планеты пользуется Сетью пока через другие каналы доступа.


Так, в 1995 году количество всех пользователей составляло 14 млн человек, то есть менее 1% населения Земли. В период с 1999 по 2013 интернет-аудитория выросла в 10 раз. Первый миллиард в сети появился в 2005 году, а еще через пять лет аудитория сети пробила отметку в 2 млрд человек. По планете пользователи распределены неравномерно. По данным 2013 года, примерно половина всех интернет-пользователей была из Азии, а наименее многочисленная группа — Тихоокеанский бассейн (0,9%). Европа, между прочим, представлена в сети не так многочисленно, как можно было бы подумать. И это при том, что до сих пор доступ в сеть получило только 49% населения Земли, и те, кто его лишены, проживают преимущественно в Азиатско-Тихоокеанском регионе и Африке. Невысокий уровень жизни, страх перед технологиями и препятствия в виде сложного ландшафта становятся преградой для роста количества интернет-пользователей в этих регионах. К интернету подключено 6,4 млн компьютеров.

Если первое время интернет был местом для интеллектуалов и снобов, хакеров и пионеров технологий, которые потребляли и создавали контент, то сегодня интернет — это социальные сети, YouTube-видео, сайты для взрослых и другие не самые узкоспециализированные активности.

Интересно, что в день интернет-пользователи отправляют 216 млрд электронных писем, а за последний год (на момент написания статьи) их было 37,8 триллионов — 37 764 560 548 485, если быть точными. И большинство из них — спам! В первом квартале 2017 процент спама в email-трафике
составил 55,9%

Но вернемся к трафику. По данным Google, в 2008 году компания обрабатывала 20 петабайт данных в день. Сегодня аналогичный результат достигается меньше чем за 8 минут. За последний год эта цифра достигла 636 эксабайтов! На это было потрачено 554 524 478 мегаватт-часов.

Для сравнения все сезоны сериала «Игра престолов» весят около 70 Гб в разрешении видео 1024х576 — столько трафика обрабатывается Google за пару секунд.

Количество поисковых запросов, обрабатываемых Google:

  • 1998 г. — 9800 в день, 3,2 млн в год;
  • 2007 г. — 1,2 млрд в день, 438 млрд в год;
  • 2016 г. — 3 млрд в день, 1,2 трлн в год.
Первый жесткий диск на 5 МБ появился 60 лет назад. Он весил около тонны и по размеру был сравним с крупным современным холодильником. Внутри массивного корпуса находилось 50 дисков диаметром 60 сантиметров или примерно 23 дюйма. Сегодня на таком пространстве помещаются две серверные стойки, а маленькое устройство в кармане может хранить несколько сотен гигабайт информации. Не только хранить, но и создавать — контент для видеохостингов, соцсетей и мессенджеров.


YouTube — крупнейший в мире легальный видеохостинг. Первое видео было загружено на него 23 апреля 2005 года. Сегодня ежедневная аудитория ресурса составляет 30 млн человек, а в целом хостингом пользуется 1,3 млрд. Это большой кусок интернет-аудитории, хотя и меньше, чем у Facebook. Ежеминутно на YouTube заливается 300 часов видео.


Но несмотря на то, что Youtube является крупнейшим видеохостингом для всех, его трафик не сравнится с трафиком видеохостингов «для взрослых». Так, в 2016 году Pornhub отчитался о том, что в его недрах хранится 3110 петабайт данных, а ежеминутно стримится 6 Тб видео. Правда в количестве времени, проведенного на ресурсе, он уступает. За год было просмотрено 92 млрд видео за 23 млрд сеансов, что составляет примерно 12,5 видео на одного человека на планете. За год пользователи этого ресурса отсмотрели 4,6 млрд часов.


Основная масса загружаемых на Facebook фотографий сделаны смартфонами. Современные устройства делают снимки весом по паре мегабайт, но соцсеть сжимает их перед загрузкой. Если представить, что средний вес загружаемого снимка составляет 100 КБ, то ежедневный «вес» загружаемых снимков достигает 30 ТБ. А ведь есть еще Instagram, куда ежедневно попадает 33 млн снимков.


Предполагается, что к 2020 году на планете будет 50 млрд подключенных устройств, из них 6,1 млрд — смартфоны. Население Земли достигнет 7,75 млрд (то есть в 6,5 раз меньше), и каждый житель будет генерировать 1,7 Мб информации в секунду. Примерно треть всех данных будет храниться в облаке. В 2013 общий объем данных в интернете составлял 4,3 зеттабайта, каждые два года он удваивается.

Предположительно, к 2020 году этот показатель возрастет до 44 зеттабайтов. Сложно сравнить это с чем-то осязаемым. Но попробуйте представить, что разместить их все можно будет, например, на 4,4 млрд 10-терабайтных накопителях.

Интернет-гиганты строят огромные дата-центры для хранения информации. Обычно данные об их расположении, оснащении и размерах хранятся в секрете. В лучшем случае, в интернете можно найти фотографии фасадов. Но Google три года назад приоткрыли завесу тайны над одним из своих дата-центров и объемами инвестиций в него.

Дата-центр Google, где находятся серверы с Youtube-роликами и где обрабатываются поисковые запросы, об объемах которых мы уже писали выше, занимает 10 000 квадратных метров. Но Google — огромная корпорация с миллиардными доходами, которая может себе позволить столько дата-центров и такого размера, как ей нужно.

На новый дата-центр в Орегоне площадью 15 240 кв. м компания потратила $600 млн в 2015 году. К 2020-му году, несмотря на удешевление технологий, скорее всего расходы будут еще выше. Apple строит дата-центр в Ирландии стоимостью $1 млрд и площадью 500 акров. От тепла, которое он будет вырабатывать, будут отапливаться близлежащие дома. В компании планируют покрыть этим дата-центром потребности по обеспечению своими сервисами европейских пользователей на ближайшие 10-15 лет.

Но для обычных пользователей, которые как раз и генерируют основной объем, эта информация едва ли важна. Кто задумывается о том, где конкретно YouTube хранит видео, а Instagram – фотографии, сколько это весит и во сколько обходится компаниям? Разработчики уже подумали об этом, чтобы пользователи комфортно занимались своими делами в их сервисах.

Охладительные системы дата-центра Google в Орегоне. Территория настолько большая, что персоналу приходится перемещаться на велосипедах

Big Data — это нефть нашего времени, она позволяет делать многие вещи, среди которых — адаптация сервисов и даже городской инфраструктуры под потребности людей (об этом мы писали, например, тут), производить более точные измерения (например, фактического потока туристов в городе, о чем мы рассказывали тут), анализировать поведение пользователей и делать на основании этих данных более точные прогнозы. Во всех примерах выше речь идет не о заморских странах, а об украинских государственных проектах и стартапах, которые уже становятся более эффективными и в будущем оставят конкурентов далеко позади.

Несмотря на то, что Big Data — это уже реальность и в Украине, многие бизнесы до сих пор думают, что это дорого и для этого нужен некий суперкомпьютер. По факту есть две разные статьи расходов. Первая — это место под хранение данных. Оно нужно постоянно, но стоит сравнительно недорого. Вторая — анализ данных. Для этого нужны большие вычислительные мощности, которые как раз стоят дорого. Но при этом потребность в них нерегулярная — только на этапе анализа, а все остальное время ресурсы просто простаивают.

Современные технологии позволяют обрабатывать Big data в облаке, комбинируя публичные и частные облака — то есть используя гибридное облако. Частные облака подходят в том случае, когда доступ к ресурсу должен быть постоянным — например, когда речь идет о хранении данных. В таком случае есть смысл в том, чтобы строить свою инфраструктуру. Публичные — когда ресурсы требуются время от времени. В частности, их анализе и построении прогнозов. Их выгоднее «покупать» в публичном облаке, оплачивая только используемый ресурс.

Комментарий Андриса Гайлитиса, СЕО оператора дата-центров DEAC

Успех работы с облачными мощностями зависит не столь от производительности и мощности оборудования, на котором размещены данные, сколько в грамотно разработанной стратегии. Важно правильно поставить цель и определиться со стратегией работы в облаке — как на данном облаке будут работать аппликации, базы данных, какая сетевая и физическая инфраструктура сможет реализовать облачные нагрузки и работать без простоев, какими процессами будет управлять технический персонал провайдера, а какими-собственные сотрудники.

Гибридное облако является удобным решением для тех компаний, которые по какой-то причине не могут или не хотят отказаться от частного облака (например, по причинам безопасности), но в какой-то момент появляется необходимость выделить задачи с повышенной производительностью в публичное облако для быстрого наращивания мощностей. Такая модель облака помогает компаниям без предварительного опыта не только быстрее адаптироваться к облачной среде, но и подстраховаться на случай неожиданного роста больших данных. В среднем бизнес, максимально использующий возможности арендованного облака вне зависимости от его типа, может в течение 5 лет достичь снижение общих IT-расходов на 40%.

Поставили точку в этом вопросе, а заодно развенчали миф о гигантских аппетитах Chrome.


Эксперимент: сколько памяти реально «жрут» разные браузеры

Если у вас не самый мощный компьютер со скромным объемом оперативной памяти, даже банальный браузер может вызвать заметные подвисания. Каждая открытая вкладка «отъедает» кусок оперативки, и, когда свободной памяти остается совсем мало, компьютер, говоря простым языком, начинает «тормозить».

Есть мнение, некоторые браузеры потребляют очень много ОЗУ, а другие в этом плане более экономичны. Мы решили проверить это опытным путем: сравнили самые популярные интернет-обозреватели и делимся с вами результатами.

Методика тестирования

В список тестируемых программ попали: Google Chrome, Yandex Browser, Microsoft Edge, Opera GX и Firefox. В каждом браузере мы открыли 5 одинаковых вкладок: главные страницы VK, Instagram, Youtube, Twitch и «Авито». Какие либо плагины и расширения дополнительно не устанавливались. В качестве операционной системы была выбрана Windows 10 с последними обновлениями.


В простое ОС вместе с самым базовым набором программ (Afterburner для мониторинга, Joxi для создания скриншотов и GeForce Experience в качестве драйвера для видеокарты) потребляла около 3,2 Гбайт оперативной памяти. Всего в компьютере было установлено 32 Гбайт ОЗУ.

Google Chrome

Начнем с утилиты, которая долгое время удерживала пальму первенства среди самых прожорливых программ. Судя по всему, мемы про ненасытное детище Google окончательно остались в прошлом, потому что программа съела чуть больше гигабайта. Датчики плясали вокруг отметки в 4,3 Гбайт.


Функция предзагрузки страниц сейчас используется по умолчанию практически в любом браузере (то есть страница загружается сразу, как вы ее открыли, а не когда вы на нее перешли), поэтому Chrome на фоне остальных не выделяется. И хоть эта технология требует больше оперативной памяти, она делает пользование браузером намного комфортнее.

Как изменить браузер по умолчанию в Windows 10 и более ранних версиях

Opera GX

Вероятно, в программном обеспечении, созданном специально для геймеров, должна быть по умолчанию включена функция оптимизации потребления системных ресурсов? Видимо, нет, поскольку Opera потребляет примерно столько же памяти, сколько Chrome. Разница составляет несколько десятков мегабайт, что по нынешним временам просто несущественно.


Однако, здесь можно обнаружить очень удобную функцию под названием GX Control, которая позволяет выделить фиксированный объем оперативной памяти под нужды браузера. То же самое легко сделать и с ресурсами процессора. А Hot Tab Killer покажет, сколько ресурсов потребляет каждая из открытых вкладок.

Yandex Browser

К нашему удивлению, детище отечественных разработчиков потребовало больше ресурсов, чем тот же Chrome. На пару с системой они откусили 4,5 Гбайт оперативной памяти. Правда, данная утилита ранее пользовалась на этом ПК регулярно. Возможно, удаление плагинов и очистка всей истории не откатили браузер до заводского аппетита.


Если вы являетесь пользователем данного обозревателя, а оперативной памяти немного, попробуйте в настройках включить функцию выгрузки неиспользуемых вкладок из памяти. Также можно оптимизировать изображения на сайтах.

Почему нет смысла очищать оперативную память смартофонов на Android?

Firefox

Данный браузер слегка отстает от предшественника, и его потребление находится на уровне 4,4 Гбайт оперативной памяти. Firefox не отличается от остальных утилит тяжелым интерфейсом или глубокой кастомизацией, однако в своем продукте разработчики делают упор на безопасность и конфиденциальность.


Поэтому здесь можно встретить множество встроенных функций, направленных на защиту пользователя в сети. Например, можно настроить строгую приватность, в результате которой отключатся межсайтовые отслеживющие куки, трекеры социальных сетей, криптомайнеры и сборщики цифровых отпечатков. Вероятно, благодаря этому здесь потребление ОЗУ чуть выше, чем у конкурентов.

Microsoft Edge

Встроенное в Windows 10 средство для просмотра интернет-сайтов никогда не воспринималось пользователями всерьез. Однако совсем недавно разработчики выкатили новое обновление, в результате которого их программа стала потреблять намного меньше оперативной памяти. Наш тест показал результат в районе 3,9 Гбайт.


Нельзя сказать, что это ощутимо меньше, чем у конкурентов, однако если учитывать, что было открыто всего 5 вкладок, то результат достойный. Мы не знаем, что именно девелоперы там подкрутили, но при большом количестве одновременно открытых сайтов вы точно сэкономите несколько гигабайт ОЗУ.

Выводы

Мы ожидали, что разница в потреблении памяти у разных браузеров будет более существенной. Пожалуй, нужно было открыть вкладок 20, чтобы быть ближе к реальности. Но итог можно подвести и так: даже при ограниченном объеме ОЗУ пользуйтесь тем браузером, который вам нравится больше. Разница в аппетитах не так принципиальна (если, конечно, у вас не древний ПК с ОЗУ 4 Гбайт, и приходится учитывать каждый мегабайт).

Читайте также: