Взгляд в облако

Мы живем в мире, который наводнен информацией. Еще в 2011 году исследование IBM показало, что почти 3 квинтиллиона - это 3 с 18 нулями после него - байтов данных генерировалось каждый день. Мы уже далеко прошли эту отметку, учитывая удвоение числа пользователей Интернета с 2011 года, мощный рост социальных сетей и машинного обучения, а также взрывной рост мобильных вычислений, потоковых сервисов и устройств Интернета вещей. Действительно, согласно последнему глобальному индексу облачных вычислений Cisco , около 220 000 квинтиллионов байт - или, если хотите, 220 зеттабайт - были сгенерированы «всеми людьми, машинами и объектами» в 2016 году, а в 2021 году они должны достичь почти 850 зеттабайт.

Многие из этих данных считаются эфемерными и поэтому не хранятся. Но даже небольшая часть огромного числа может быть впечатляюще большим. Что касается данных, по оценкам Cisco, в 2016 году хранилось 1,8 ZB, а в 2021 году этот объем увеличится в четыре раза до 7,2 ZB.

Наш мозг на самом деле не может постичь что-то размером с зеттабайт, но, возможно, этот мысленный образ поможет: если бы каждый мегабайт занимал пространство точки в конце этого предложения, тогда 1,8 ZB покрыло бы около 460 квадратных километров, или площадь примерно в восемь раз больше Манхэттена.

Конечно, реальный зеттабайт данных вообще не занимает места - данные - это абстрактное понятие. С другой стороны, для хранения данных требуется место, а также материалы, энергия и сложное оборудование и программное обеспечение. Нам нужен надежный способ хранения этого большого количества нулей и единиц данных, чтобы мы могли получить их позже, будь то через час или через пять лет. И если информация в некотором роде ценна - будь то оцифрованная семейная история, представляющая интерес в основном для небольшого круга людей, или библиотека фильмов, имеющая большое культурное значение, - данные, возможно, потребуется архивировать более или менее на неопределенный срок.

Грандиозная задача хранения данных была достаточно сложной, когда скорость накопления была намного ниже и почти все данные хранились на наших собственных устройствах. Однако в наши дни мы отправляем больше данных в «облако» - этот (простите за каламбур) туманный термин для удаленных центров обработки данных, которыми управляют такие компании, как Amazon Web Services , Google Cloud , IBM Cloud и Microsoft Azure . Компании и государственные учреждения все чаще переносят в облако все больше своих рабочих нагрузок - не только периферийных функций, но и критически важной работы. Потребители, составляющие растущий сегмент пользователей облака, обращаются к облаку, потому что оно позволяет им получать доступ к контенту и услугам на любом устройстве, где бы они ни находились.

И все же, несмотря на нашу растущую зависимость от облака, многие ли из нас имеют четкое представление о том, как работает облако или, что еще более важно, как хранятся наши данные? Даже если разбираться в таких вещах не ваша работа, факт остается фактом: ваша жизнь в большей степени, чем вы, вероятно, думаете, зависит от самого простого процесса запоминания нулей и единиц. Инфографика ниже предлагает пошаговое руководство по хранению данных как локально, так и удаленно, а также более подробное рассмотрение механизма облачного хранилища.

I. Основы хранения данных

Хранение данных локально на твердотельном диске

Шаг 1. Щелчок по значку «Сохранить» в программе вызывает микропрограммное обеспечение, которое определяет, где данные должны быть сохранены на диске.

Шаг 2. Внутри диска данные физически расположены в разных блоках. Особенность флеш-памяти, используемой в твердотельных накопителях, заключается в том, что при записи данных отдельные биты могут быть изменены только с 1 на 0, а не с 0 на 1. Таким образом, когда данные записываются в блок, все биты сначала устанавливаются в 1, стирая все предыдущие данные. Затем записываются нули, создавая правильный шаблон из единиц и нулей.

Шаг 3. Еще одна особенность флэш-памяти заключается в том, что она склонна к повреждению хранимых битов, и это повреждение имеет тенденцию влиять на кластеры битов, которые расположены близко друг к другу. Коды с исправлением ошибок могут компенсировать только определенное количество поврежденных битов на байт, поэтому каждый бит в байте данных сохраняется в другом блоке, чтобы минимизировать вероятность повреждения нескольких битов в данном байте.

Шаг 4. Поскольку стирание блока происходит медленно, каждый раз, когда часть данных в блоке обновляется, обновленные данные записываются в пустую часть блока, если это возможно, и исходные данные помечаются как недопустимые. В конце концов, однако, этот блок необходимо стереть, чтобы в него можно было записать новые данные.

Шаг 5. Считывание данных всегда приводит к ошибкам, но коды исправления ошибок могут найти ошибки в блоке и исправить их, при условии, что в блоке есть только одна или две ошибки. Если в блоке есть несколько ошибок, программа не может их исправить, и блок считается нечитаемым. Ошибки, как правило, возникают всплесками и могут быть вызваны паразитными электромагнитными полями, например звонком телефона или включением двигателя. Ошибки также возникают из-за несовершенства носителя информации.

Удаленное хранение данных в облаке

Шаг 1. Данные сохраняются локально в виде блоков.

Шаг 2. Данные передаются через Интернет в центр обработки данных [см. Ниже «Более глубокое погружение в облако»].

Шаг 3. Для обеспечения избыточности данные хранятся как минимум на двух жестких дисках или двух твердотельных накопителях (которые могут находиться в разных центрах обработки данных) с использованием того же базового метода, который описан выше для локального хранилища.

Шаг 4. Позднее в тот же день, если центр обработки данных следует лучшим практикам, данные будут скопированы на магнитную ленту. Однако не все центры обработки данных используют резервное копирование на магнитную ленту.

Шаг 5. Считывание данных всегда приводит к ошибкам, но коды исправления ошибок могут найти ошибки в блоке и исправить их, при условии, что в блоке есть только одна или две ошибки. Если в блоке есть несколько ошибок, программа не может их исправить, и блок считается нечитаемым. Ошибки, как правило, возникают всплесками и могут быть вызваны паразитными электромагнитными полями, например звонком телефона или включением двигателя. Ошибки также возникают из-за несовершенства носителя информации.

II. Более глубокое погружение в облако

Хотя большая часть данных, которые хранятся, по-прежнему хранятся локально, все большее количество людей и устройств отправляют все большую часть своих данных в удаленные центры обработки данных.

Данные от нескольких пользователей перемещаются через Интернет в облачный центр обработки данных, который подключен к внешнему миру через оптоволокно или, в некоторых случаях, спутниковые каналы со скоростью гигабит в секунду.

Облачный центр обработки данных - это, по сути, хранилище данных с несколькими стойками специализированных компьютеров хранения, называемых серверами баз данных.

Существует три основных типа облачных хранилищ данных: жесткие диски, твердотельные накопители и картриджи с магнитной лентой, которые обладают следующими функциями:

Облачная безопасность: облачные центры обработки данных защищают данные с помощью шифрования и брандмауэров. Большинство центров предлагают несколько уровней каждого. Выбор наивысшего уровня шифрования и защиты брандмауэра, конечно, увеличит время, необходимое для хранения и извлечения данных.