Децентрализованные сети хранения — объяснение

Фон

Данные важны, и технологии, построенные на основе их передачи и распространения, влияют на мир в целом. От древних рассказчиков до письменных систем, до изобретения Интернета и Сети, которые произвели революцию в том, как общество получает, просматривает и использует информацию.

Недавняя волна прорывных инноваций в области информационных технологий — это децентрализованные сети.

Дискуссии о хранении данных в вебе 3.0 (децентрализованном Интернете) часто относятся к децентрализованным сетям хранения? Что такое децентрализованное хранилище? Насколько это отличается от традиционного облачного хранилища? Как работают децентрализованные сети хранения? И каковы уникальные приложения и возможные проблемы с децентрализованными сетями хранения нового поколения?

Я буду обсуждать децентрализованные сети хранения, и чтение этого объяснения даст ответы на эти вопросы и, надеюсь, заинтересует вас бесчисленными возможностями децентрализованных сетей хранения.

Традиционное облачное хранилище Решения

Распределенные вычисления и высокоскоростное подключение к Интернету обеспечили повсеместное распространение онлайновых (облачных) решений для хранения данных, таких как Dropbox, Google, Amazon и т. д. Эти решения построены на распределенных сетях сервер-клиент, которыми владеют и контролируют отдельные организации. Неотъемлемыми проблемами, связанными с этим, являются риски цензуры, централизация полномочий и доверия, низкая отказоустойчивость и риски безопасности данных.

Децентрализация

Децентрализация — это распределение доступа и контроля над системой между участниками, а не концентрация власти в руках центрального органа или организации.

Децентрализованное хранилище

Децентрализованная сеть хранения (DSN, также известная как децентрализованная сеть обмена файлами) представляет собой распределенную одноранговую (p2p) устойчивую к цензуре сеть недоверчивых узлов, взаимодействующих для обеспечения емкости хранилища. Эти узлы хранят фрагменты данных, каждый узел выделяет дисковое пространство, память, пропускную способность и ЦП.

Децентрализованные системы хранения спроектированы так, чтобы быть отказоустойчивыми, со встроенными методами преднамеренной избыточности данных, чтобы обеспечить отказоустойчивость и отсутствие единой точки отказа. Ненадежная безопасность и восстановление данных не должны зависеть от узлов, присоединяющихся к сети или покидающих ее.

Одной из особенностей этой модели хранения данных является то, что она смещает адресацию ресурсов с подхода, ориентированного на местоположение, на подход, ориентированный на контент.

Поколения децентрализованных сетей хранения

Хотя в последнее время это привлекло большое внимание, DSN не являются чем-то новым. DSN p2p первого поколения, такие как Napster, Torrents и т. д., часто использовались для обмена музыкальными и видеофайлами. Пиры сохраняли копии фрагментов файлов на своих компьютерах. Затем этот фрагмент передается другим узлам в сети по запросу. Пиры могли решать, оставаться в сети или нет, с Torrents, чем больше пир предоставлял сети, тем больше ему нравился процесс загрузки.

Много работы было потрачено на разработку DSN нового поколения, основанных на новых и существующих технологиях для обеспечения глобального децентрализованного распространения файлов, веб-сайтов, приложений и данных с малой задержкой.

Важные свойства распределенных систем хранения нового поколения.

Вот функции, которые отличают распределенные системы хранения нового поколения от DSN первого поколения:

• Экономические модели для стимулирования пользователей к обеспечению постоянства данных и участию.

• Механизм консенсуса для подтверждения хранения данных

• Высокая масштабируемость и надежность.

IPFS, Sia, SafeNetwork, Arweave, 0Chain, Storj, файловая система BitTorrent и Swarm являются яркими примерами DSN нового поколения. Многие из них имеют одни и те же базовые технологии, применяемые по-разному.

В следующем разделе я расскажу о технических концепциях, общих для большинства реализаций DSN.

Концепции децентрализованного хранения

Некоторые из базовых технологий включают Torrent, методы кодирования Erasure для обеспечения избыточности, Merkle DAG, распределенные хэш-таблицы, технологии блокчейн и механизмы консенсуса и т. д.

[Технический обзор DS — Алекс Моррис] (https://weteachblockchain.org/courses/decentralized-storage/2/technical_overview)

1. Разделение данных: фрагментация файла для хранения в сети на фрагменты данных. В некоторых DSN, например. Safenetwork и Storj, данные шифруются перед их разделением

1. Адресация содержимого. Как было сказано ранее, DSN хранит и извлекает данные на основе своего содержимого. Это достигается с помощью алгоритмов хеширования, ориентированных ациклических графов Меркла (DAG) и распределенных хеш-таблиц.

Адресуемые данные передаются через хеш-функцию для генерации CID. Хеш-функция является (а) детерминированной: одни и те же входные данные всегда возвращают один и тот же CID. (b) односторонняя функция – входные данные не могут быть получены из ее CID. (c) CID уникален, незначительное изменение данных приводит к другому CID.

Поскольку данные всегда сегментируются и распределяются между одноранговыми узлами, нам нужна структура данных, чтобы надежно связывать фрагменты данных вместе, а также представлять информацию о пути при загрузке папок.

1. Merkle DAG: граф — это структура данных, используемая для представления попарных отношений между объектами-узлами. Узел с потомками является корневым узлом, а узлы без потомков называются листовыми узлами.

Направленный граф: имеет представление о том, как связаны узлы — какой узел содержит какие узлы. например в папке есть файл; файл содержит данные, а не наоборот.

Ациклический граф: представляет собой однонаправленную парную связь между узлами, например. вы можете перемещаться только от родительского узла к дочернему узлу.

DAG Merkle используются для представления иерархических отношений. Поскольку CID уникален, DSN и другие системы, такие как Git, используют их для представления отношений между объектами с помощью Merkle DAG.

CID узла зависит от каждого из его потомков в DAG Merkle. Изменение содержимого потомка всплывает и приводит к изменению CID родителя. Эти характеристики позволяют нам надежно и проверяемо идентифицировать данные в сети без доверия.

Merkle DAG позволяет нам связывать фрагменты содержимого, файлы, папки и каталоги вместе и отслеживать версии или изменения в содержимом. CID файла будет состоять из CID фрагментов данных его содержимого. Затем пользователь может получить весь файл с CID файла.

CID раскрывает важную особенность постоянства DSN, поскольку записи CID сохраняются. Кроме того, мы можем выбрать получение подконтента из DAG с его CID и встроить его в другую более крупную DAG. Это позволяет выполнять дедупликацию, эффективно сохраняя данные, кодируя избыточные разделы в виде ссылок.

1. Широковещательная рассылка: фрагменты данных распределяются в сети для хранения одноранговыми узлами. Ни один одноранговый узел не хранит все данные, и данные реплицируются между одноранговыми узлами.

1. Поиск контента: DSN использует распределенные хеш-таблицы (DHT) для маршрутизации контента. DHT используется для сопоставления CID с одноранговыми узлами, у которых есть данные (записи провайдера), а также идентификаторов одноранговых узлов с адресом, по которому можно связаться с одноранговым узлом. Когда вы запрашиваете свой файл, узел в сети отправляет запрос своим одноранговым узлам, у которых, скорее всего, есть данные, основанные на поиске CID в DHT.

1. Кэширование: первый ответивший узел предоставляет данные. Затем данные сохраняются в кэше запрашивающего узла, и он может предоставить их по запросу. Узлы могут хранить интересующие их данные, они могут закрепить данные, чтобы сохранить их. Это относится к стимулированию

1. Поощрение: данные гарантированно сохраняются в DSN до тех пор, пока узел их хранит. Во избежание потери данных принимаются многочисленные меры, включая вознаграждение операторов узлов. Многие DSN имеют стимулы, основанные на теории игр, для поощрения участия и предотвращения злого умысла или небрежности. Поставщики хранилища заключают контракты на хранение с пользователями, которые платят токенами. Некоторые DSN, такие как Filecoin, имеют контракты на основе времени, в то время как Arweave и Safe имеют структуру разовых платежей. Большинство DSN имеют механизмы стимулирования на основе блокчейна.

1. Проверяемое сохранение содержимого: эти механизмы реализуются сетями для проверки того, что требования к хранению данных выполняются узлами, и обнаружения злонамеренного поведения одноранговых узлов. Это вероятностные задачи, которые с высокой степенью уверенности доказывают, что поставщик выполняет свое соглашение о хранении, хорошо себя ведет и не подвержен аппаратным сбоям.

Примерами таких данных являются Proof-of-space, Proof-of-access, Proof-of-Work, краткое Proof of Random Access и т. д.

DSN нового поколения

| | Описание | Стимулирование сохранения данных | Механизмы консенсуса и доказательства |

| Безопасная сеть | текущий проект DNS, направленный на создание постоянной, надежной и защищенной сети хранения данных. Многоуровневое шифрование данных для обеспечения максимальной безопасности | один раз при оплате токенов Safe Network. | [Подтверждение ресурса] (https://safenetwork.tech/faq/#what-is-proof-of-resource) (аналогично доказательству с нулевым разглашением) и старение узла |

| Сиа | DSN, в котором зашифрованные данные пользователей (также называемых арендаторами) хранятся по рыночной цене, определяемой поставщиками и арендаторами. Арендаторы сохраняют право собственности на свои сохраненные данные | Блокчейн Сиакойн | [Доказательство работы, доказательство хранения] (https://siastats.info/sia101) |

| ИПФС | один из наиболее широко используемых DNS со множеством приложений и абстракций, построенных поверх него. Для сохранения ваших данных в IPFS требуется служба закрепления, такая как Pinnata, или назначение собственного узла IPFS для закрепления. | Filecoin — это торговая площадка и система вознаграждений на основе блокчейна, созданная командой IPFS. | Filecoin использует Proof-of-Replication и Proof-of-Spacetime |

| Арткав | Arweave обеспечивает постоянное хранение, поддерживая данные устойчивыми и постоянными ресурсами, аналогичными традиционным экономическим ресурсам. | Жетон Arweave | [Краткие случайные доказательства доступа] (https://arweave.medium.com/the-arweave-network-is-now-running-succinct-random-proofs-of-access-spora-e2732cbcbb46) |

Случаи использования децентрализованных сетей хранения данных

DSN обладают большим потенциалом, и они облегчат новую итерацию Интернета, Веб 3.0. DSN станут основой более открытого, защищенного от цензуры, безопасного и ненадежного Интернета. Вот некоторые из наиболее популярных приложений DSN.

• Хранение данных в блокчейне обходится дорого, поэтому данные децентрализованных приложений (dApp), такие как данные регистрации пользователей, управление доступом и управление идентификацией, хранятся в децентрализованном хранилище.

• Хостинг веб-сайтов и приложений на DSN. Fleek.co предоставляет хостинг dApp, построенный поверх IPFS.

• Поставщики децентрализованных облачных хранилищ, такие как Storj, Filecoin и т. д., предоставляют доступное хранилище, конкурирующее с традиционным облачным хранилищем для предприятий и конечных пользователей. DSN стремятся предлагать более производительные, доступные и безопасные облачные решения для хранения данных. Стоимость хранения Storj составляет 11 долларов США за ТБ в месяц, а Sia заявляет, что цены в их сети обычно составляют около 2 долларов США за ТБ в месяц.

• В настоящее время узлам в сетях блокчейнов необходимо загружать весь блокчейн, чтобы иметь возможность майнить/валидировать блоки транзакций. В настоящее время предпринимаются усилия по использованию децентрализованного хранилища, позволяющего обмениваться данными блокчейна между узлами майнинга — Ethereum’s Swarm.

• Системы управления идентификационными записями хранят идентификационные данные пользователя в DSN. Реестр блокчейна связывает сохраненный идентификатор с пользователем, который можно найти для проверки личности. например uPort.

• Постоянство данных на таких платформах, как Arweave, обеспечит надежное доказательство существования данных в определенный момент времени и надежную архивную веб-систему.

• Самоаутентификация. Владение пользовательскими данными будет означать, что пользователи «подключают и воспроизводят» свои данные в приложениях, размещенных на DSN. Компании не смогут передавать/продавать пользовательские данные третьим лицам.

Проблемы с DSN

Многие решения для децентрализованного хранения все еще находятся в зачаточном состоянии. Многие исследования и инновации все еще ведутся, и может потребоваться несколько лет, чтобы обеспечить превосходные услуги для централизованных облачных решений.

• Некоторые DSN работают медленно по сравнению с централизованными облачными службами.

• Текущие предложения по хранению данных не так просты в использовании, как Dropbox, OneDrive и т. д. Они часто требуют некоторой технической настройки, которая может отпугнуть пользователя, не разбирающегося в технологиях.

• Проблемы непостоянства данных в предложениях DSN с контрактами на хранение на основе времени. Немногие, такие как Arweave и Safe-Network, гарантируют постоянство с разовыми платежами.

• Некоторые DSN, например. IPFS не обеспечивает готовое шифрование контента, данные хранятся в общедоступной сети хранения, к которой может обратиться любой, у кого есть CID. Это хорошо подходит для некоторых случаев использования, но вам, как пользователю, может потребоваться вручную выполнить шифрование при выборе этих категорий DSN.

• Многие DSN хранят данные в обмен на токены, основанные на технологии блокчейн. Волатильность цен на токены может означать непредсказуемые затраты на хранение, что может затруднить бюджетирование затрат на хранение. Возможно, мы можем ожидать, что рынок сам себя отрегулирует, а эффект масштаба приведет к снижению цен.

Вывод

DSN облегчают итерацию сети, которая становится более безопасной, постоянной, открытой и надежной. Эта новая итерация, веб 3.0, способствует совместному использованию вычислительных, информационных и экономических ресурсов. DSN — это основа, на которой строится будущая сеть.

DSN, которые будут процветать и набирать популярность, — это те, которые обеспечивают отказоустойчивое, высокодоступное хранилище, выгодное поставщикам хранилищ и конечным пользователям. Будет больше потребности в предсказуемой стоимости хранения в DSN, и мы, вероятно, станем свидетелями более широкого внедрения стабильных криптовалют в этих сетях. В ближайшие несколько лет будет больше проектов, которые абстрагируют технические детали от пользователей, так что решения DSN будут такими же бесшовными, как популярные сегодня облачные хранилища.

По мере того, как появляются инновации и все больше приложений создается на DSN, более подходящим термином будет децентрализованные вычисления. У децентрализованных сетей хранения так много потенциала и возможностей, что, возможно, вы или я создадим удивительный проект, который приблизит нас к этому будущему.

Я хотел бы услышать ваши мысли об аспектах децентрализованного хранения, которые вас больше всего волнуют. Какие новые варианты использования, преимущества и проблемы приходят на ум?

Хотите принять участие?

Arweave инвестирует до 100 тысяч долларов в ваши приложения Permaweb,

Вы можете внести свой вклад в IPFS,

Участвуйте в проектах SafeNetwork,

Storj предлагает бесплатное хранилище объемом 150 ГБ в месяц и

Проверьте NFT Storage для бесплатного хранилища NFT, созданного на IPFS и  Filecoin.

Ссылки и другие материалы

[Arweave] (https://www.arweave.org/)

Файловая система BitTorrent (BTFS) | Масштабируемое децентрализованное хранилище файлов

[Консенсус без блокчейна] (https://medium.com/safenetwork/consensus-without-a-blockchain-1dfda94aa435) Maidsafe

Децентрализованное хранилище | ethereum.org

Децентрализованное хранилище | weteachblockchain.org Weteachblockchain.org

[Распределенные хеш-таблицы] (https://docs.ipfs.io/concepts/dht) IPFS

[IPFS] (https://ipfs.io/)

[Технический документ IPFS] (https://ipfs.io/ipfs/QmR7GSQM93Cx5eAg6a6yRzNde1FQv7uL6X1o4k7zrJa3LX/ipfs.draft3.pdf) Хуан Бенет

[Учебник IPLD | DAG Merkle: структурирование данных для распределенной сети | ПротоШкола] (https://proto.school/merkle-dags)

[Учебник по мультиформатам | Анатомия CID | ПротоШкола] (https://proto.school/anatomy-of-a-cid)

SafeNetwork

Сиа

[Стордж] (https://www.storj.io/)

Рой

Значение децентрализации | Виталик Бутерин

[Сравнение 7 децентрализованных сетей хранения данных] (https://www.techtarget.com/searchstorage/tip/Comparing-4-decentralized-data-storage-offerings) | Роберт Шелдон, Брайен Поузи