Переход на инфраструктуру, готовую к использованию искусственного интеллекта: с Hitachi Content Platform на MinIO
cloud kubernetes good-company data-storage minio minio-blog hitachi minio-hitachi-content-platform hcp-to-minio

Переход на инфраструктуру, готовую к использованию искусственного интеллекта: с Hitachi Content Platform на MinIO

3 сентября 2024 г.

Переход с Hitachi Content Platform (HCP) на MinIO никогда не был таким простым, благодаря нашему инструменту HCP-to-MinIO. Разработанный для поддержки меняющихся потребностей наших клиентов в хранении, этот инструмент доступен бесплатно наGitHubи значительно упрощает процесс миграции. Многие организации переходят на использование современного, масштабируемого и высокопроизводительного объектного хранилища MinIO, оптимизированного для инфраструктуры ИИ. Это руководство содержит всеобъемлющее пошаговое руководство для обеспечения плавного и эффективного перехода на MinIO.

Зачем переходить на MinIO?

Клиенты часто переходят с HCP на MinIO по нескольким веским причинам, особенно при оптимизации для приложений на базе ИИ:

  1. Современные требования к приложениям: MinIO — это платформа Kubernetes, созданная для облачной операционной модели, что означает, что она изначально поддерживает большинство современных стеков приложений для аналитики, статистического анализа и рабочих нагрузок AI/ML.

  2. Производительность в масштабе: MinIO эффективно обрабатывает объекты разных размеров — от очень маленьких до очень больших, обеспечивая оптимальную производительность для операций ИИ с большими объемами данных.

  3. Гибкость: Программно-определяемое, совместимое с S3 объектное хранилище обеспечивает большую гибкость и независимость от облака по сравнению со специализированными устройствами хранения.

Процесс миграции HCP-to-MinIO

Во время миграции рекомендуется писать исключительно в MinIO, а не в HCP. Такой подход гарантирует, что вы начнете так, как планируете: используя MinIO в качестве основного хранилища объектов. Вот процесс:

  1. Начальные операции чтения: Во время миграции,getobjectВызовы направляются в MinIO. Если объект не найден, он считывается из HCP. После копирования всех объектов этот резерв можно удалить.

  2. Сохранение метаданных: Инструмент сохраняет измененные временные метки объектов во время миграции.

Шаг 1: Создайте временный каталог

После загрузки инструмента HCP-to-MinIO первым шагом будет создание временного каталога для результатов команды list на шаге 2:

$ mkdir /tmp/data

Далее задайте следующие переменные среды:

$ export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key>
$ export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key>
$ export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000
$ export MINIO_BUCKET=newbucket  # optional, if unspecified HCP bucket name is used

Шаг 2: Перечисление объектов в HCP

ThelistКоманда генерирует список объектов, хранящихся в HCP, и сохраняет его в локальном файле. Этот файл можно разделить на более мелкие списки и обрабатывать параллельно несколькими клиентскими машинами для ускорения миграции.

Вот команда:

hcp-to-minio list --auth-token --namespace-url --host-header --namespace-url --dir

И пример того, как это может выглядеть:

$ hcp-to-minio list --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"

Шаг 3: Перенос объектов в MinIO

ThemigrateКоманда использует список, сгенерированный на первом шаге, для передачи объектов из HCP в MinIO.

Команда:

hcp-to-minio migrate --namespace-url --auth-token --host-header --data-dir --bucket --input-file

Пример:

$ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt

Начать

Инструмент HCP-to-MinIO разработан, чтобы помочь вам перейти на современное масштабируемое решение для хранения объектов. Загрузите инструмент сGitHubи начните миграцию сегодня. По любым вопросам или для получения дополнительной поддержки свяжитесь с нами по адресу hello@min.io.

Оригинал

Recent Post

Categories

PREVIOUS ARTICLE
NEXT ARTICLE