Экспорт вашего кластера GKE в Terraform Cloud: руководство с проблемами и решениями

Всем привет. В этой статье я расскажу о нашем пути в ANNA Money от использования нашей установки Kubernetes в GCP до управляемого сервиса Kubernetes от Google и GKE. Первоначально мы перенесли наши тестовые среды через веб-консоль GCP, что было легко, но не воспроизводимо. Перед переносом нашей производственной среды мы осознали важность следования принципу IaC Infrastructure-as-Code и документирования нашей настройки с помощью кода.

Нам нужно было решить следующие проблемы:

1. Было обеспечено, чтобы существующий кластер GKE не был сломан или отключен во время процесса.
2. Создание точной копии кластера идемпотентным способом, который можно было бы легко повторить.

Доступны следующие варианты: использовать модуль Ansible или Terraform для описания кластера.

Выбор основывался на личных предпочтениях, и Terraform был выбран по двум причинам:

1. Использование Terraform Cloud для управления различными средами;
2. Инструмент Terraform CLI, который позволяет экспортировать существующие конфигурации GCP в файлы Terraform (включая не только GKE, но и сети, DNS и другие).

Первоначально конфигурация тестового кластера GKE была экспортирована с помощью Terraformer с помощью следующей простой команды:

terraformer import google --resources=gke --connect=true --regions=${REGION_GKE_CLUSTER} --projects=${PROJECT_ID}

По умолчанию интерфейс командной строки Terraformer создает папки для каждой экспортируемой службы по пути /generated/{provider}/{service}. Однако у вас есть возможность изменить структуру файлов с помощью параметров командной строки или переместить файлы в другое место.

==Если вы новичок в Terraform, вам необходимо загрузить соответствующий подключаемый модуль для вашего провайдера и поместить его в нужное место:==

$HOME/.terraform.d/plugins/darwin_amd64

После импорта мы должны получить такую ​​структуру файлов и папок:

terraform
└── test
    ├── backend.tf
    ├── container_cluster.tf
    ├── container_node_pool.tf
    ├── output.tf
    └── provider.tf

После процесса экспорта использовалась локальная серверная часть, и был создан файл terraform.tfstate для хранения текущего состояния кластера GKE. Спецификации кластера хранились в файле container_cluster.tf, а информация о пуле узлов — в файле container_node_pool.tf.

Для локальной проверки экспортированной конфигурации использовалась команда terraform plan, а с помощью команды apply были внесены небольшие изменения, которые были успешно реализованы. Поскольку проблем не возникло, конфигурация была запущена в облаке с помощью веб-консоли Terraform Cloud. Создано новое рабочее пространство, а экспортированная конфигурация связана с репозиторием GitHub.

Рабочие пространства полезны для организации инфраструктуры, подобно конфигурациям сборки в CI. Они содержат конфигурацию Terraform, значения переменных, секреты, историю выполнения и информацию о состоянии.

Мы обновили файл provider.tf, чтобы передавать переменные секретов через движок Terraform Cloud, и добавили секреты в рабочую область:

variable "google_service_account" {}

terraform {
  required_providers {
    google = {
      source      = "hashicorp/google"
      version     = ">=4.51.0"
    }
  }
}

provider "google" {
  project     = "{{YOUR GCP PROJECT}}"
  credentials = "${var.google_service_account}"
  region      = "us-central1"
  zone        = "us-central1-c"
}

К сожалению, произошла случайная утечка конфиденциальных данных, когда код был отправлен в целевой репозиторий в папке ./gke/test. Утечка была обнаружена в файле состояния Terraform, где свойство master_auth.0.cluster_ca_certificate содержало закодированный сертификат. Чтобы решить эту проблему, файл состояния был удален, была сделана принудительная отправка, и в будущем были предприняты дополнительные меры предосторожности.

Новая проблема возникла после удаления файла состояния. Terraform Cloud разработал план воссоздания существующего кластера, вместо того, чтобы признать его существование. Это показало, что простого переноса существующей конфигурации в облако недостаточно, и сначала необходимо перенести серверную часть.

Чтобы выполнить миграцию, были предприняты следующие шаги:

1. Создайте токен пользователя API;
2. Создайте файл ./terraformrc в домашнем каталоге пользователя и заполните его следующим образом.

javascript учетные данные "app.terraform.io" { токен = "{{ токен }}" 3. Измените конфигурацию серверной части с локальной на удаленную.

javascript терраформировать { бэкэнд "удаленный" { имя хоста = "app.terraform.io" организация = {{ORG_NAME_IN_TERRAFORM_CLOUD }} рабочие области { имя = "gke-тест" } } 4. И запустите команду terraform init, чтобы передать состояние в облако.

Plan: 0 to add, 0 to change, 0 to destroy.

+ min_master_version      = "1.24.8-gke.401"

Error: error creating NodePool: googleapi: Error 409: Already exists

on container_node_pool.tf line 1, in resource "google_container_node_pool" "anna-prod_default-pool":
   1: resource "google_container_node_pool" "anna-prod_default-pool" {

# We can't create a cluster with no node pool defined, 
# but we want to only use
# separately managed node pools. 
# So we create the smallest possible default
# node pool and immediately delete it.
remove_default_node_pool = true
initial_node_count = 1