Задача - создавать выделенные окружения ECS для каждого приложения. Выделенные имеется ввиду что каждое приложение это полностью свою структура на базе выделенной VPC и иже с ней. И что самое забавное, адреса VPC должны быть уникальны, то есть не допускается перекрытие VPC CIDR.
Не сложно, казалось бы сделать первую часть, просто используя terraform workspace. А вот со второй задачей было интересно.
Алгоритм я кодил такой - делаем запрос в регион по тэгам на наличие каких-то уже живых VPC и если они есть - получаю их cidr_block. Рядом делаю массив с помощью утилитки prips, который содержит все возможные VPC CIDR для моих приложений. далее удаляю из этого массива со всеми возможными CIDR те, что уже заняты (созданные ранее, живые) и первый минимальный CIDR - мой кандидат. Чуть более подробнее:
у меня выбрался один большой блок для DEV-env = 10.69.64.0/19
для экономии адресов было решено, что достаточно будет иметь для каждого приложения VPC CIDR класса /26, что дает возможность (AWS тут ограничивает минимальным /28) создать до 4-х подсетей в такой vpc класса /28), а это либо пара пар private-public, либо до 4-х private или public subnets. так же этот алгоритм позволяет переиспользовать освободившиеся VPC CIDR а не расти вверх до упора.
Идеи под реализации были такие:
1. использовать null_resource + local_file. То есть вызывается null_resource, который запускает шел-код, которому передаются переменные окружения из текущего состояния Terraform (CIDR, WORKSPACE и так далее). далее на выходе этого скрипта - первый свободный CIDR из нашего большого 10.69.64.0/19. И все было бы хорошо, но я не смог переубедить терраформ не убивать каждый раз то что он создал. Это потому что null_resource + local_file - это динамические объекты и они каждый раз при новом запуске не известны. Ни какие триггеры не помогли мне в этом.
вариант 2 оказался рабочий и даже мне понравился больше
2. Я нашел, что в 12-м терраформе есть data-source тип external (
https://www.terraform.io/docs/providers/external/data_source.html). Вот на его базе это и получилось реализовать так как мне нужно было для решения задачи. Я покажу ключевые элементы что бы было понятно:
variable.tf:
-------------------------------------
data "external" "
app-cidr" {
program = ["${path.module}/getFirstFreeVpcCidr.sh"]
query = {
PRIPS = "${path.module}/prips"
VPC_CIDR_FULL = "${lookup(var.vpc-cidr, var.env)}"
APP_CIDR_MASK = "${lookup(var.app-vpc-mask, var.env)}"
REGION = "${var.region}"
STAGE_ENV = "${var.env}"
WORKSPACE_NAME = terraform.workspace
}
}
--------------------------------------
здесь я указываю где лежит скрипт, который реализует логику. Тут особенность этого data-source в том, что ему на вход нужен JSON и выдавать он должен JSON. Переменные окружения передаем в блоке query {} а в скрипте эти переменные придется преобразовать
Вот весь скрипт:
-------------------------
#!/bin/bash
set -e
eval "$(jq -r '@sh "PRIPS=\(.PRIPS) VPC_CIDR_FULL=\(.VPC_CIDR_FULL) APP_CIDR_MASK=\(.APP_CIDR_MASK) REGION=\(.REGION) STAGE_ENV=\(.STAGE_ENV) WORKSPACE_NAME=\(.WORKSPACE_NAME)"')"
[[ -z "${PRIPS}" ]] && exit 1
[[ -z "${VPC_CIDR_FULL}" ]] && exit 1
[[ -z "${APP_CIDR_MASK}" ]] && exit 1
[[ -z "${REGION}" ]] && exit 1
[[ -z "${STAGE_ENV}" ]] && exit 1
declare -a VPC_CIDR_CURR
## check for exists vpc. If exists return current CIDR-block
VPC_CIDR_CURR=($(aws ec2 describe-vpcs --filters "Name=tag-key,Values=Environment" "Name=tag-value,Values=${WORKSPACE_NAME}-vpc" --region=${REGION} --query "Vpcs[*].CidrBlock" --output text))
if [ -z ${VPC_CIDR_CURR} ]; then
VPC_CIDR_CURR=($(aws ec2 describe-vpcs --filters "Name=tag-key,Values=Environment" "Name=tag-value,Values=*-${STAGE_ENV}-vpc" --region=${REGION} --query "Vpcs[*].CidrBlock" --output text))
#for test purpose: add element to array
#VPC_CIDR_CURR=("${VPC_CIDR_CURR[@]}" "10.69.64.0/27")
declare -a ALL_AVAIL_SUBNETS
### prips -i
### The offset is a value of adresses into app-vpc
APP_CIDR="$( echo ${VPC_CIDR_FULL}|cut -d/ -f-1 )${APP_CIDR_MASK}"
COUNT_IPS_INTO_APP_CIDR=$( ${PRIPS} ${APP_CIDR}|wc -l )
#echo "Count - $COUNT_IPS_INTO_APP_CIDR"
ALL_AVAIL_SUBNETS=($( ${PRIPS} -i ${COUNT_IPS_INTO_APP_CIDR} ${VPC_CIDR_FULL} ))
for i in ${VPC_CIDR_CURR[@]}
do
l=$(echo $i|cut -d/ -f-1)
ALL_AVAIL_SUBNETS=( ${ALL_AVAIL_SUBNETS[@]/$l/} )
done
FIRST_FREE_CIDR=${ALL_AVAIL_SUBNETS[@]:0:1}
APP_CIDR="${FIRST_FREE_CIDR}${APP_CIDR_MASK}"
else
APP_CIDR=${VPC_CIDR_CURR}
fi
echo "${APP_CIDR}" >> $LOG
jq -n --arg APP_CIDR "${APP_CIDR}" '{"app-cidr":$APP_CIDR}'
---------------------------------
Здесь я получаю переменные окружения из query{} блока. Преобразую их в башевские для работы. далее проверяю, есть ли уже vpc с таким именем как текущий workspace. Если есть, то выдаю его CIDR. Именно это не дает терраформу убить то что было создано уже.
Если такой vpc еще нет, то вычисляем первый свободный блок и отдаем его JSON-м.
теперь терраформ знает нужный ему CIDR. У меня модульный сценарий и есть другие, заранее оговоренные CIDR для предопределенных окружений (dev/stage/prod). Что бы оставить их рабочими я добавляю наш только что вычисленный CIDR в переменную типа MAP:
variable "vpc-cidr" {
type = map
default = {
dev = "10.69.0.0/19"
staging = "10.69.64.0/19"
prod = "10.69.128.0/19"
}
}
locals {
vpc-cidr = merge(var.vpc-cidr,{"${terraform.workspace}" = "${data.external.app-cidr.result.app-cidr}"})
vpcCidr = lookup(local.vpc-cidr, terraform.workspace)
}
## UPDATE after release 0.12.7 (fixed lookup error)
locals {
vpcCidr = lookup(var.vpc-cidr, terraform.workspace, data.external.app-cidr.result.app-cidr)
}
и далее в модуле уже применяю как обычно:
resource "aws_vpc" "vpc" {
cidr_block =
local.vpcCidr
enable_dns_support = true
enable_dns_hostnames = true
tags = {
Name = "${terraform.workspace}-vpc"
Environment = terraform.workspace
}
}
