9.7. Практический stack

                     ┌───────── edge ─────────┐
   клиент  ──────►   │         api            │
                     └───────────┬────────────┘
                                 │
   ┌───────────────── backend (internal) ─────────────────┐
   │                             │                        │
   │   migrate ──ворота──►  api, worker                   │
   │      │                      │       │                │
   │      ▼                      ▼       ▼                │
   │     db  ◄────────────────  db     cache              │
   │                                                      │
   │   нет маршрута наружу: ни обновлений, ни внешних API  │
   └──────────────────────────────────────────────────────┘

x-app-service: &app-service
  build:
    context: .
    target: runtime
  image: compose-stack:local
  # ...

services:
  api:
    <<: *app-service                                  # CMD из образа
  worker:
    <<: *app-service
    command: ["python", "-m", "worker.main"]
  migrate:
    <<: *app-service
    command: ["python", "/app/migrations/migrate.py"]

db (healthy) ──► migrate (завершился с 0) ──► api, worker
cache (healthy) ─────────────────────────────►

  migrate:
    depends_on:
      db:
        condition: service_healthy

  api:
    depends_on:
      migrate:
        condition: service_completed_successfully
      cache:
        condition: service_healthy

docker compose up -d                                       # разработка
docker compose -f compose.yaml -f compose.prod.yaml up -d   # production
docker compose --profile tools up -d                        # плюс отладка

  api:
    ports: !reset []        # иначе порты из override сложатся с этими
    volumes: !override []   # иначе bind mount кода останется

cd resources/examples/compose-stack
make up

создан secrets/db_password.txt
готово: .env и secrets/db_password.txt на месте
[+] Building 24.1s (18/18) FINISHED
[+] Running 8/8
 ✔ Network compose-stack_backend   Created
 ✔ Network compose-stack_edge      Created
 ✔ Volume compose-stack_db-data    Created
 ✔ Volume compose-stack_cache-data Created
 ✔ Container compose-stack-cache-1   Healthy
 ✔ Container compose-stack-db-1      Healthy
 ✔ Container compose-stack-migrate-1 Exited
 ✔ Container compose-stack-api-1     Started
 ✔ Container compose-stack-worker-1  Started
api: http://127.0.0.1:8000/

cd resources/examples/compose-stack
docker compose ps --format 'table {{.Service}}\t{{.Status}}\t{{.Ports}}'

SERVICE   STATUS                    PORTS
api       Up 40 seconds (healthy)   127.0.0.1:8000->8000/tcp
cache     Up 55 seconds (healthy)   127.0.0.1:6379->6379/tcp
db        Up 55 seconds (healthy)   127.0.0.1:5432->5432/tcp
migrate   Exited (0) 45 seconds ago 
worker    Up 40 seconds (healthy)   

docker network inspect compose-stack_backend --format '  internal: {{.Internal}}'
docker volume ls --filter label=com.docker.compose.project=compose-stack --format '  volume: {{.Name}}'

  internal: true
  volume: compose-stack_cache-data
  volume: compose-stack_db-data

cd resources/examples/compose-stack
docker compose logs migrate --no-log-prefix | python3 -c "
import json, sys
for line in sys.stdin:
    line = line.strip()
    if line.startswith('{'):
        r = json.loads(line)
        print(f\"  [{r['level']}] {r['message']}\")
"
docker inspect "$(docker compose ps -aq migrate)" --format '  код выхода: {{.State.ExitCode}}'

  [INFO] миграции: начало
  [INFO] миграции: применены, версия схемы 1
  код выхода: 0

docker compose exec -T db psql -U postgres -d appdb -c '\dt' 2>/dev/null | sed 's/^/  /'

              List of relations
   Schema |      Name      | Type  |  Owner   
  --------+----------------+-------+----------
   public | results        | table | postgres
   public | schema_version | table | postgres
  (2 rows)

cd resources/examples/compose-stack
echo "═══ ставим три задачи ═══"
for i in 1 2 3; do
    curl -s -X POST "http://127.0.0.1:8000/tasks?payload=задача-$i&duration=0.3" \
        | python3 -m json.tool --compact | sed 's/^/  /'
done

echo "═══ ждём обработки ═══"
sleep 6
curl -s "http://127.0.0.1:8000/results?limit=3" | python3 -c "
import json, sys
d = json.load(sys.stdin)
print(f\"  результатов: {d['count']}\")
for item in d['items']:
    print(f\"    {item['id']}  {item['payload']}\")
"

echo "═══ что делал worker ═══"
docker compose logs worker --no-log-prefix --tail 6 | python3 -c "
import json, sys
for line in sys.stdin:
    line = line.strip()
    if line.startswith('{'):
        print('  ' + json.loads(line)['message'])
"

═══ ставим три задачи ═══
  {"queued":1785412843104,"queue_length":1}
  {"queued":1785412843312,"queue_length":1}
  {"queued":1785412843521,"queue_length":2}
═══ ждём обработки ═══
  результатов: 3
    1785412843521  задача-3
    1785412843312  задача-2
    1785412843104  задача-1
═══ что делал worker ═══
  задача 1785412843104: начата
  задача 1785412843104: завершена
  задача 1785412843312: начата
  задача 1785412843312: завершена
  задача 1785412843521: начата
  задача 1785412843521: завершена

cd resources/examples/compose-stack
probe() {
    docker compose exec -T "$1" python - "$2" "$3" <<'PY' 2>/dev/null
import socket, sys
host, port = sys.argv[1], int(sys.argv[2])
s = socket.socket(); s.settimeout(3)
try:
    addr = socket.gethostbyname(host)
except socket.gaierror:
    print("  имя не разрешается"); sys.exit(0)
try:
    s.connect((addr, port)); print(f"  ok ({addr})")
except OSError as e:
    print(f"  {type(e).__name__}")
finally:
    s.close()
PY
}

echo "═══ сети сервисов ═══"
for s in api worker db cache; do
    printf '  %-7s %s\n' "$s" \
        "$(docker inspect "$(docker compose ps -q $s)" \
           --format '{{range $n, $v := .NetworkSettings.Networks}}{{$n}} {{end}}')"
done

echo "═══ доступность ═══"
printf '  api → db:     '; probe api db 5432 | tr -d '\n'; echo
printf '  api → cache:  '; probe api cache 6379 | tr -d '\n'; echo
printf '  worker → db:  '; probe worker db 5432 | tr -d '\n'; echo

echo "═══ выход наружу из backend ═══"
docker compose exec -T db sh -c 'ip route 2>/dev/null | grep -c "^default"' \
    | xargs printf '  маршрутов по умолчанию у db: %s\n'
docker compose exec -T api sh -c 'ip route 2>/dev/null | grep -c "^default"' \
    | xargs printf '  маршрутов по умолчанию у api: %s\n'

═══ сети сервисов ═══
  api     compose-stack_backend compose-stack_edge 
  worker  compose-stack_backend 
  db      compose-stack_backend 
  cache   compose-stack_backend 
═══ доступность ═══
  api → db:       ok (172.32.0.3)
  api → cache:    ok (172.32.0.2)
  worker → db:    ok (172.32.0.3)
═══ выход наружу из backend ═══
  маршрутов по умолчанию у db: 0
  маршрутов по умолчанию у api: 1

cd resources/examples/compose-stack
pw="$(cat secrets/db_password.txt)"

echo "═══ поиск пароля в переменных окружения ═══"
for s in api worker db; do
    n="$(docker inspect "$(docker compose ps -q $s)" --format '{{json .Config.Env}}' | grep -c "$pw" || true)"
    printf '  %-7s вхождений: %s\n' "$s" "$n"
done

echo "═══ что вместо него ═══"
docker inspect "$(docker compose ps -q api)" --format '{{range .Config.Env}}{{println .}}{{end}}' \
    | grep -i password | sed 's/^/  /'

echo "═══ где секрет на самом деле ═══"
docker compose exec -T api ls -l /run/secrets/ | tail -1 | sed 's/^/  /'
docker compose exec -T api sh -c 'wc -c < /run/secrets/db_password' \
    | xargs printf '  размер файла: %s байт\n'

═══ поиск пароля в переменных окружения ═══
  api     вхождений: 0
  worker  вхождений: 0
  db      вхождений: 0
═══ что вместо него ═══
  DB_PASSWORD_FILE=/run/secrets/db_password
═══ где секрет на самом деле ═══
  -rw-------    1 root     root            32 Jul 31 11:02 db_password
  размер файла: 32 байт

cd resources/examples/compose-stack
req() { curl -s -m 5 -o /dev/null -w '%{http_code}' "http://127.0.0.1:8000$1"; }

echo "═══ база работает ═══"
printf '  /healthz=%s /readyz=%s health=%s\n' \
    "$(req /healthz)" "$(req /readyz)" "$(docker compose ps --format '{{.Health}}' api)"
curl -s http://127.0.0.1:8000/readyz | python3 -m json.tool --compact | sed 's/^/  /'

echo "═══ останавливаем базу ═══"
docker compose stop db > /dev/null
sleep 20
printf '  /healthz=%s /readyz=%s health=%s\n' \
    "$(req /healthz)" "$(req /readyz)" "$(docker compose ps --format '{{.Health}}' api)"
curl -s http://127.0.0.1:8000/readyz | python3 -m json.tool --compact | sed 's/^/  /'

echo "═══ возвращаем базу ═══"
docker compose start db > /dev/null
for _ in $(seq 60); do [ "$(req /readyz)" = "200" ] && break; sleep 1; done
printf '  /readyz=%s (api не перезапускался)\n' "$(req /readyz)"

═══ база работает ═══
  /healthz=200 /readyz=200 health=healthy
  {"status":"ready","checks":{"app":"ok","db":"ok","cache":"ok"}}
═══ останавливаем базу ═══
  /healthz=200 /readyz=503 health=healthy
  {"status":"degraded","checks":{"app":"ok","db":"OperationalError","cache":"ok"}}
═══ возвращаем базу ═══
  /readyz=200 (api не перезапускался)

cd resources/examples/compose-stack
echo "═══ ставим долгую задачу ═══"
curl -s -X POST "http://127.0.0.1:8000/tasks?payload=долгая&duration=6" \
    | python3 -m json.tool --compact | sed 's/^/  /'
sleep 2

wid="$(docker compose ps -q worker)"
start="$(date +%s.%N)"
docker compose stop worker > /dev/null
end="$(date +%s.%N)"

printf '  время остановки: %.1f c\n' "$(awk -v a="$start" -v b="$end" 'BEGIN{print b-a}')"
printf '  код выхода: %s\n' "$(docker inspect "$wid" --format '{{.State.ExitCode}}')"
docker compose logs worker --no-log-prefix --tail 5 | python3 -c "
import json, sys
for line in sys.stdin:
    line = line.strip()
    if line.startswith('{'):
        print('  ' + json.loads(line)['message'])
"
docker compose start worker > /dev/null

═══ ставим долгую задачу ═══
  {"queued":1785412901447,"queue_length":1}
  время остановки: 4.2 c
  код выхода: 0
  задача 1785412901447: начата
  получен SIGTERM — завершаю после текущей задачи
  задача 1785412901447: завершена
  остановлен штатно, обработано задач: 1

cd resources/examples/compose-stack
summary() {
    printf '\n  %s\n' "$1"; shift
    "$@" config 2>/dev/null | python3 -c "
import sys, yaml
class L(yaml.SafeLoader): pass
L.add_multi_constructor('!', lambda l, s, n:
    l.construct_scalar(n) if isinstance(n, yaml.ScalarNode)
    else (l.construct_sequence(n) if isinstance(n, yaml.SequenceNode)
          else l.construct_mapping(n)))
cfg = yaml.load(sys.stdin, Loader=L)
print('    сервисы:', ' '.join(sorted(cfg['services'])))
for name in ('api', 'worker'):
    s = cfg['services'][name]
    ports = [str(p.get('published')) for p in s.get('ports') or []]
    vols = len(s.get('volumes') or [])
    dep = s.get('deploy') or {}
    lim = (dep.get('resources') or {}).get('limits') or {}
    print(f\"    {name:<7} LOG={s['environment'].get('LOG_LEVEL'):<8} \"
          f\"ports={ports or '[]'} vols={vols} \"
          f\"repl={dep.get('replicas', '—')} ro={s.get('read_only', False)} \"
          f\"mem={lim.get('memory', '—')}\")
"
}

echo "═══ сравнение окружений ═══"
summary "разработка (compose.yaml + override):" docker compose
summary "production (-f compose.yaml -f compose.prod.yaml):" \
    docker compose -f compose.yaml -f compose.prod.yaml
summary "разработка + профиль tools:" docker compose --profile tools

═══ сравнение окружений ═══

  разработка (compose.yaml + override):
    сервисы: api cache db migrate worker
    api     LOG=DEBUG   ports=['8000'] vols=3 repl=— ro=False mem=512M
    worker  LOG=DEBUG   ports=[] vols=2 repl=— ro=False mem=256M

  production (-f compose.yaml -f compose.prod.yaml):
    сервисы: api cache db migrate worker
    api     LOG=WARNING ports=[] vols=0 repl=2 ro=True mem=512M
    worker  LOG=WARNING ports=[] vols=0 repl=2 ro=True mem=256M

  разработка + профиль tools:
    сервисы: api cache db migrate tools worker
    api     LOG=DEBUG   ports=['8000'] vols=3 repl=— ro=False mem=512M
    worker  LOG=DEBUG   ports=[] vols=2 repl=— ro=False mem=256M

cd resources/examples/compose-stack
./check.sh
echo "КОД: $?"

═══ Запуск ═══
  SERVICE   STATUS
  api       Up 12 seconds (healthy)
  cache     Up 28 seconds (healthy)
  db        Up 28 seconds (healthy)
  migrate   Exited (0) 18 seconds ago
  worker    Up 12 seconds (healthy)

═══ 1. Миграции выполнились до старта приложения ═══
    код migrate: 0
    "message": "миграции: начало"
    "message": "миграции: применены, версия схемы 1"
  ✓ migrate завершился успешно

═══ 2. Изоляция сетей ═══
    сети сервисов:
      api     compose-stack_backend compose-stack_edge 
      worker  compose-stack_backend 
      db      compose-stack_backend 
      cache   compose-stack_backend 
  ✓ api → db
  ✓ worker → db
  ✓ api → cache
  ✓ backend изолирована (internal)
  ✓ у db нет маршрута наружу

═══ 3. Пароль не утекает в метаданные ═══
    вхождений пароля в docker inspect: 0
  ✓ пароля нет в переменных окружения
    -rw-------    1 root     root            32 Jul 31 11:14 db_password

═══ 4. Приложение работает ═══
    /healthz → 200
    /readyz  → 200
  ✓ обе пробы отвечают

═══ 5. Очередь: api ставит задачу, worker обрабатывает ═══
    результатов в базе: 0 → 3
  ✓ worker обработал задачи и записал в базу

═══ 6. Liveness не зависит от базы ═══
    база остановлена: /healthz=200 /readyz=503 health=healthy
  ✓ api остался healthy — каскадного отказа нет
  ✓ readiness честно сообщает о деградации
    база возвращена: /readyz=200
  ✓ работа восстановилась без перезапуска api

═══ 7. Graceful shutdown worker'а ═══
    остановка заняла 3.4 c, код выхода 0
    "message": "остановлен штатно, обработано задач: 1"
  ✓ worker завершился штатно, а не по SIGKILL

═══ 8. Production-конфигурация отличается правильно ═══
    api в production: ports=0 volumes=0 replicas=2 read_only=True
  ✓ публикация снята тегом !reset
  ✓ bind mount убран тегом !override
  ✓ реплики и read-only заданы

═══ 9. Профиль tools не активен по умолчанию ═══
    по умолчанию: api cache db migrate worker 
  ✓ tools не запускается по умолчанию
  ✓ профиль включает tools

═══ ИТОГ ═══
  все проверки пройдены
КОД: 0

cd resources/examples/compose-stack
make clean
docker volume ls --filter label=com.docker.compose.project=compose-stack --format '{{.Name}}' | wc -l \
    | xargs printf '  volumes осталось: %s\n'

  volumes осталось: 0

cd resources/examples/compose-stack
make up
sleep 5
curl -s localhost:8000/readyz | python3 -m json.tool --compact
curl -s -X POST "localhost:8000/tasks?payload=проверка&duration=0.2" > /dev/null
sleep 4
curl -s localhost:8000/results?limit=1 | python3 -m json.tool --compact
make clean