10.5. Автоматизация

docker compose -f compose.yaml -f compose.test.yaml run --rm \
    -e PYTHONPATH=/app --no-deps tests pytest -q --cov=app tests/

broken:
	cd build          # этот cd не действует на следующую строку
	./run.sh

works:
	cd build && ./run.sh

.PHONY: test build clean

# pyproject.toml — единственный источник
[tool.ruff]
line-length = 100
target-version = "py313"

[tool.ruff.lint]
select = ["E", "F", "I", "UP", "B"]

[tool.mypy]
python_version = "3.13"
strict = true

[tool.pytest.ini_options]
testpaths = ["tests"]
addopts = "-q --strict-markers"

# .pre-commit-config.yaml
repos:
  - repo: https://github.com/astral-sh/ruff-pre-commit
    rev: v0.16.0
    hooks:
      - id: ruff
        args: [--fix]
      - id: ruff-format

  - repo: local
    hooks:
      - id: mypy-in-docker
        name: mypy (в container)
        entry: docker compose run --rm --no-deps tools mypy app
        language: system
        pass_filenames: false
        types: [python]

help:  ## показать доступные команды
	@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) \
		| awk 'BEGIN {FS = ":.*?## "}; {printf "  \033[36m%-16s\033[0m %s\n", $$1, $$2}'

[Makefile]
indent_style = tab

make: 'test' is up to date.

mkdir -p /tmp/autom/app /tmp/autom/tests /tmp/autom/scripts && cd /tmp/autom

cat > app/__init__.py <<'PY'
"""Приложение для демонстрации автоматизации."""
PY

cat > app/calc.py <<'PY'
"""Модуль с намеренными нарушениями стиля и типов."""
from __future__ import annotations


def add(a: int, b: int) -> int:
    return a + b


def divide(a: float, b: float) -> float:
    if b == 0:
        raise ZeroDivisionError("деление на ноль")
    return a / b
PY

cat > tests/test_calc.py <<'PY'
import pytest

from app.calc import add, divide


def test_add():
    assert add(2, 3) == 5


def test_divide():
    assert divide(10, 4) == 2.5


def test_divide_by_zero():
    with pytest.raises(ZeroDivisionError):
        divide(1, 0)
PY

cat > pyproject.toml <<'EOF'
[project]
name = "autom"
version = "0.1.0"
requires-python = ">=3.13"

# ── Единый источник правды для всех инструментов ──

[tool.ruff]
line-length = 100
target-version = "py313"

[tool.ruff.lint]
select = ["E", "F", "I", "UP", "B"]

[tool.mypy]
python_version = "3.13"
strict = true
files = ["app"]

[tool.pytest.ini_options]
testpaths = ["tests"]
addopts = "-q --strict-markers"

[tool.coverage.run]
source = ["app"]
branch = true

[tool.coverage.report]
show_missing = true
fail_under = 80
EOF

cat > requirements.txt <<'EOF'
click==8.3.0
EOF

cat > requirements-dev.txt <<'EOF'
-r requirements.txt
pytest==9.1.1
pytest-cov==7.1.0
ruff==0.16.0
mypy==1.19.1
EOF

cat > Dockerfile <<'EOF'
# syntax=docker/dockerfile:1
FROM python:3.13-slim AS base
ENV PYTHONUNBUFFERED=1 PYTHONDONTWRITEBYTECODE=1 PATH="/opt/venv/bin:$PATH"
RUN python -m venv /opt/venv
WORKDIR /app

FROM base AS builder
COPY requirements.txt .
RUN --mount=type=cache,target=/root/.cache/pip pip install -r requirements.txt

FROM builder AS dev
ARG UID=1000
ARG GID=1000
COPY requirements-dev.txt .
RUN --mount=type=cache,target=/root/.cache/pip pip install -r requirements-dev.txt
RUN groupadd -g ${GID} dev 2>/dev/null || true; \
    useradd -u ${UID} -g ${GID} -m -d /home/dev dev 2>/dev/null || true; \
    mkdir -p /home/dev && chown -R ${UID}:${GID} /home/dev /app
ENV HOME=/home/dev
USER ${UID}:${GID}
CMD ["python", "-m", "app.calc"]

FROM base AS runtime
RUN useradd --create-home --uid 10001 appuser
COPY --from=builder --chown=10001:10001 /opt/venv /opt/venv
COPY --chown=10001:10001 app/ ./app/
USER 10001:10001
CMD ["python", "-m", "app.calc"]
EOF

cat > compose.yaml <<'EOF'
name: autom

services:
  tools:
    build:
      context: .
      target: dev
      args:
        UID: "${UID:-1000}"
        GID: "${GID:-1000}"
    image: autom:dev
    working_dir: /app
    volumes:
      # Монтируем то, что инструменты читают и правят
      - ./app:/app/app
      - ./tests:/app/tests
      - ./pyproject.toml:/app/pyproject.toml:ro
    environment:
      PYTHONPATH: /app
    profiles: [tools]
EOF

printf 'UID=%s\nGID=%s\n' "$(id -u)" "$(id -g)" > .env

# Табуляция в Makefile обязательна — используем printf с \t
cat > Makefile <<'MAKEFILE'
# Автоматизация контейнеризованного проекта.
# Все цели вызывают одни и те же команды, что и CI.

.DEFAULT_GOAL := help
.PHONY: help build up down logs test lint format typecheck check clean shell

COMPOSE       := docker compose
TOOLS         := $(COMPOSE) --profile tools run --rm --no-deps tools
IMAGE         := autom

help:  ## показать доступные команды
	@grep -E '^[a-zA-Z_-]+:.*?## .*$$' $(MAKEFILE_LIST) \
		| awk 'BEGIN {FS = ":.*?## "}; {printf "  %-12s %s\n", $$1, $$2}'

build:  ## собрать образы
	$(COMPOSE) --profile tools build

lint:  ## проверить стиль (ruff)
	$(TOOLS) ruff check app tests

format:  ## отформатировать код (ruff format)
	$(TOOLS) ruff format app tests

typecheck:  ## проверить типы (mypy)
	$(TOOLS) mypy app

test:  ## прогнать тесты с покрытием
	$(TOOLS) pytest --cov=app --cov-report=term-missing

check: lint typecheck test  ## все проверки: то же, что делает CI

shell:  ## оболочка внутри dev-образа
	$(TOOLS) bash

clean:  ## удалить container'ы, volumes и кэш инструментов
	$(COMPOSE) --profile tools down -v --remove-orphans
	rm -rf .pytest_cache .ruff_cache .mypy_cache .coverage
MAKEFILE

echo "═══ make help ═══"
make help

═══ make help ═══
  help         показать доступные команды
  build        собрать образы
  lint         проверить стиль (ruff)
  format       отформатировать код (ruff format)
  typecheck    проверить типы (mypy)
  test         прогнать тесты с покрытием
  check        все проверки: то же, что делает CI
  shell        оболочка внутри dev-образа
  clean        удалить container'ы, volumes и кэш инструментов

cd /tmp/autom
make build > /dev/null 2>&1

echo "═══ make lint ═══"
make lint 2>&1 | tail -3 | sed 's/^/  /'

echo "═══ make typecheck ═══"
make typecheck 2>&1 | tail -3 | sed 's/^/  /'

echo "═══ make test ═══"
make test 2>&1 | tail -8 | sed 's/^/  /'

═══ make lint ═══
  All checks passed!
═══ make typecheck ═══
  Success: no issues found in 2 source files
═══ make test ═══
  ...                                                              [100%]
  Name              Stmts   Miss Branch BrPart  Cover   Missing
  ---------------------------------------------------------------
  app/__init__.py       0      0      0      0   100%
  app/calc.py           6      0      2      0   100%
  ---------------------------------------------------------------
  TOTAL                 6      0      2      0   100%
  Required test coverage of 80% reached.
  3 passed in 0.06s

cd /tmp/autom
echo "═══ вносим нарушения ═══"
cat > app/broken.py <<'PY'
import os,sys
def  f(x):
    unused = 1
    return x+1
PY

echo "  ruff:"
make lint 2>&1 | grep -E '^app/|Found' | head -6 | sed 's/^/    /'

echo "  mypy:"
make typecheck 2>&1 | grep -E 'error|Found' | head -4 | sed 's/^/    /'

echo "═══ ruff format исправляет часть автоматически ═══"
make format 2>&1 | tail -2 | sed 's/^/  /'
echo "  после format:"
cat app/broken.py | sed 's/^/    /'

═══ вносим нарушения ═══
  ruff:
    app/broken.py:1:1: I001 [*] Import block is un-sorted or un-formatted
    app/broken.py:1:8: F401 [*] `os` imported but unused
    app/broken.py:1:11: F401 [*] `sys` imported but unused
    app/broken.py:3:5: F841 Local variable `unused` is assigned to but never used
    Found 4 errors.
  mypy:
    app/broken.py:2: error: Function is missing a type annotation  [no-untyped-def]
    Found 1 error in 1 file (checked 3 source files)
═══ ruff format исправляет часть автоматически ═══
  2 files reformatted, 1 file left unchanged
  после format:
    import os, sys
    
    
    def f(x):
        unused = 1
        return x + 1

cd /tmp/autom
echo "═══ владелец файла до и после форматирования ═══"
printf '  до:    %s\n' "$(stat -c '%u:%g' app/broken.py)"
make format > /dev/null 2>&1
printf '  после: %s\n' "$(stat -c '%u:%g' app/broken.py)"
printf '  ваш UID:GID: %s:%s\n' "$(id -u)" "$(id -g)"
rm -f app/broken.py && echo "  удалён без sudo"

═══ владелец файла до и после форматирования ═══
  до:    1000:1000
  после: 1000:1000
  ваш UID:GID: 1000:1000
  удалён без sudo

cd /tmp/autom
mkdir -p demo && cd demo

printf 'broken-cd:\n\tcd /tmp\n\tpwd\n\nworking-cd:\n\tcd /tmp && pwd\n\nvar-wrong:\n\t@echo "HOME из shell: $HOME"\n\nvar-right:\n\t@echo "HOME из shell: $$HOME"\n\n.PHONY: broken-cd working-cd var-wrong var-right\n' > Makefile

echo "═══ каждая строка — отдельный shell ═══"
printf '  broken-cd:  '; make -s broken-cd
printf '  working-cd: '; make -s working-cd

echo "═══ переменные shell требуют \$\$ ═══"
make -s var-wrong | sed 's/^/  /'
make -s var-right | sed 's/^/  /'

echo "═══ цель без .PHONY при существующем файле ═══"
cd /tmp/autom/demo
printf 'test:\n\t@echo "цель выполнена"\n' > Makefile2
touch test
make -f Makefile2 test 2>&1 | sed 's/^/  без .PHONY: /'
printf '.PHONY: test\ntest:\n\t@echo "цель выполнена"\n' > Makefile3
make -f Makefile3 test 2>&1 | sed 's/^/  с .PHONY:   /'
cd /tmp/autom && rm -rf demo

═══ каждая строка — отдельный shell ═══
  broken-cd:  /tmp/autom/demo
  working-cd: /tmp
═══ переменные shell требуют $$ ═══
  HOME из shell: OME
  HOME из shell: /home/пользователь
═══ цель без .PHONY при существующем файле ═══
  без .PHONY: make: 'test' is up to date.
  с .PHONY:   цель выполнена

cd /tmp/autom
mkdir -p .github/workflows
cat > .github/workflows/ci.yaml <<'EOF'
name: CI

on: [push, pull_request]

jobs:
  check:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4

      - name: Собрать образы
        run: make build

      # Ровно та же цель, что запускает разработчик локально
      - name: Проверки
        run: make check
EOF

echo "═══ что выполнит CI ═══"
grep -A1 'name: Проверки' .github/workflows/ci.yaml | tail -1 | sed 's/^/  /'

echo "═══ что выполнит разработчик ═══"
echo "  make check"

echo "═══ из чего состоит check ═══"
grep '^check:' Makefile | sed 's/^/  /'

echo "═══ прогон ═══"
make check 2>&1 | grep -E 'All checks passed|Success|passed in' | sed 's/^/  /'

═══ что выполнит CI ═══
        run: make check
═══ что выполнит разработчик ═══
  make check
═══ из чего состоит check ═══
check: lint typecheck test  ## все проверки: то же, что делает CI
═══ прогон ═══
  All checks passed!
  Success: no issues found in 2 source files
  3 passed in 0.06s

cd /tmp/autom
cat > scripts/release-check.sh <<'SH'
#!/usr/bin/env bash
# Проверки перед выпуском: логика, для которой Makefile не подходит.
set -euo pipefail

fail=0
ok()  { printf '  ✓ %s\n' "$1"; }
bad() { printf '  ✗ %s\n' "$1"; fail=1; }

echo "Проверки перед выпуском:"

# 1. Незакоммиченные изменения
if command -v git > /dev/null 2>&1 && git rev-parse --git-dir > /dev/null 2>&1; then
    if [ -z "$(git status --porcelain)" ]; then
        ok "рабочее дерево чистое"
    else
        bad "есть незакоммиченные изменения"
    fi
else
    echo "  — git-репозиторий не найден, проверка пропущена"
fi

# 2. Секреты в конфигурации
if grep -rInE '(password|secret|token|api_?key)[a-z_]*\s*[:=]\s*["'"'"']?[A-Za-z0-9]{8,}' \
        --include='*.yaml' --include='*.yml' --include='*.toml' . 2>/dev/null \
        | grep -v '\${' | head -3; then
    bad "найдены значения, похожие на секреты"
else
    ok "литеральных секретов в конфигурации нет"
fi

# 3. Версии инструментов зафиксированы
unpinned="$(grep -cvE '^[a-zA-Z0-9_.-]+(\[[a-z,]+\])?==|^-r |^#|^$' requirements-dev.txt || true)"
if [ "$unpinned" -eq 0 ]; then
    ok "все версии в requirements-dev.txt зафиксированы"
else
    bad "незафиксированных зависимостей: $unpinned"
fi

# 4. Production-образ без инструментов разработки
if docker build -q --target runtime -t autom:release-check . > /dev/null 2>&1; then
    n="$(docker run --rm autom:release-check pip list --format=freeze 2>/dev/null \
         | grep -icE '^(pytest|ruff|mypy|coverage)' || true)"
    if [ "$n" -eq 0 ]; then
        ok "в production-образе нет инструментов разработки"
    else
        bad "найдено инструментов: $n"
    fi
    docker rmi -f autom:release-check > /dev/null 2>&1
else
    bad "production-образ не собирается"
fi

exit "$fail"
SH
chmod +x scripts/release-check.sh

python3 - <<'PY'
import pathlib
p = pathlib.Path("Makefile")
t = p.read_text()
t = t.replace(".PHONY: help build up down logs test lint format typecheck check clean shell",
              ".PHONY: help build up down logs test lint format typecheck check clean shell release-check")
t += "\nrelease-check:  ## проверки перед выпуском\n\t@./scripts/release-check.sh\n"
p.write_text(t)
PY

echo "═══ make release-check ═══"
make release-check 2>&1 | sed 's/^/  /' || true

═══ make release-check ═══
  Проверки перед выпуском:
    — git-репозиторий не найден, проверка пропущена
    ✓ литеральных секретов в конфигурации нет
    ✓ все версии в requirements-dev.txt зафиксированы
    ✓ в production-образе нет инструментов разработки

cd /tmp/autom
cat > .pre-commit-config.yaml <<'EOF'
repos:
  # Быстрые проверки: версия зафиксирована, окружение проекта не нужно
  - repo: https://github.com/astral-sh/ruff-pre-commit
    rev: v0.16.0
    hooks:
      - id: ruff
        args: [--fix]
      - id: ruff-format

  # Проверки, которым нужны зависимости проекта — только в container
  - repo: local
    hooks:
      - id: mypy-docker
        name: mypy (в container)
        entry: make typecheck
        language: system
        pass_filenames: false
        types: [python]

      - id: no-secrets
        name: секреты в конфигурации
        entry: ./scripts/release-check.sh
        language: system
        pass_filenames: false
        files: '\.(ya?ml|toml)$'
EOF

echo "═══ конфигурация pre-commit ═══"
python3 -c "
import yaml
cfg = yaml.safe_load(open('.pre-commit-config.yaml'))
for repo in cfg['repos']:
    src = repo['repo']
    print(f'  {src}')
    for hook in repo['hooks']:
        pf = hook.get('pass_filenames', True)
        print(f\"    {hook['id']:<14} pass_filenames={pf}\")
"

echo "═══ почему mypy требует pass_filenames: false ═══"
echo "  pre-commit передаёт пути host: app/calc.py"
echo "  внутри container путь другой: /app/app/calc.py"
echo "  mypy получил бы несуществующие пути и завершился с ошибкой"

═══ конфигурация pre-commit ═══
  https://github.com/astral-sh/ruff-pre-commit
    ruff           pass_filenames=True
    ruff-format    pass_filenames=True
  local
    mypy-docker    pass_filenames=False
    no-secrets     pass_filenames=False
═══ почему mypy требует pass_filenames: false ═══
  pre-commit передаёт пути host: app/calc.py
  внутри container путь другой: /app/app/calc.py
  mypy получил бы несуществующие пути и завершился с ошибкой

cd /tmp && rm -rf /tmp/autom

mkdir -p /tmp/mk && cd /tmp/mk
printf '.PHONY: hello\nhello:  ## поздороваться\n\t@echo "работает"\n\nhelp:  ## список целей\n\t@grep -E "^[a-z_-]+:.*?## .*$$" $(MAKEFILE_LIST) | awk "BEGIN {FS = \\":.*?## \\"}; {printf \\"  %%-10s %%s\\\\n\\", \\$$1, \\$$2}"\n' > Makefile
make hello
cd /tmp && rm -rf /tmp/mk