13.4. Дисковое пространство и очистка

docker images

docker system df -v

docker image prune -a --filter 'until=168h'
docker builder prune --filter 'until=72h'
docker container prune --filter 'until=24h'
docker image prune -a --filter 'label!=keep=true'

LABEL keep=true

docker image prune -a --filter 'label!=keep=true'

docker ps -s

SIZE
124MB (virtual 1.2GB)

{
  "log-driver": "local",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  },
  "builder": {
    "gc": {
      "enabled": true,
      "defaultKeepStorage": "10GB",
      "policy": [
        {"keepStorage": "10GB", "filter": ["unused-for=168h"]},
        {"keepStorage": "20GB", "all": true}
      ]
    }
  }
}

sudo du -sh /var/lib/docker/containers/*/ | sort -h | tail

mkdir -p /tmp/disk && cd /tmp/disk

echo "═══ сводка по категориям ═══"
docker system df 2>/dev/null | sed 's/^/  /'

echo "═══ подробно: образы ═══"
docker system df -v 2>/dev/null | sed -n '/^Images space usage/,/^Containers space usage/p' \
    | head -12 | sed 's/^/  /'

echo "═══ фактический размер каталога Docker ═══"
root="$(docker info --format '{{.DockerRootDir}}' 2>/dev/null)"
echo "  каталог: $root"
if sudo test -d "$root" 2>/dev/null; then
    sudo du -sh "$root" 2>/dev/null | sed 's/^/  всего: /'
    echo "  по подкаталогам:"
    sudo du -sh "$root"/*/ 2>/dev/null | sort -h | tail -6 | sed 's/^/    /'
else
    cat <<'TXT'
  (чтение требует прав root)

  При наличии доступа было бы видно:
    всего: 58G
    по подкаталогам:
      1.2G  /var/lib/docker/volumes/
      8.4G  /var/lib/docker/buildkit/
      12G   /var/lib/docker/overlay2/
      36G   /var/lib/docker/containers/     ← логи

  Расхождение с docker system df — это логи.
TXT
fi

═══ сводка по категориям ═══
  TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
  Images          14        3         4.312GB   3.891GB (90%)
  Containers      6         2         184.2MB   12.4MB (6%)
  Local Volumes   9         2         1.204GB   942.1MB (78%)
  Build Cache     87        0         2.418GB   2.418GB
═══ подробно: образы ═══
  Images space usage:
  
  REPOSITORY   TAG          IMAGE ID       CREATED       SIZE      SHARED SIZE   UNIQUE SIZE
  myapp        1.2          8f3a2b1c4d5e   2 days ago    142.1MB   124.8MB       17.3MB
  myapp        1.1          7e2b1a0c3d4f   5 days ago    141.9MB   124.8MB       17.1MB
  python       3.13-slim    9c8d7e6f5a4b   1 week ago    124.8MB   124.8MB       0B
═══ фактический размер каталога Docker ═══
  каталог: /var/lib/docker
  (чтение требует прав root)

  При наличии доступа было бы видно:
    всего: 58G
    по подкаталогам:
      1.2G  /var/lib/docker/volumes/
      8.4G  /var/lib/docker/buildkit/
      12G   /var/lib/docker/overlay2/
      36G   /var/lib/docker/containers/     ← логи

  Расхождение с docker system df — это логи.

cd /tmp/disk
echo "═══ создаём container с активным логированием ═══"
docker run -d --name loghog -e PYTHONUNBUFFERED=1 python:3.13-slim \
    python -c "
import time
line = 'x' * 500
for i in range(60000):
    print(f'{i:06d} {line}')
" > /dev/null
sleep 8

echo "═══ что говорит docker system df ═══"
docker system df 2>/dev/null | grep -E 'TYPE|Containers' | sed 's/^/  /'

echo "═══ что на самом деле ═══"
logpath="$(docker inspect loghog --format '{{.LogPath}}')"
if sudo test -r "$logpath" 2>/dev/null; then
    sudo du -h "$logpath" | sed 's/^/  файл лога: /'
else
    docker logs loghog 2>/dev/null | wc -c \
        | python3 -c "
import sys
n = int(sys.stdin.read().strip())
print(f'  полезный текст в логе: {n / 1024 / 1024:.1f} МиБ')
print(f'  на диске с метаданными JSON: примерно {n * 1.2 / 1024 / 1024:.1f} МиБ')
print('  (точный размер требует прав root на чтение файла)')
"
fi

echo "═══ как найти самые прожорливые ═══"
cat <<'TXT'
  sudo du -sh /var/lib/docker/containers/*/ | sort -h | tail -10

  Даёт размер каталога КАЖДОГО container'а, включая его лог.
  Это единственный способ увидеть категорию, которой нет
  в docker system df.

  Сопоставить каталог с именем:
    for d in /var/lib/docker/containers/*/; do
        id=$(basename "$d")
        name=$(docker inspect "$id" --format '{{.Name}}' 2>/dev/null)
        printf '%s %s\n' "$(sudo du -sh "$d" | cut -f1)" "${name:-удалён}"
    done | sort -h
TXT
docker rm -f loghog > /dev/null

═══ создаём container с активным логированием ═══
═══ что говорит docker system df ═══
  TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
  Containers      7         3         184.3MB   12.4MB (6%)
═══ что на самом деле ═══
  полезный текст в логе: 30.5 МиБ
  на диске с метаданными JSON: примерно 36.6 МиБ
  (точный размер требует прав root на чтение файла)
═══ как найти самые прожорливые ═══
  sudo du -sh /var/lib/docker/containers/*/ | sort -h | tail -10

  Даёт размер каталога КАЖДОГО container'а, включая его лог.
  Это единственный способ увидеть категорию, которой нет
  в docker system df.

cd /tmp/disk
echo "═══ container, пишущий в свой слой ═══"
docker run -d --name writer python:3.13-slim sh -c '
    dd if=/dev/zero of=/tmp/big.bin bs=1M count=120 2>/dev/null
    sleep 120
' > /dev/null

echo "═══ container, пишущий в volume ═══"
docker volume create writer-data > /dev/null
docker run -d --name writer-vol -v writer-data:/data python:3.13-slim sh -c '
    dd if=/dev/zero of=/data/big.bin bs=1M count=120 2>/dev/null
    sleep 120
' > /dev/null
sleep 6

echo "═══ docker ps -s (медленная команда) ═══"
docker ps -s --format 'table {{.Names}}\t{{.Size}}' 2>/dev/null \
    | head -5 | sed 's/^/  /'

echo "═══ как читать ═══"
cat <<'TXT'
  Формат: ЗАПИСАНО (virtual ВСЕГО)

  Первое число — сколько container записал в свой writable layer.
  virtual — плюс размер образа.

  writer:     120MB записано → пишет в файловую систему container'а
  writer-vol: около 0 записано → пишет в volume

  Второй вариант правильный: данные переживают пересоздание
  container'а и не раздувают его слой.

  ПРЕДУПРЕЖДЕНИЕ: docker ps -s обходит файловые системы всех
  container'ов. На большом хозяйстве это десятки секунд.
TXT
docker rm -f writer writer-vol > /dev/null
docker volume rm writer-data > /dev/null

═══ container, пишущий в свой слой ═══
═══ container, пишущий в volume ═══
═══ docker ps -s (медленная команда) ═══
  NAMES        SIZE
  writer-vol   0B (virtual 124.8MB)
  writer       125.8MB (virtual 250.6MB)
═══ как читать ═══
  Формат: ЗАПИСАНО (virtual ВСЕГО)

  Первое число — сколько container записал в свой writable layer.
  virtual — плюс размер образа.

  writer:     120MB записано → пишет в файловую систему container'а
  writer-vol: около 0 записано → пишет в volume

  Второй вариант правильный: данные переживают пересоздание
  container'а и не раздувают его слой.

  ПРЕДУПРЕЖДЕНИЕ: docker ps -s обходит файловые системы всех
  container'ов. На большом хозяйстве это десятки секунд.

cd /tmp/disk
cat > preview-prune.sh <<'SH'
#!/usr/bin/env bash
# Показывает, ЧТО будет удалено, до выполнения prune.
set -uo pipefail

printf '\n  Предварительный просмотр очистки\n\n'

# 1. Остановленные container'ы
printf '  Остановленные container'"'"'ы:\n'
stopped="$(docker ps -a --filter 'status=exited' --filter 'status=created' \
    --format '{{.Names}}\t{{.Status}}' 2>/dev/null)"
if [ -n "$stopped" ]; then
    echo "$stopped" | head -8 | sed 's/^/    /'
    printf '    итого: %s\n' "$(echo "$stopped" | grep -c .)"
else
    printf '    нет\n'
fi

# 2. Образы без тега
printf '\n  Образы без тега (dangling):\n'
dangling="$(docker images -f 'dangling=true' --format '{{.ID}}\t{{.Size}}' 2>/dev/null)"
if [ -n "$dangling" ]; then
    echo "$dangling" | head -8 | sed 's/^/    /'
    printf '    итого: %s\n' "$(echo "$dangling" | grep -c .)"
else
    printf '    нет\n'
fi

# 3. Образы без container'а — с UNIQUE SIZE
printf '\n  Образы без container'"'"'а (удалит только image prune -a):\n'
used="$(docker ps -a --format '{{.Image}}' 2>/dev/null | sort -u)"
docker images --format '{{.Repository}}:{{.Tag}}\t{{.Size}}' 2>/dev/null \
    | grep -v '<none>' | head -20 | while IFS=$'\t' read -r ref size; do
    if ! echo "$used" | grep -qF "${ref%%:*}"; then
        printf '    %-40s %s\n' "$ref" "$size"
    fi
done

# 4. Volumes без container'а — ОПАСНО
printf '\n  Volumes без container'"'"'а — ⚠ УДАЛЕНИЕ БЕЗВОЗВРАТНО:\n'
orphan="$(docker volume ls -qf 'dangling=true' 2>/dev/null)"
if [ -n "$orphan" ]; then
    echo "$orphan" | head -10 | while read -r v; do
        mp="$(docker volume inspect "$v" --format '{{.Mountpoint}}' 2>/dev/null)"
        sz="$(sudo du -sh "$mp" 2>/dev/null | cut -f1 || echo "?")"
        printf '    %-46s %s\n' "${v:0:46}" "$sz"
    done
    printf '    итого: %s\n' "$(echo "$orphan" | grep -c .)"
    printf '    ⚠ проверьте каждый: анонимный volume мог содержать данные БД\n'
else
    printf '    нет\n'
fi

# 5. Build cache
printf '\n  Build cache:\n'
docker system df 2>/dev/null | awk '/Build Cache/ {printf "    записей %s, размер %s, освобождаемо %s\n", $3, $4, $5}'

printf '\n  Команды по возрастанию риска:\n'
printf '    docker container prune                  безопасно\n'
printf '    docker image prune                      безопасно (только dangling)\n'
printf '    docker builder prune --filter until=72h безопасно (замедлит сборку)\n'
printf '    docker image prune -a                   повторное скачивание образов\n'
printf '    docker volume prune                     ⚠ ПОТЕРЯ ДАННЫХ\n'
printf '    docker system prune -a --volumes        ⚠ ВСЁ СРАЗУ\n'
printf '\n'
SH
chmod +x preview-prune.sh

echo "═══ готовим объекты для очистки ═══"
docker run --name pv-stopped alpine:3.21 true > /dev/null 2>&1
docker volume create pv-orphan > /dev/null
docker run --rm -v pv-orphan:/d alpine:3.21 \
    sh -c 'dd if=/dev/zero of=/d/data.bin bs=1M count=20 2>/dev/null' > /dev/null 2>&1

./preview-prune.sh

docker rm -f pv-stopped > /dev/null 2>&1
docker volume rm pv-orphan > /dev/null 2>&1

═══ готовим объекты для очистки ═══

  Предварительный просмотр очистки

  Остановленные container'ы:
    pv-stopped	Exited (0) 2 seconds ago
    итого: 1

  Образы без тега (dangling):
    нет

  Образы без container'а (удалит только image prune -a):
    alpine:3.21                              7.83MB
    python:3.13-slim                         124.8MB

  Volumes без container'а — ⚠ УДАЛЕНИЕ БЕЗВОЗВРАТНО:
    pv-orphan                                      20M
    итого: 1
    ⚠ проверьте каждый: анонимный volume мог содержать данные БД

  Build cache:
    записей 87, размер 2.418GB, освобождаемо 2.418GB

  Команды по возрастанию риска:
    docker container prune                  безопасно
    docker image prune                      безопасно (только dangling)
    docker builder prune --filter until=72h безопасно (замедлит сборку)
    docker image prune -a                   повторное скачивание образов
    docker volume prune                     ⚠ ПОТЕРЯ ДАННЫХ
    docker system prune -a --volumes        ⚠ ВСЁ СРАЗУ

cd /tmp/disk
echo "═══ проверка: удаляет ли system prune volumes ═══"
docker volume create test-vol > /dev/null
docker run --rm -v test-vol:/d alpine:3.21 sh -c 'echo данные > /d/file.txt' > /dev/null
echo "  volume создан, содержит файл"

docker system prune -f > /dev/null 2>&1
if docker volume inspect test-vol > /dev/null 2>&1; then
    content="$(docker run --rm -v test-vol:/d alpine:3.21 cat /d/file.txt 2>/dev/null)"
    echo "  после docker system prune: volume ЖИВ, содержимое = $content"
else
    echo "  после docker system prune: volume УДАЛЁН"
fi

echo "═══ а с флагом --volumes ═══"
docker system prune -f --volumes > /dev/null 2>&1
if docker volume inspect test-vol > /dev/null 2>&1; then
    echo "  после --volumes: volume ещё жив"
    docker volume rm test-vol > /dev/null 2>&1
else
    echo "  после --volumes: volume УДАЛЁН вместе с данными"
fi

echo "═══ вывод ═══"
cat <<'TXT'
  docker system prune БЕЗ флага volumes не трогает — это защита.
  Флаг --volumes её снимает.

  Правило: если не уверены, что в volumes нет нужных данных,
  флаг --volumes не используют. Восстановления нет.

  Безопасная последовательность:
    1. docker container prune          освобождает ссылки
    2. docker image prune              dangling-образы
    3. docker builder prune --filter until=72h
    4. проверить volumes ВРУЧНУЮ, удалять поимённо
TXT

═══ проверка: удаляет ли system prune volumes ═══
  volume создан, содержит файл
  после docker system prune: volume ЖИВ, содержимое = данные
═══ а с флагом --volumes ═══
  после --volumes: volume УДАЛЁН вместе с данными
═══ вывод ═══
  docker system prune БЕЗ флага volumes не трогает — это защита.
  Флаг --volumes её снимает.

  Правило: если не уверены, что в volumes нет нужных данных,
  флаг --volumes не используют. Восстановления нет.

  Безопасная последовательность:
    1. docker container prune          освобождает ссылки
    2. docker image prune              dangling-образы
    3. docker builder prune --filter until=72h
    4. проверить volumes ВРУЧНУЮ, удалять поимённо

cd /tmp/disk
echo "═══ размер build cache ═══"
docker system df 2>/dev/null | grep -E 'TYPE|Build' | sed 's/^/  /'

echo "═══ подробно ═══"
if docker buildx du --verbose 2>/dev/null | head -12 | sed 's/^/  /'; then
    :
else
    docker builder du 2>/dev/null | head -8 | sed 's/^/  /' \
        || echo "  подробный отчёт недоступен в этой версии"
fi

echo "═══ выборочная очистка ═══"
cat <<'TXT'
  Полная очистка (следующая сборка будет долгой):
    docker builder prune -a

  По возрасту — разумный компромисс:
    docker builder prune --filter until=72h

  По объёму — оставить не более N:
    docker builder prune --reserved-space 10GB

  Автоматически, через daemon.json:
    "builder": {
      "gc": {
        "enabled": true,
        "defaultKeepStorage": "10GB",
        "policy": [
          {"keepStorage": "10GB", "filter": ["unused-for=168h"]},
          {"keepStorage": "20GB", "all": true}
        ]
      }
    }

  Последний вариант предпочтителен: очистка не требует
  вмешательства и не происходит в неподходящий момент.
TXT

═══ размер build cache ═══
  TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
  Build Cache     87        0         2.418GB   2.418GB
═══ подробно ═══
  ID                    RECLAIMABLE     SIZE       LAST ACCESSED
  x8k2m4n7p1q3r5s6      true            842.1MB    2 days ago
  a1b2c3d4e5f6g7h8      true            614.3MB    5 days ago
  z9y8x7w6v5u4t3s2      true            311.7MB    12 days ago
═══ выборочная очистка ═══
  Полная очистка (следующая сборка будет долгой):
    docker builder prune -a
  ...

cd /tmp/disk
cat > cleanup-plan.py <<'PY'
"""Строит план освобождения места: категории, объём, риск, команда.

Порядок — по возрастанию риска, а не по объёму: сначала то,
что удаляется безопасно.
"""
from __future__ import annotations

import json
import re
import subprocess
import sys


def run(*args: str) -> str:
    r = subprocess.run(args, capture_output=True, text=True)
    return r.stdout


def parse_size(text: str) -> float:
    """Возвращает размер в МиБ."""
    m = re.match(r"^([\d.]+)\s*([KMGT]?i?B)$", text.strip(), re.I)
    if not m:
        return 0.0
    value = float(m.group(1))
    unit = m.group(2).upper().rstrip("IB") or "B"
    return value * {"B": 1 / 1024 / 1024, "K": 1 / 1024, "M": 1,
                    "G": 1024, "T": 1024 * 1024}.get(unit[0], 0)


def system_df() -> dict[str, dict[str, float]]:
    out = {}
    for line in run("docker", "system", "df").splitlines()[1:]:
        parts = re.split(r"\s{2,}", line.strip())
        if len(parts) >= 5:
            reclaim = parts[4].split()[0]
            out[parts[0]] = {"размер": parse_size(parts[3]),
                             "освобождаемо": parse_size(reclaim)}
    return out


def count(*args: str) -> int:
    return len([l for l in run(*args).splitlines() if l.strip()])


def build_plan() -> list[dict[str, object]]:
    df = system_df()
    stopped = count("docker", "ps", "-aq", "--filter", "status=exited")
    dangling = count("docker", "images", "-qf", "dangling=true")
    orphan_vols = count("docker", "volume", "ls", "-qf", "dangling=true")

    return [
        {
            "шаг": 1, "категория": "остановленные container'ы",
            "объектов": stopped,
            "освободит_МиБ": df.get("Containers", {}).get("освобождаемо", 0),
            "риск": "нет", "необратимо": False,
            "команда": "docker container prune -f",
        },
        {
            "шаг": 2, "категория": "образы без тега",
            "объектов": dangling,
            "освободит_МиБ": 0.0,
            "риск": "нет", "необратимо": False,
            "команда": "docker image prune -f",
        },
        {
            "шаг": 3, "категория": "build cache старше 72 ч",
            "объектов": 0,
            "освободит_МиБ": df.get("Build Cache", {}).get("освобождаемо", 0),
            "риск": "следующая сборка дольше", "необратимо": False,
            "команда": "docker builder prune -f --filter until=72h",
        },
        {
            "шаг": 4, "категория": "логи container'ов",
            "объектов": 0,
            "освободит_МиБ": 0.0,
            "риск": "потеря истории логов", "необратимо": True,
            "команда": "настроить ротацию в daemon.json и пересоздать container'ы",
        },
        {
            "шаг": 5, "категория": "образы без container'а",
            "объектов": 0,
            "освободит_МиБ": df.get("Images", {}).get("освобождаемо", 0),
            "риск": "повторное скачивание", "необратимо": False,
            "команда": "docker image prune -af --filter until=168h",
        },
        {
            "шаг": 6, "категория": "осиротевшие volumes",
            "объектов": orphan_vols,
            "освободит_МиБ": df.get("Local Volumes", {}).get("освобождаемо", 0),
            "риск": "ПОТЕРЯ ДАННЫХ", "необратимо": True,
            "команда": "проверить каждый вручную, затем docker volume rm ИМЯ",
        },
    ]


if __name__ == "__main__":
    plan = build_plan()
    safe = sum(s["освободит_МиБ"] for s in plan if not s["необратимо"])
    risky = sum(s["освободит_МиБ"] for s in plan if s["необратимо"])

    print(f"  {'шаг':>3} {'категория':<28} {'объектов':>9} {'освободит':>11}  риск")
    print("  " + "─" * 76)
    for s in plan:
        mark = "⚠" if s["необратимо"] else " "
        size = f"{s['освободит_МиБ']:.0f} МиБ" if s["освободит_МиБ"] else "—"
        print(f"  {s['шаг']:>3} {s['категория']:<28} {s['объектов']:>9} {size:>11} {mark} {s['риск']}")
    print()
    print(f"  безопасно освободится: {safe:.0f} МиБ")
    print(f"  требует решения:       {risky:.0f} МиБ")
    print()
    print("  Команды по шагам:")
    for s in plan:
        mark = "⚠ " if s["необратимо"] else "  "
        print(f"    {mark}{s['шаг']}. {s['команда']}")
PY

echo "═══ план освобождения ═══"
python3 cleanup-plan.py
cd /tmp && rm -rf /tmp/disk

═══ план освобождения ═══
  шаг категория                     объектов   освободит  риск
  ────────────────────────────────────────────────────────────────────────────
    1 остановленные container'ы            4       12 МиБ   нет
    2 образы без тега                      2           —   нет
    3 build cache старше 72 ч              0     2476 МиБ   следующая сборка дольше
    4 логи container'ов                    0           — ⚠ потеря истории логов
    5 образы без container'а               0     3984 МиБ   повторное скачивание
    6 осиротевшие volumes                  3      942 МиБ ⚠ ПОТЕРЯ ДАННЫХ

  безопасно освободится: 6472 МиБ
  требует решения:       942 МиБ

  Команды по шагам:
      1. docker container prune -f
      2. docker image prune -f
      3. docker builder prune -f --filter until=72h
    ⚠ 4. настроить ротацию в daemon.json и пересоздать container'ы
      5. docker image prune -af --filter until=168h
    ⚠ 6. проверить каждый вручную, затем docker volume rm ИМЯ

docker system df
docker system df -v | head -20
docker info --format '{{.DockerRootDir}}'
sudo du -sh $(docker info --format '{{.DockerRootDir}}')/*/ | sort -h
docker ps -s --format 'table {{.Names}}\t{{.Size}}'