13.5. Глубокая диагностика

sudo journalctl -u docker.service --since '10 min ago'
sudo journalctl -u docker.service -f
sudo journalctl -u docker.service -p err --since today

docker run --rm -it \
    --network container:ЦЕЛЬ \
    --pid container:ЦЕЛЬ \
    --cap-add SYS_PTRACE \
    nicolaka/netshoot sh

PID=$(docker inspect ЦЕЛЬ --format '{{.State.Pid}}')
sudo nsenter -t "$PID" -m -u -i -n -p -- sh

sudo nsenter -t "$PID" -n -- ss -tlnp

docker inspect ЦЕЛЬ --format '{{.GraphDriver.Data.MergedDir}}'

strace -p PID -f -e trace=openat        # что процесс пытается открыть
strace -p PID -f -e trace=network       # сетевые вызовы
strace -p PID -f -c                     # сводка: где время

mkdir -p /tmp/deep && cd /tmp/deep

echo "═══ ошибка, не попадающая в docker logs ═══"
docker run --name broken -v /nonexistent/path:/data:ro alpine:3.21 true 2>&1 \
    | head -3 | sed 's/^/  ошибка команды: /'
echo "  docker logs для этого container'а:"
docker logs broken 2>&1 | head -2 | sed 's/^/    /' || echo "    (container не создан)"
docker rm -f broken > /dev/null 2>&1

echo "═══ где искать такие ошибки ═══"
if sudo journalctl -u docker.service --since '2 min ago' --no-pager -p warning 2>/dev/null \
   | tail -5 | grep -q .; then
    sudo journalctl -u docker.service --since '2 min ago' --no-pager -p warning 2>/dev/null \
        | tail -5 | sed 's/^/  /'
else
    cat <<'TXT'
  (journalctl требует прав root или systemd недоступен)

  Команды для чтения логов daemon:
    sudo journalctl -u docker.service --since '10 min ago'
    sudo journalctl -u docker.service -f
    sudo journalctl -u docker.service -p err --since today
TXT
fi

echo "═══ как различать ═══"
cat <<'TXT'
  docker logs ПУСТ или container не создан → смотреть логи daemon
  docker logs содержит трассировку Python  → проблема в приложении

  Типичные проблемы daemon:
    не смонтирован volume, не скачался образ, конфликт портов,
    нет места на диске, ошибка сетевого драйвера
TXT

═══ ошибка, не попадающая в docker logs ═══
  ошибка команды: docker: Error response from daemon: error while creating mount source path
  ошибка команды: '/nonexistent/path': mkdir /nonexistent: read-only file system
  docker logs для этого container'а:
    (container не создан)
═══ где искать такие ошибки ═══
  (journalctl требует прав root или systemd недоступен)

  Команды для чтения логов daemon:
    sudo journalctl -u docker.service --since '10 min ago'
    sudo journalctl -u docker.service -f
    sudo journalctl -u docker.service -p err --since today
═══ как различать ═══
  docker logs ПУСТ или container не создан → смотреть логи daemon
  docker logs содержит трассировку Python  → проблема в приложении

  Типичные проблемы daemon:
    не смонтирован volume, не скачался образ, конфликт портов,
    нет места на диске, ошибка сетевого драйвера

cd /tmp/deep
echo "═══ запускаем сервис на минимальном образе ═══"
cat > srv.py <<'PY'
import http.server, os, threading, time
class H(http.server.BaseHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200); self.end_headers(); self.wfile.write(b"ok")
    def log_message(self, *a): pass
print(f"слушаю 8000, pid={os.getpid()}", flush=True)
threading.Thread(
    target=http.server.ThreadingHTTPServer(("0.0.0.0", 8000), H).serve_forever,
    daemon=True).start()
while True: time.sleep(1)
PY
docker run -d --name svc -e PYTHONUNBUFFERED=1 \
    -v "$PWD/srv.py:/s.py:ro" python:3.13-slim python /s.py > /dev/null
sleep 3

echo "═══ в образе нет сетевых утилит ═══"
docker exec svc sh -c 'command -v ss || command -v netstat || echo "  ss и netstat отсутствуют"' \
    2>/dev/null | sed 's/^/  /'

echo "═══ sidecar с общим сетевым namespace ═══"
docker run --rm --network container:svc python:3.13-slim python -c "
import socket, json

# Тот же сетевой стек, что у цели
info = {}
s = socket.socket()
try:
    s.connect(('127.0.0.1', 8000))
    info['порт 8000 на localhost'] = 'открыт'
except OSError as e:
    info['порт 8000 на localhost'] = f'закрыт: {e.strerror}'
finally:
    s.close()

info['имя хоста'] = socket.gethostname()
try:
    info['разрешение svc'] = socket.gethostbyname('svc')
except OSError:
    info['разрешение svc'] = 'не разрешается'

for k, v in info.items():
    print(f'  {k:<26} {v}')
" 2>/dev/null

echo "═══ почему это работает ═══"
cat <<'TXT'
  --network container:svc помещает sidecar в ТОТ ЖЕ сетевой
  namespace. Его localhost — это localhost цели, его интерфейсы —
  интерфейсы цели.

  Значит, любой сетевой инструмент из образа sidecar работает
  так, как если бы он был установлен в целевой образ.

  Образ с полным набором утилит:
    docker run --rm -it --network container:svc nicolaka/netshoot
    (внутри: ss, tcpdump, dig, curl, ping, iperf, nmap)
TXT

═══ запускаем сервис на минимальном образе ═══
═══ в образе нет сетевых утилит ═══
    ss и netstat отсутствуют
═══ sidecar с общим сетевым namespace ═══
  порт 8000 на localhost      открыт
  имя хоста                   3f8a2b1c4d5e
  разрешение svc              не разрешается
═══ почему это работает ═══
  --network container:svc помещает sidecar в ТОТ ЖЕ сетевой
  namespace. Его localhost — это localhost цели, его интерфейсы —
  интерфейсы цели.

  Значит, любой сетевой инструмент из образа sidecar работает
  так, как если бы он был установлен в целевой образ.

  Образ с полным набором утилит:
    docker run --rm -it --network container:svc nicolaka/netshoot
    (внутри: ss, tcpdump, dig, curl, ping, iperf, nmap)

cd /tmp/deep
pid="$(docker inspect svc --format '{{.State.Pid}}')"
echo "═══ PID цели на host: $pid ═══"

echo "═══ сетевой namespace цели, утилита с host ═══"
if sudo test -d "/proc/$pid/ns" 2>/dev/null; then
    sudo nsenter -t "$pid" -n -- ss -tlnp 2>/dev/null | head -5 | sed 's/^/  /' \
        || sudo nsenter -t "$pid" -n -- netstat -tlnp 2>/dev/null | head -5 | sed 's/^/  /' \
        || echo "  ss и netstat отсутствуют и на host"
else
    cat <<'TXT'
  (nsenter требует прав root)

  При наличии доступа:
    PID=$(docker inspect svc --format '{{.State.Pid}}')
    sudo nsenter -t "$PID" -n -- ss -tlnp

  Вывод был бы:
    State   Recv-Q  Send-Q  Local Address:Port  Peer Address:Port  Process
    LISTEN  0       5       0.0.0.0:8000        0.0.0.0:*          users:(("python3",pid=1,fd=3))

  Ключевое: ss берётся С HOST, сетевой стек — ИЗ CONTAINER'а.
  Устанавливать что-либо в образ не нужно.
TXT
fi

echo "═══ различие флагов ═══"
cat <<'TXT'
  БЕЗ -m (только сетевой namespace):
    sudo nsenter -t PID -n -- ss -tlnp
    → программа берётся с host, сеть из container'а
    → работает для образов без утилит

  С -m (включая mount namespace):
    sudo nsenter -t PID -m -n -- sh
    → файловая система становится файловой системой container'а
    → sh должен существовать В CONTAINER'е; в distroless не сработает

  Практическое правило: для диагностики сети используйте
  nsenter БЕЗ -m — так доступны утилиты host.
TXT

═══ PID цели на host: 52841 ═══
═══ сетевой namespace цели, утилита с host ═══
  (nsenter требует прав root)

  При наличии доступа:
    PID=$(docker inspect svc --format '{{.State.Pid}}')
    sudo nsenter -t "$PID" -n -- ss -tlnp

  Вывод был бы:
    State   Recv-Q  Send-Q  Local Address:Port  Peer Address:Port  Process
    LISTEN  0       5       0.0.0.0:8000        0.0.0.0:*          users:(("python3",pid=1,fd=3))

  Ключевое: ss берётся С HOST, сетевой стек — ИЗ CONTAINER'а.
  Устанавливать что-либо в образ не нужно.
═══ различие флагов ═══
  БЕЗ -m (только сетевой namespace):
    sudo nsenter -t PID -n -- ss -tlnp
    → программа берётся с host, сеть из container'а
    → работает для образов без утилит

  С -m (включая mount namespace):
    sudo nsenter -t PID -m -n -- sh
    → файловая система становится файловой системой container'а
    → sh должен существовать В CONTAINER'е; в distroless не сработает

  Практическое правило: для диагностики сети используйте
  nsenter БЕЗ -m — так доступны утилиты host.
TXT

cd /tmp/deep
echo "═══ собираем образ без shell ═══"
cat > Dockerfile.noshell <<'EOF'
# syntax=docker/dockerfile:1
FROM python:3.13-slim AS build
COPY srv.py /srv.py

FROM gcr.io/distroless/python3-debian12
COPY --from=build /srv.py /srv.py
ENV PYTHONUNBUFFERED=1
CMD ["/srv.py"]
EOF

if docker build -f Dockerfile.noshell -t noshell:1 . > build.log 2>&1; then
    docker run -d --name ns-svc noshell:1 > /dev/null 2>&1
    sleep 3
    built=1
else
    echo "  (образ distroless недоступен — используем эквивалент)"
    docker run -d --name ns-svc -e PYTHONUNBUFFERED=1 \
        -v "$PWD/srv.py:/srv.py:ro" --entrypoint python \
        python:3.13-slim /srv.py > /dev/null 2>&1
    sleep 3
    built=0
fi

echo "═══ что НЕ работает без shell ═══"
docker exec ns-svc sh -c 'echo привет' 2>&1 | head -1 | sed 's/^/  docker exec sh: /'
docker exec ns-svc ls / 2>&1 | head -1 | sed 's/^/  docker exec ls:  /'

echo "═══ что работает ═══"
printf '  docker top:        '
docker top ns-svc 2>/dev/null | tail -1 | awk '{print $NF}'
printf '  docker inspect:    '
docker inspect ns-svc --format '{{json .Config.Env}}' 2>/dev/null | cut -c1-46
printf '  docker cp:         '
docker cp ns-svc:/srv.py - 2>/dev/null | tar -xO 2>/dev/null | head -1 | cut -c1-40 \
    || echo "файл не извлечён"
printf '  docker logs:       '
docker logs ns-svc 2>&1 | head -1

echo "═══ сеть через sidecar ═══"
docker run --rm --network container:ns-svc python:3.13-slim python -c "
import socket
s = socket.socket()
try:
    s.connect(('127.0.0.1', 8000))
    print('  порт 8000: открыт')
except OSError as e:
    print(f'  порт 8000: {e.strerror}')
finally:
    s.close()
" 2>/dev/null

echo "═══ порядок диагностики образа без shell ═══"
cat <<'TXT'
  1. docker logs              вывод приложения
  2. docker inspect           конфигурация, состояние, здоровье
  3. docker top               процессы
  4. docker cp ЦЕЛЬ:/путь -   любой файл, БЕЗ shell в образе
  5. sidecar --network        диагностика сети
  6. sidecar --pid + SYS_PTRACE  стек процесса через py-spy
  7. sudo nsenter -t PID -n   утилиты host в сети container'а
  8. MergedDir на host        файловая система целиком

  Пункт 4 работает потому, что копирование выполняет DAEMON,
  а не процесс внутри container'а.
TXT
docker rm -f ns-svc > /dev/null 2>&1

═══ собираем образ без shell ═══
═══ что НЕ работает без shell ═══
  docker exec sh: OCI runtime exec failed: exec failed: unable to start container process: exec: "sh": executable file not found in $PATH
  docker exec ls:  OCI runtime exec failed: exec failed: unable to start container process: exec: "ls": executable file not found in $PATH
═══ что работает ═══
  docker top:        /srv.py
  docker inspect:    ["PYTHONUNBUFFERED=1","PATH=/usr/bin:/bin
  docker cp:         import http.server, os, threading, time
  docker logs:       слушаю 8000, pid=1
═══ сеть через sidecar ═══
  порт 8000: открыт
═══ порядок диагностики образа без shell ═══
  1. docker logs              вывод приложения
  2. docker inspect           конфигурация, состояние, здоровье
  3. docker top               процессы
  4. docker cp ЦЕЛЬ:/путь -   любой файл, БЕЗ shell в образе
  5. sidecar --network        диагностика сети
  6. sidecar --pid + SYS_PTRACE  стек процесса через py-spy
  7. sudo nsenter -t PID -n   утилиты host в сети container'а
  8. MergedDir на host        файловая система целиком

  Пункт 4 работает потому, что копирование выполняет DAEMON,
  а не процесс внутри container'а.

cd /tmp/deep
echo "═══ пути к файловой системе ═══"
docker inspect svc --format 'MergedDir: {{.GraphDriver.Data.MergedDir}}' 2>/dev/null | sed 's/^/  /'
docker inspect svc --format 'UpperDir:  {{.GraphDriver.Data.UpperDir}}' 2>/dev/null | sed 's/^/  /'

echo "═══ что записал container ═══"
docker exec svc sh -c 'echo "данные приложения" > /tmp/written.txt; mkdir -p /var/cache/app; echo x > /var/cache/app/f' 2>/dev/null
upper="$(docker inspect svc --format '{{.GraphDriver.Data.UpperDir}}' 2>/dev/null)"
if sudo test -d "$upper" 2>/dev/null; then
    echo "  содержимое UpperDir (только изменения):"
    sudo find "$upper" -type f 2>/dev/null | head -8 | sed "s|$upper|  ...|" | sed 's/^/    /'
else
    cat <<'TXT'
  (чтение требует прав root)

  При наличии доступа UpperDir содержал бы РОВНО то,
  что container записал сверх образа:
    .../tmp/written.txt
    .../var/cache/app/f

  Это самый прямой ответ на вопрос «что пишет приложение
  в свою файловую систему»: не размер, а конкретные файлы.
TXT
fi

echo "═══ три каталога overlay2 ═══"
cat <<'TXT'
  LowerDir   слои образа, только чтение
  UpperDir   изменения container'а — ТОЛЬКО ТО, ЧТО ОН ЗАПИСАЛ
  MergedDir  итоговое представление: образ плюс изменения

  Для диагностики полезнее всего UpperDir: он отвечает
  на вопрос «что именно приложение пишет на диск».

  ПРЕДУПРЕЖДЕНИЕ: запись в эти каталоги напрямую не поддерживается
  и может нарушить состояние container'а. Только чтение.
TXT

═══ пути к файловой системе ═══
  MergedDir: /var/lib/docker/overlay2/a3f2.../merged
  UpperDir:  /var/lib/docker/overlay2/a3f2.../diff
═══ что записал container ═══
  (чтение требует прав root)

  При наличии доступа UpperDir содержал бы РОВНО то,
  что container записал сверх образа:
    .../tmp/written.txt
    .../var/cache/app/f

  Это самый прямой ответ на вопрос «что пишет приложение
  в свою файловую систему»: не размер, а конкретные файлы.
═══ три каталога overlay2 ═══
  LowerDir   слои образа, только чтение
  UpperDir   изменения container'а — ТОЛЬКО ТО, ЧТО ОН ЗАПИСАЛ
  MergedDir  итоговое представление: образ плюс изменения

  Для диагностики полезнее всего UpperDir: он отвечает
  на вопрос «что именно приложение пишет на диск».

  ПРЕДУПРЕЖДЕНИЕ: запись в эти каталоги напрямую не поддерживается
  и может нарушить состояние container'а. Только чтение.

cd /tmp/deep
echo "═══ docker diff: изменения без доступа к host ═══"
docker diff svc 2>/dev/null | head -10 | sed 's/^/  /'

echo "═══ обозначения ═══"
cat <<'TXT'
  A  добавлен
  C  изменён
  D  удалён

  docker diff даёт тот же ответ, что и просмотр UpperDir,
  но НЕ требует прав root. Для быстрой проверки
  «что пишет приложение» это лучший инструмент.

  Ограничение: показывает пути, но не размеры.
  Размер writable layer целиком — docker ps -s.
TXT

═══ docker diff: изменения без доступа к host ═══
  C /tmp
  A /tmp/written.txt
  C /var
  C /var/cache
  A /var/cache/app
  A /var/cache/app/f
═══ обозначения ═══
  A  добавлен
  C  изменён
  D  удалён

  docker diff даёт тот же ответ, что и просмотр UpperDir,
  но НЕ требует прав root. Для быстрой проверки
  «что пишет приложение» это лучший инструмент.

  Ограничение: показывает пути, но не размеры.
  Размер writable layer целиком — docker ps -s.

cd /tmp/deep
cat > seeker.py <<'PY'
"""Ищет конфигурацию в нескольких местах и сообщает результат."""
import os
import time
from pathlib import Path

CANDIDATES = [
    "/etc/app/config.yaml",
    "/config/app.yaml",
    "/app/config.yaml",
    os.path.expanduser("~/.app/config.yaml"),
]

while True:
    found = None
    for path in CANDIDATES:
        if Path(path).exists():
            found = path
            break
    print(f"конфигурация: {found or 'НЕ НАЙДЕНА'}", flush=True)
    time.sleep(2)
PY

docker run -d --name seeker -e PYTHONUNBUFFERED=1 \
    -v "$PWD/seeker.py:/s.py:ro" python:3.13-slim python /s.py > /dev/null
sleep 3
echo "═══ что говорит приложение ═══"
docker logs seeker 2>&1 | tail -1 | sed 's/^/  /'

echo "═══ где именно оно искало — через strace ═══"
if docker run --rm --pid container:seeker --cap-add SYS_PTRACE \
    --security-opt seccomp=unconfined alpine:3.21 sh -c '
    apk add --no-cache strace > /dev/null 2>&1
    timeout 4 strace -p 1 -f -e trace=openat,newfstatat,statx 2>&1 \
        | grep -oE "\"[^\"]*config[^\"]*\"" | sort -u | head -6
' 2>/dev/null | grep -q .; then
    docker run --rm --pid container:seeker --cap-add SYS_PTRACE \
        --security-opt seccomp=unconfined alpine:3.21 sh -c '
        apk add --no-cache strace > /dev/null 2>&1
        timeout 4 strace -p 1 -f -e trace=openat,newfstatat,statx 2>&1 \
            | grep -oE "\"[^\"]*config[^\"]*\"" | sort -u | head -6
    ' 2>/dev/null | sed 's/^/  /'
else
    cat <<'TXT'
  (strace недоступен: нужен SYS_PTRACE и разрешение ядра ptrace)

  При наличии доступа было бы видно:
    "/etc/app/config.yaml"
    "/config/app.yaml"
    "/app/config.yaml"
    "/root/.app/config.yaml"

  Это ТОЧНЫЙ список путей, которые проверило приложение,
  вместе с кодом возврата каждой попытки (ENOENT).

  Без strace этот список получают чтением исходного кода —
  что невозможно для чужого приложения.
TXT
fi

echo "═══ полезные варианты strace ═══"
cat <<'TXT'
  strace -p PID -f -e trace=openat     что пытается открыть
  strace -p PID -f -e trace=network    сетевые вызовы
  strace -p PID -f -c                  сводка: где время
  strace -p PID -f -e trace=%file      все файловые операции

  Запускать из sidecar:
    docker run --rm --pid container:ЦЕЛЬ --cap-add SYS_PTRACE \
        nicolaka/netshoot strace -p 1 -f -e trace=openat

  ВАЖНО: SYS_PTRACE даёт чтение памяти всех процессов
  в общем PID namespace. Выдавать временно ([урок 12.4]).
TXT
docker rm -f seeker svc > /dev/null 2>&1
cd /tmp && rm -rf /tmp/deep

═══ что говорит приложение ═══
  конфигурация: НЕ НАЙДЕНА
═══ где именно оно искало — через strace ═══
  (strace недоступен: нужен SYS_PTRACE и разрешение ядра ptrace)

  При наличии доступа было бы видно:
    "/etc/app/config.yaml"
    "/config/app.yaml"
    "/app/config.yaml"
    "/root/.app/config.yaml"

  Это ТОЧНЫЙ список путей, которые проверило приложение,
  вместе с кодом возврата каждой попытки (ENOENT).

  Без strace этот список получают чтением исходного кода —
  что невозможно для чужого приложения.
═══ полезные варианты strace ═══
  strace -p PID -f -e trace=openat     что пытается открыть
  strace -p PID -f -e trace=network    сетевые вызовы
  strace -p PID -f -c                  сводка: где время
  strace -p PID -f -e trace=%file      все файловые операции

  Запускать из sidecar:
    docker run --rm --pid container:ЦЕЛЬ --cap-add SYS_PTRACE \
        nicolaka/netshoot strace -p 1 -f -e trace=openat

  ВАЖНО: SYS_PTRACE даёт чтение памяти всех процессов
  в общем PID namespace. Выдавать временно ([урок 12.4]).

docker diff КОНТЕЙНЕР | head
docker cp КОНТЕЙНЕР:/путь/к/файлу - | tar -xO | head
docker inspect КОНТЕЙНЕР --format '{{.GraphDriver.Data.UpperDir}}'
docker run --rm --network container:КОНТЕЙНЕР nicolaka/netshoot ss -tlnp
sudo journalctl -u docker.service --since '10 min ago' -p err