Какой NVMe держит диск гостя, а какой — резервную копию?

Сначала назвать системный диск

При заказе выбирают Proxmox VE 8 или Proxmox VE 9. Оба есть в списке образов. После выдачи входят по SSH. Переустановка с USB не делает второй диск видимым, и образ не складывает два диска в аппаратный массив. Карты массива в корпусе нет.

Запускают lsblk -o NAME,SIZE,TYPE,MOUNTPOINT,MODEL, затем findmnt / и pvesm status. Два NVMe около 1 ТБ видны с типом disk. Тот, на котором корень, — системный диск. У другого столбец монтирования пуст: это второй, ещё пустой диск. Записывают устойчивое имя из /dev/disk/by-id/ и серийный номер. После перезагрузки nvme0n1 и nvme1n1 могут поменяться местами. Раздел и файловую систему создают по имени by-id, а не по номеру, который виден в этой сессии.

Диски гостей по умолчанию ложатся на системный NVMe

Когда образ ставит Proxmox на один NVMe, этот диск обычно несёт два хранилища. local — каталог на корневой файловой системе, под /var/lib/vz. Там могут лежать ISO, шаблоны и копии vzdump. local-lvm — LVM-Thin на том же диске. Диски гостей и контейнеров пишутся туда. Имена разные. Физическое устройство всё ещё этот NVMe.

Новый гость, у которого хранилище диска — local-lvm, кладёт диск на системный диск. Задание копии, которое всё ещё смотрит на local, пишет в /var/lib/vz/dump, снова системный диск. Если этот диск отказывает, диск гостя и эта копия уходят вместе. Два имени хранилища на экране не значат, что второй NVMe уже в работе.

Через lsblk видно, какой NVMe несёт группу томов за local-lvm. Это должен быть тот же диск, что и корень. Второй диск, около 1 ТБ, ещё без раздела и не входит в эту группу. Так и выдаётся прямое подключение, а не недостающий массив.

Направить копии на другой NVMe

Размечают только второй диск, создают на нём файловую систему и монтируют в новый каталог, например /mnt/backup-nvme. Таблицы GPT и одного раздела достаточно. Для файлов копий хватает ext4. В /etc/fstab остаётся UUID, а не имя вроде /dev/nvme0n1p1, которое может смениться. После mount -a команда findmnt /mnt/backup-nvme должна показать by-id второго диска как источник, а не системный диск.

В Proxmox добавляют хранилище-каталог. В дата-центре: Хранилище, Добавить, Каталог. Путь — эта точка монтирования. Содержимое — только резервная копия VZDump. Соответствующая команда: pvesm add dir backup-nvme --path /mnt/backup-nvme --content backup. Идентификатор не должен совпасть с local. В pvesm status строка активна, а свободное место близко ко второму диску, а не к остатку на корне.

Уже существующие задания копий переводят на это хранилище. Добавить каталог, пока задание всё ещё говорит local, значит оставить новые копии на системном диске. Без гостя сначала подтверждают монтирование и состояние хранилища, затем создают гостя. С гостем запускают одну копию и передают новый идентификатор в --storage у vzdump. Режим снимка требует хранилище диска, которое умеет снимки. local-lvm умеет. Файл появляется в каталоге второго диска, имя начинается с vzdump-.

Добавленный диск 2 ТБ остаётся отдельным диском

Добавленный NVMe на 2 ТБ стоит $84 в месяц, не больше двух дисков, прямое подключение, вне любого аппаратного массива. В lsblk это новая строка disk около 2 ТБ. Он не присоединяется к двум дискам по 1 ТБ и сам не увеличивает local-lvm. С ним поступают как с пустым диском 1 ТБ: свой раздел, своё монтирование, своя запись хранилища.

Когда второй диск 1 ТБ уже держит копии, диск 2 ТБ — место для следующих дисков гостей. На новое монтирование добавляют хранилище-каталог с содержимым «образ диска» и выбирают его при создании большого диска гостя, вместо записи в thin-пул системного диска. Когда не помещаются именно копии, задание смотрит на диск 2 ТБ, а второй диск 1 ТБ остаётся под образы. В обоих случаях диски и единственная копия лежат на разных дисках.

Не делать vgextend диска 2 ТБ в группу томов системного диска. Когда группа лежит сразу на двух NVMe разного размера, экстенты одного диска гостя могут оказаться на любом из них, а копия, всё ещё лежащая на корне, делит этот отказ. Это не аппаратный массив. Почему добавленный диск остаётся вне массива, разобрано в заметке добавленный диск остаётся вне массива. Зеркало двух дисков по 1 ТБ по умолчанию опускает полезный объём к 1 ТБ, и разделение из этой заметки исчезает. Эта раскладка — в заметке резервирование без аппаратного массива.

Ёмкость — сумма, а не остаток после зеркала

Как две файловые системы, два диска по 1 ТБ дают около 2 ТБ минус таблица разделов, файловая система и файлы системы, уже лежащие на корне. Читать их как RAID 1 с оставшимся 1 ТБ не совпадает с двумя строками disk в lsblk и не оставляет второго диска под каталог копий.

Диск гостя и его копия занимают место каждый. Диску гостя, выделенному на 400 ГБ, нужно место в thin-пуле под уже записанное, а второму диску — место под одну копию. Эти 400 ГБ не вычитают один раз из общих 2 ТБ. Тонкое выделение делает том меньше выделения. Файл копии всё ещё зависит от режима и сжатия этого прохода. Планируют объём, который будет записан на каждом диске. Не планируют от одной суммы в списке хранилищ.

ext4 по умолчанию резервирует долю блоков для root. Каталог копий, которым пользуется vzdump, покажет меньше, чем размер на этикетке диска. Этот резерв — файловая система, а не пропавший диск. После монтирования строка df -h — число, по которому решают, сколько копий держать.

После копии подтвердить, какой диск держит файл

1. Второй диск смонтирован

   findmnt /mnt/backup-nvme называет второй NVMe по by-id как источник. После перезагрузки монтирование на месте, и корень тоже.

2. Хранилище — не local

   В pvesm status путь хранилища копий — новое монтирование. Поле хранилища в задании — этот идентификатор. Если задание всё ещё говорит local, его меняют до следующего запуска.

3. Один запуск vzdump

   Выбирают гостя, который принимает снимок, и отправляют хранилище в новый каталог. По завершении в каталоге есть файл vzdump-. findmnt -T по этому файлу должен назвать второй диск.

4. Системный диск не заполняется одновременно

   Во время копии смотрят df -h /. Рост под /var/lib/vz/dump значит, что задание всё ещё смотрит на local. Останавливают, меняют хранилище, запускают снова.

Срок хранения должен помещаться в свободное место второго диска. Много копий, каждая близка к целому диску гостя, и следующая копия обрывается на середине, оставляя неполный файл. Неполный файл — не копия для восстановления. Его удаляют, срок хранения снижают до числа, которое диск держит, и запускают копию, которая доходит до конца.

Перенос большого диска, уже лежащего на local-lvm, начинают с выключенного гостя, затем перемещение в новое хранилище-каталог, затем контрольный запуск. Файл диска не копируют, пока гость ещё пишет. Файлы копий создают заново на новом хранилище. Старые файлы в каталоге dump системного диска новый диск не защищают.

С какими дисками машина выходит

Обе ступени памяти выходят с теми же дисками: 2 × 1 ТБ NVMe, без аппаратного RAID, каждый диск с прямым подключением, полезный объём считают как 2 ТБ. Машина на 128 ГБ стоит $455 в месяц. Машина на 256 ГБ стоит $612 в месяц. Память — DDR4-3200 ECC RDIMM, потом её не добавляют. 256 ГБ — эта ступень. Процессор обеих — AMD EPYC 7543P, 32 ядра и 64 потока. Один добавленный диск 2 ТБ поднимает месячную плату ступени 128 ГБ до $539. Число добавленных — 0, 1 или 2, по $84 каждый. Эта сумма входит в месячную плату, затем применяется число месяцев. Квартал — три раза, без дополнительной скидки. Плата за установку отсутствует.

Машина размещена в Токио, Япония. SSH к хосту использует адрес из консоли. Смена раскладки дисков этот адрес входа не меняет. Proxmox VE 8 и 9 входят в список бесплатных образов. Второй диск и любой добавленный диск монтируют уже в системе. Образ не показывает их как один аппаратный том.

Разделение сделано, когда блочное устройство диска гостя и блочное устройство файла копии — не одно устройство. Имя хранилища, идентификатор задания копии и источник findmnt -T должны совпасть. Тогда копия ушла с системного NVMe.