Как сделать бэкап esxi
Бесплатные утилиты для бэкапа с бесплатного ESXI
Как-то появилось у меня несколько персональных проектов, которые требовали относительно много дискового места — около 2TB. Подходящих VPS не нашлось (мало кто предлагает много HDD места), поэтому я взял выделенный сервер у OVH, поставил там ESXI 5.5 с бесплатной лицензией и всё работало.
Через некоторое время, с развитем проектов, я стал настраивать админские фишки — мониторинг, бэкап, и выяснил, что оказывается сервер, в котором мне обещали Soft RAID, и на который хостер (OVH) накатил свой образ ESXI — без RAID! То есть просто 2 диска. Ну да, теперь вот я знаю, что ESXI не поддерживает Soft RAID, только Hard. Стало неуютно. Да и 2TB стало не хватать. В общем взял я себе сервер побольше, с аппаратным RAID и поставил туда ESXI 6.0.
И возникло две задачи, решение которых я тут опишу:
С платной лицензией есть вариант миграции через vCenter. Ещё есть бесплатная версия Veeam Backup, которая позволяет делать бэкапы и переносить виртуальные машины с одной системы на другую и при этом не требуется их останавливать. Но с бесплатной лицензией ESXI, текущая версия — Veeam 9 — не работает вообще.
Ещё есть решение от HP — VM Explorer, у которого есть бесплатный Free Edition.
VM Explorer 6.2 умеет работать с free ESXI, но:
Уверен, что есть и много других вариантов. Будет интересно почитать комментарии опытных админов. Хотя подозреваю, что опытные работают там, где купили нужные лицензии и не парятся…
Здесь можно просто упомянуть:
Я в конечном итоге решил использовать 2 инструмента:
Xsibackup
До версии 4.4 Xsibackup был на Github, но сейчас (версия 6.0.7) с Github’а Xsibackup убрали, теперь инсталлировать надо с сайта авторов.
В бесплатной версии:
Инсталлируется Xsibackup на ESXI хост, с которого нужно делать бэкапы.
На ESXI должен быть включена служба SSH.
Регистрируетесь на сайте авторов — Download xsibackup — 33hops.com/xsibackup-vmware-esxi-backup.html
Вам на email придёт бесплатный ключ и скрипт для инсталлирования на ESXI:
secretKey у вас будет свой.
Если datastore у вас называется по другому — то надо прописать свой путь.
Увидев wget, кто-то может покачать головой, и сказать, что ставить чужой софт на ESXI хост — это несекьюрно и т.д. Однако при любом бэкапе, вы будете отдавать root пароль программе для бэкапа, то есть кому-то доверять вы будете в любом случае. При локальном копировании Xsibackup использует только shell скрипты, которые можно посмотреть и проверить…
Затем создаёте папку, куда будем складывать бэкапы — локально, или на другом сервере:
Если копировать бэкапы будет между хостами, то делимся SSH ключами:
Если хотим, чтоб был бэкапы запускались через крон, то:
Тестируем, что всё работает локально:
Чтобы протестировать работу между хостами, меняем:
Локально, то есть на одном хосте, всё работает отлично: бэкапы делаются с помощью нативной утилиты ESXI — vmkfstools. Всё быстро, и тонкие диски остаются тонкими. С жёсткими дисками, у меня получилась скорость около 60MB/s
Однако при копирование на удалённый хост я обнаружил, ту же проблему, что и с HP VM Explorer — копируется полный размер VM, даже если диск тонкий, и используется только меньшая часть.
Когда я спросил авторов, в чём причина, то они написали, что для копирования между хостами используется rsync, а он недостаточно «умён», чтобы пропускать невыделенные блоки тонких дисков.
При тестировании, я обнаружил, что при повторных бэкапах, rsync практически не сокращает время копирования — по сети опять уходит полный размер VM.
Авторы написали, что в планах у них запилить собственную утилиту вместо rsync, которая будет намного быстрей. Планируют выпустить до конца года.
В моём случае, хостер гарантирует скорость сети в 250Mb/s (
31MB/s), но реально между двумя хостами в одном датацентре бэкап у меня работал на 10-20MB/s. Не знаю в чём тут дело, — тормозит ли это сеть, rsync или что ещё, — но процесс растягивается слишком надолго.
Update: нашёл статью, — по их бенчмаркам выходит, что дело в тормознутом SSH (поверх которого работает rsync), по NFS было бы быстрее.
Радует, что в результате диски таки остаются тонкими.
Процесс переноса и бэкапа VMs
Процесс переноса VMs между хостами выглядит у меня так:
На форумах пишут, что вроде бы есть способ копировать файлы на NFS с опцией sparse так, чтобы передавать только существующие данные, но я пока ещё не разобрался.
Способа делать инкрементальный бэкап я не нашёл.
Пока я это всё делаю вручную из консоли — переношу на другой хост, делаю первый бэкап, но со временем думаю всё настроить через крон. Может позже допишу здесь пару параграфов о том, как настраивать крон. Оригинальные инструкции вот здесь: 33hops.com/xsibackup-cron-how-to.html
Таким образом сейчас у меня первая копия лежит рядом, на том же сервере, и доступна для довольно быстрого восстановления.
Вторая копия — у меня дома, то есть, как и рекомендуют — в физически другом месте. Для восстановления придётся заливать по сети, что существенно медленнее. Но вероятность нужды в этом тоже довольно низкая.
Ovftool
Полное руководство на английском здесь, там же можно и скачать. Ovftool можно ставить к себе на любой компьютер, и управлять гипервизором с него. А можно и поставить прямо на ESXI хост, хотя это и не поддерживаемая возможность.
В общем, процесс такой: сначала Ovftool ставится на Linux x64 (я делал на Ubuntu 16), а затем файлы переносятся на ESXI хост.
Ovftool не умеет копировать VM в горячем режиме, то есть требует, чтобы виртуальная машина была выключена. Поэтому — необходимость в Xsibackup выше.
Несколько особенностей работы Ovftool:
Резервное копирование виртуальных машин ESXi с помощью скриптов ghettoVCB
В этой статье я пошагово опишу настройку автоматического резервного копирования и пример восстановления виртуальных машин, работающих на платформе ESX(i) с помощью свободных скриптов ghettoVCB. Акцентироваться буду на версии ESXi 5.x, но эти же средства работают и на версиях 3.5-6.x, правда для ранних версий настройки несколько отличаются. Бэкап будет производиться на NFS сервер. Отчёт о работе будет направлен в почту. Во время бэкапа делается снимок (snapshot) виртуальной машины (в том числе и работающей), сохраняются VMDK диски машины и снимок удаляется.
Проект ghettoVCB отлично документирован, но в процессе внедрения появились нюансы, которые и вылились в эту инструкцию. Надеюсь, статья будет полезна начинающим администраторам.
Настройка резервного копирования
Первым делом приготовьте NFS сервер по вкусу, куда будут производится бэкапы. В моём случае это FreeNAS (Freebsd 9.3) и ZFS dataset с включённой дедубликацией и сжатием, что существенно экономит место. Настройка на ESXi сервере производится по SSH от пользователя root. Можно и под другим пользователем с административными правами, но тогда не получится запустить скрипты для проверки из консоли. Приступим.
1. Для настройки необходим доступ на сервер по SSH, включаем через vSphere client:
2. Берём скрипты из github репозитория и помещаем содержимое на сервер. Обязательно ставим бит исполнения, иначе скрипты работать не будут:
5. Настраиваем cron на выполнение периодической задачи:
6. Перезапускаем cron:
Запустить тестовую проверку бэкапа машины с именем «vCenterUpdate» можно следующим образом:
Запустить в ручную для списка машин:
Каждая копия машин будет хранится в директориях, вида:
И представлять из себя диск машины в формате *.vmdk и файл конфигурации машины *.vmx.
Сохранение конфигурации сервера ESXi
Настройки ESXi, произведённые выше, будут жить до первой перезагрузки. Для сохранения конфигурации нужно сделать ещё ряд действий.
1. Добавим в загрузочный скрипт команды на изменение настроек cron-а:
2. Для сохранения настроек файрвола сделаем собственный VIB пакет и установим его на сервер. Для этого используем утилиту VIB Author. К сожалению, она только для 32-х битной архитектуры, поэтому мне пришлось воспользоваться lxc контейнером. При установке может страшно ругаться на зависимости вида:
Подготавливаем дерево директорий для сборки VIB пакета:
И создаём два файла. Первый — описание нашего пакета:
Подробную инструкцию к параметрам можно посмотреть на сайте утилиты.
Собираем VIB пакет:
При нужде, можете воспользоваться моим пакетом (на свой страх и риск).
Таким образом можно собрать и зафиксировать и другие полезные настройки сервера.
4. И в завершение, запускаем в ручную бэкап настроек сервера ESXi:
Восстановление машины из резервной копии
Сразу нужно учитывать, что машина, резервирование которой производилось на горячую, после восстановления будет как после краша — возможна потеря данных внутри машины.
1. Подключаем хранилище с бэкапом на целевой ESXi сервер по NFS, либо просто копируем туда данные по ssh.
3. Запускаем тестовый прогон:
Второй вариант. Так как бэкап представляет собой дамп машины с конфигурационным файлом, то можно просто:
1. Cкопировать его куда-нибудь на ESXi сервер.
2. Исправить файл конфигурации машины (*.vmx), изменив поля имени и местоположения диска машины:
Пути до файлов можно (и нужно) указывать относительно директории машины.
3. Через vSphereClient идём в хранилище:
и добавляем новую машину в список:
4. Если сервер восстановления другой, то в настройках машины меняем «Network Connection».
5. При первом запуске оно спросит, от куда нарисовалась машина, нужно ответить, что перенесли.
Если ответить, что клонировали — изменит уникальные данные, в том числе mac адрес сетевой карты.
Вот в целом и всё. Скрипты ghettoVCB поддерживают ещё другие интересные параметры и варианты копирования, так что полезно почитать документацию. Метод далёк от идеального, но если хочется дёшево и сердито, то вполне работоспособен.
Бэкап VM ESXi средствами Bareos
Продолжаем серию публикаций о возможностях бэкапирования с помощью Bareos. В этой статье пойдет речь о резервном копировании VM ESXi средствами Bareos.
Для резервного копирования виртуальных машин VMware ESXi зачастую применяют такие средства как Veeam или же скрипт ghettovcb. В этой статье мы рассмотрим способ резервного копирования виртуальной машины средствами Bareos 16.2, а именно будем использовать один из плагинов позволяющего расширить функционал Bareos — vmware-plugin. В 16-й версии изменено расположение конфигурационных файлов, теперь каждый ресурс (pool, client, job и т.д.) распределены по своим директориям, добавлена мультиязычность для web UI, улучшена работа плагина MySQL, более подробную документацию можно просмотреть тут.
Для данного примера у нас есть ESXi 6.0 (для работы плагина достаточно лицензии Evaluation) и сервер под CentOS 7, на который будет установлен Bareos.
Установим необходимые компоненты:
Установим базу данных:
После установки выполним:
Выполняем скрипты подготовки базы данных, установленные вместе с Bareos:
Подробнее о установке и описание компонентов, а также описание основных директив можно просмотреть тут
В каждой поддиректории свой конфигурационный файл, отвечающий за ресурс, соответствующий названию директории.
Перед внесением каких-либо настроек, необходимо убедиться, что выполнены все требования для работы плагина VMware. Официальный список требований можно просмотреть тут.
Нужно установить все зависимости перед установкой плагина
Добавим один из репозиториев EPEL, т.к. нам понадобятся некоторые пакеты для дальнейшей установки:
Обязательным требованием является, чтобы VM на ESXi поддерживала и было разрешено CBT (Changed Block Tracking). На сайте VМware указано как данная опция включается, однако есть более простой способ — с помощью скрипта. Сам скрипт называется vmware_cbt_tool и его можно взять на GitHub.
Скачав на сервер BareOS, и перейдя в директорию скрипта, нужно выполнить следующее:
-s — адрес сервера
-u — пользователь на ESXi (специально завели пользователя bakuser)
-p — его пароль
-d — название нашего «datacenter» в ESXi, по-умолчанию «ha-datacenter»
-f — папка с нашими VM, корень по-умолчанию
-v — название самой VM
—info — отобразит нам текущие настройки CBT для VM
Выполнив команду, должны увидеть:
В результате увидим следующее:
CBT успешно включено.
Теперь необходимо перейти к настройкам самого BareOS, также можно руководствоваться официальной документацией.
Приводим содержимое конфигов:
Следующий файл в данном примере один из самых важных, т.к. в нем выполняется указание опций для плагина
python:module_path=/usr/lib64/bareos/plugins/vmware_plugin — указываем где расположен плагин
module_name=bareos-fd-vmware — указываем его имя
dc — название datacenter в ESXi
folder — папка с VM, по-умолчанию корень
vmname — имя виртуальной машины
vcserver — адрес сервера
vcuser — логин юзера специально заведенного для работ с бэкапом
vcpass — его пароль
Описание Job для восстановления:
Вид письма, которое приходит будет для наглядности отображено позже.
Пример пула Differential приводить не будем, т.к. хоть он и указан в JobDefs, но использовать его не будем.
Описание подключения к стореджу:
Настройки самого стореджа:
Параметры подключения стореджа к директору:
Используемые параметры оповещения:
Обязательно необходимо на стороне сервера выполнить подключение плагина, выполняется это в следующем конфиге:
Подключение к директору:
Тип оповещений, отправляемых на директор:
Принудительно в ручном режиме выполним резервное копирование, для этого войдем в bconsole
Командой message можем наблюдать, что происходит с заданием, видим, что процесс запустился успешно:
Во время выполнения задания на стороне ESXi можно наблюдать, что в консоли вывода сообщений появятся соответствующие уведомления о том, что происходит обращение к диску виртуальной машины, а по окончании удаляется временный snapshot.
Как видим сообщение говорит об успешном бэкапе, тип бэкапа Full, записано 499,5 Mb (на стороне ESXi vmdk файл занимает 560 M). В настройках FileSet мы устанавливали тип сжатия gzip, что в данном сообщении также видно в строке Software Compression.
Сообщение об ошибке будет выглядеть следующим образом. В данном примере как видно ошибка была смоделирована, если не активировать режим CBT для VM, который мы включали на предыдущих шагах при помощи специального скрипта.
В соответствии с нашим расписанием в директиве Schedule<> настройки директора, в течение дня должно было выполниться 3 инкрементальных бэкапа (последний в списке Full бэкап выполнен в ручном режиме). В bconsole, командой «status dir» можно просмотреть насколько размер инкрементальных бэкапов отличается от полного бэкапа:
Что касается восстановления, то оно может быть произведено сразу на хост с ESXi, что выполняется по умолчанию, но для этого сама виртуальная машина должна быть выключена. Или же восстановление можно выполнить на сервер с BareOS. Рассмотрим оба варианта.
После этого можно перейти в папку /tmp и увидеть восстановленный файл vmdk.
Восстановление же сразу на ESXi не требует внесения каких-либо правок перед выполнением restore, но как и писалось ранее, необходимо перед этим выключать виртуальную машину иначе произойдет ошибка:
В качестве теста достаточно создать на виртуальной машине пару тестовых файлов, запустить Job на бэкап. Удалить эти файлы, выключить машину, и восстановить через команду restore без внесения правок как в предыдущем примере, как правило, удаленные файлы будут на прежнем месте.
Теперь рассмотрим возможность добавления резервного копирования для еще одной VM, ее имя «VMBitrix5.1.8»
Важно! Вначале необходимо в настройках директора в файле /etc/bareos/bareos-dir.d/director/bareos-dir.conf подключить плагины для работы с VMware иначе при подключении дополнительных заданий для бэкапа VM получим ошибку о не загруженном плагине:
Теперь файл /etc/bareos/bareos-dir.d/director/bareos-dir.conf должен выглядеть так:
Как видим строки ниже и выполнили подключение плагина:
Далее переходим к редактированию директивы FileSet<> для бэкапа второй виртуальной машины
Переходим к добавлению нового Job для бэкапа новой VM создадим файл backup-bareos-bitrix.conf в директории /etc/bareos/bareos-dir.d/job. В этом файле пропишем параметры для нового Job (группа и владелец всех создаваемых файлов должны быть «bareos»):
Также необходимо создать Job для восстановления в случае необходимости для второй виртуальной машины VMBitrix5.1.8. Создадим файл /etc/bareos/bareos-dir.d/job/restorefiles-vm-bitrix.conf.
Обязательно соблюдение соответствий между FileSet и Pool.
Как видим, также необходимо создать новые пулы. Перейдем в директорию /etc/bareos/bareos-dir.d/pool
Создадим два файла Full-vm-bitrix.conf и Incremental-vm-bitrix.conf. Приводим содержимое каждого:
Опять же, как на предыдущих шагах нужно для второй VM активировать CBT через скрипт vmware_cbt_tool
После внесения каких-либо изменений в конфиге обязательно необходимо перезапустить службы:
Если не возникло никаких ошибок, то можно вновь перейти к консоли bconsole и увидеть добавленные Job для новой VM
Запустим новую задачу:
Частичный вывод команды «status dir» после успешного выполнения бэкапа:
Что касается восстановления второй виртуальной машины, то оно ничем не отличается от примера восстановления первой. Добавление дополнительных задач по бэкапу дополнительных VM аналогично добавлению задачи по бэкапу второй VM.
Выделенные серверы в надежных дата-центрах Германии!
Любая конфигурация, быстрая сборка и бесплатная установка
Как сделать бэкап esxi
Резервное копирование vmware esxi
Всем привет, ранее я уже рассказывал как сделать бэкап esxi с помощью PowerCLi команд, он работает замечательно, но на днях на просторах интернета наткнулся на отличную утилиту vSphere Configuration Backup, которая по мимо бэкап esxi, умеет еще и делать резервную копию баз данных VMware vCenter, конечно если у вас MS SQL, то лучше такую процедура настроить там. Ниже рассмотрим утилиту vSphere Configuration Backup более детально.
Возможности vSphere Configuration Backup
Настройка vSphere Configuration Backup
Для начала нужно скачать утилиту, я выложил ее на яндекс диск, чтобы вам было удобно ее получить. Распаковываем архив с программой. Перед вами структура файлов, программа не требует установки. Вся настройка осуществляется через файл Configuration Manager.exe
Как сделать бэкап конфигураций vmware esxi и баз данных SQL-02
Первым делом нужно добавить ESXI хост либо vCenter. Вводим логин и пароль для доступа и нажимаем Save.
Добавление vmware esxi
Если учетные данные подходят то вы увидите, что успешно соединилось с хостом.
Добавление vmware esxi
После чего откроется текстовый файл со скриптом.
Файл со скриптом соединения
На вкладке SQL Database, можно выбрать какую базу данных нужно забэкапить, и сразу можно сделать тестовое задание, кнопкой Test backup.
выбор базы данных vmware esxi
Вкладка Settings позволяет задать место расположение резервной копии, если вы снизу видите, что у вас отсутствуют vSphere CLI, то их нужно доставить, скачать vSphere CLI можно на той же странице что и vSphere Configuration Backup, так же с яндекс диска.
Как сделать бэкап конфигураций vmware esxi и баз данных SQL
После установки vSphere CLI видим, что все ОК.
Установка vSphere CLI
Запускаем vSphere Configuration Backup.exe
esxi запуск резервного копирования
Начнется соединение с нужным esxi хостом
Если вы получили вот такую ошибку, все дело в том что ваш хост управляется VMware vCenter и бэкапить нужно его, добавим не esxi в утилите а vCenter. В итоге будут сделаны бэкапы всех хостов которыми он управляет.
Очень полезно почитать файл readme, который содержит команды как потом восстановить резервную копию конфигурации ESXi. Тут тоже пишут, о хостах под управлением vCenter.
Вот такая вот полезная утилита позволяющая делать резервные копии бд VMware vCenter и конфигураций ESXI хостов.
Как создать резервную копию и восстановить конфигурацию VMware ESXi 6.5
В этой статье вы узнаете, как создавать резервные копии и научитесь восстанавливать конфигурацию VMware ESXi 6.5 при помощи командной строки ESXi.
Все мы знаем, как важно иметь резервную копию данных, и конфигурация хоста ESXi — не является исключением. Если вдруг USB-флешка или диск с операционной системой вашего сервера выйдут из строя, благодаря созданной ранее резервной копии вы сможете восстановить конфигурацию своего сервера виртуализации, затратив при этом минимум времени на его настройку. Ниже будет подробно описан процесс создания резервной копии и процесс восстановления конфигурация хоста VMware ESXi.
Резервное копирование конфигурации хоста ESXi
Поскольку в своих примерах мы будем использовать командную строку ESXi, необходимо будет подключиться к хосту при помощи SSH консоли. Если вы не знаете, как включить SSH, то вам следует перейти по ссылке и ознакомиться с информацией: Как включить SSH в VMware ESXi 6.x
После того, как вы подключитесь к хосту через SSH, для создания резервной копии текущей конфигурации следует выполнить следующие команды:
Результат работы команды представлен на рисунке ниже:
Как всем известно, хранить резервную копию на том же самом устройстве является неверным решением, поэтому следует перенести созданный архив в другое место. Сделать это можно при помощи веб-браузера, введя URL-адрес который вернула вам команда vim-cmd. Вам только нужно будет заменить * на IP-адрес вашего хоста ESXi.
В качестве альтернативы вы можете использовать для переноса архива утилиту WinSCP или другую SSH утилиту. Чтобы узнать, как именно это сделать вам следует пройти по ссылке: Как скопировать файл из VMware ESXi 6.5 в Windows или наоборот
Восстановление конфигурации ESXi
Чтобы восстановить конфигурацию ESXi из резервной копии, вам потребуется установить ту же версию и билд ESXi, которая была установлена на старом оборудовании (Как узнать версию ESXi с помощью Web Client). После установки вам следует настроить на хосте сеть, все это необходимо для того, чтобы вы смогли подключиться к устройству при помощи протокола SSH.
После подключения вам необходимо перенести архив с резервной копией /tmp/configBundle.tgz на хост, используя утилиту для передачи данных (подойдет WinSCP).
После того, как вы это сделаете, останется только выполнить следующие команды:
vim-cmd hostsvc/firmware/restore_config /tmp/configBundle.tgz
После перезагрузки хоста, загрузиться сохраненная ранее конфигурация. Останется только вывести хост из режима обслуживания.
В этой статье мы освоили способ резервного копирования и восстановления конфигурации хоста VMware ESXi 6.5 с помощью командной строки ESXi. Следует еще раз отметить, что для восстановления резервной копии версия хоста должна в точности соответствовать версии сделанной ранее резервной копии. Необходимо помнить, что при каждом обновлении хоста требуется обновлять резервную копию.