====== FAQ-1 ====== ===== Proxmox VE ===== **Proxmox VE Documentation** [[https://pve.proxmox.com/pve-docs/|https://pve.proxmox.com/pve-docs/]]\\ **Proxmox. Полное руководство. 2е изд.** [[http://support.mdl.ru/MasteringProxmox.2ed/content/index.html|http://support.mdl.ru/MasteringProxmox.2ed/content/index.html]]\\ **Proxmox. Полное руководство. 3е изд. (ожидается перевод)** [[http://onreader.mdl.ru/MasteringProxmox.3ed/content/index.html|http://onreader.mdl.ru/MasteringProxmox.3ed/content/index.html]]\\ **Книга рецептов Proxmox** [[http://onreader.mdl.ru/ProxmoxCookbook/content/index.html|http://onreader.mdl.ru/ProxmoxCookbook/content/index.html]]\\ **Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense** [[http://onreader.mdl.ru/VirtualizationComplete/content/index.html|http://onreader.mdl.ru/VirtualizationComplete/content/index.html]]\\ **Proxmox install on NVMe ssd intel 10gig nic ups nut rootdelay ntp postfix vlan smartmontools pci passthrough iommu** [[https://nguvu.org/proxmox/proxmox-install/|https://nguvu.org/proxmox/proxmox-install/]]\\ **Proxmox - Indie IT Wiki** [[http://wiki.indie-it.com/wiki/Proxmox|http://wiki.indie-it.com/wiki/Proxmox]]\\ **Script to install Proxmox 5.x and 6.x on a Dedicated Hetzner Server** [[https://schaal-it.com/script-to-install-proxmox-5-x-and-6-x-on-a-dedicated-hetzner-server/|https://schaal-it.com/script-to-install-proxmox-5-x-and-6-x-on-a-dedicated-hetzner-server/]]\\ **Configure the Proxmox firewall** [[https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/|https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/]]\\ **Rename a node** (франц.) [[https://memo-linux.com/proxmox-renommer-un-noeud/|https://memo-linux.com/proxmox-renommer-un-noeud/]]\\ **Proxmox and let's encrypt with acme** [[https://blog.chasefox.net/proxmox-lets-encrypt/|https://blog.chasefox.net/proxmox-lets-encrypt/]]\\ **Virtualisierung** (нем.) [[https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung|https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung]]\\ **Differential backups patch** - [[https://github.com/ayufan/pve-patches|https://github.com/ayufan/pve-patches]]\\ **Installing Docker on Proxmox** [[https://www.reddit.com/r/Proxmox/comments/ifeni2/bestsolid_tut_for_installing_docker_on_promox_62/|https://www.reddit.com/r/Proxmox/comments/ifeni2/bestsolid_tut_for_installing_docker_on_promox_62/]]\\ **Install Docker with Rancher and DockerUI webgui on a Proxmox or Debian** [[https://www.solaris-cookbook.eu/linux/debian-proxmox-install-docker-with-rancher-and-dockerui-webgui/|https://www.solaris-cookbook.eu/linux/debian-proxmox-install-docker-with-rancher-and-dockerui-webgui/]]\\ **Proxmox performance monitoring zfs watch iostat glances netdata pidstat iotop blkid udevadm** [[http://blog.jason.tools/2019/01/disk-perf-issue.html|http://blog.jason.tools/2019/01/disk-perf-issue.html]]\\ **Display CPU temperature in Proxmox VE dashboard with lm-sensors** [[http://everun.top/helpcenter/others/pve-tips-2.html|http://everun.top/helpcenter/others/pve-tips-2.html]]\\ **Статьи proxmox pfsense sr-iov (кит.)** [[https://pvecli.xuan2host.com/|https://pvecli.xuan2host.com/]]\\ **Proxmox mit Grafana überwachen** [[https://www.bachmann-lan.de/proxmox-mit-grafana-ueberwachen/|https://www.bachmann-lan.de/proxmox-mit-grafana-ueberwachen/]]\\ **Извлечение конкретной директории из бекапа Proxmox (*.vma.lzo) для VDS c FreeBSD** [[https://www.flynet.pro/ru/blog/izvlechenie-konkretnoy-direktorii-iz-bekapa-proxmox-vmalzo-dlya-vds-c-freebsd|https://www.flynet.pro/ru/blog/izvlechenie-konkretnoy-direktorii-iz-bekapa-proxmox-vmalzo-dlya-vds-c-freebsd]]\\ **OSFMount - Mount Disk Images & Create RAM Drives** img dd E01 VHD ISO bin vmdk [[https://www.osforensics.com/tools/mount-disk-images.html|https://www.osforensics.com/tools/mount-disk-images.html]]\\ **Настраиваем сеть в Proxmox Virtual Environment** [[https://interface31.ru/tech_it/2019/10/nastraivaem-set-v-proxmox-ve.html|https://interface31.ru/tech_it/2019/10/nastraivaem-set-v-proxmox-ve.html]]\\ **Fix Proxmox VE (PVE) noVNC/console not working in iOS/iPhone/iPad Safari/Web Browser** [[https://dannyda.com/2020/05/15/how-to-fix-proxmox-ve-pve-novnc-console-not-working-in-ios-iphone-ipad-safari-web-browser-etc-failed-to-connect-to-server/|https://dannyda.com/2020/05/15/how-to-fix-proxmox-ve-pve-novnc-console-not-working-in-ios-iphone-ipad-safari-web-browser-etc-failed-to-connect-to-server/]]\\ **Backup and Restore Proxmox VE host using UrBackup** [[https://dannyda.com/2020/05/28/how-to-backup-proxmox-ve-host/|https://dannyda.com/2020/05/28/how-to-backup-proxmox-ve-host/]]\\ **Run Wireguard over port 443 in an unprivileged LXC container behind a nginx reverse proxy with DNS security** [[https://www.reddit.com/r/Proxmox/comments/katrzd/how_to_run_wireguard_over_port_443_in_an/|https://www.reddit.com/r/Proxmox/comments/katrzd/how_to_run_wireguard_over_port_443_in_an/]]\\ **Proxmox PVE Host Config Backup Script** [[https://gist.github.com/mrpeardotnet/6bdc4b504f43ce57fa7eaee96d376edf|https://gist.github.com/mrpeardotnet/6bdc4b504f43ce57fa7eaee96d376edf]]\\ **Efficient backup of lxc containers in Proxmox** [[https://it-notes.dragas.net/2020/10/06/efficient-backup-of-lxc-containers-in-proxmox/|https://it-notes.dragas.net/2020/10/06/efficient-backup-of-lxc-containers-in-proxmox/]]\\ **Use watchdog to reboot stuck servers** \\ [[https://it-notes.dragas.net/2018/09/16/proxmox-enable-and-use-watchdog-to-reboot-stuck-servers/|https://it-notes.dragas.net/2018/09/16/proxmox-enable-and-use-watchdog-to-reboot-stuck-servers/]]\\ [[https://tompaw.net/proxmox-vm-watchdogs/|https://tompaw.net/proxmox-vm-watchdogs/]]\\ [[https://forum.proxmox.com/threads/i6300esb-watchdog-in-windows-help-needed.37990/|https://forum.proxmox.com/threads/i6300esb-watchdog-in-windows-help-needed.37990/]]\\ [[https://github.com/dmitriypavlov/pve-watchdog|https://github.com/dmitriypavlov/pve-watchdog]]\\ **Экономим место на дисках вирт. машин** [[https://pve.proxmox.com/wiki/Shrink_Qcow2_Disk_Files|https://pve.proxmox.com/wiki/Shrink_Qcow2_Disk_Files]] , [[https://www.belug.de/howtos-using_trim_inside_virtual_machines.html|https://www.belug.de/howtos-using_trim_inside_virtual_machines.html]]\\ **Turnkeylinux templates** lxc [[http://mirror.turnkeylinux.org/turnkeylinux/images/proxmox/|http://mirror.turnkeylinux.org/turnkeylinux/images/proxmox/]]\\ **Запускаем kubernetes внутри LXC** [[https://habr.com/post/420913/|https://habr.com/post/420913/]]\\ **Инкрементальный бэкап в Proxmox VE с помощью VBR (Veeam Backup&Replication) incremental backup** [[https://selectel.ru/blog/proxmox-veeam-backup/|https://selectel.ru/blog/proxmox-veeam-backup/]]\\ **All-In-One: Proxmox + OpenMediaVault или ещё одна идея для домашнего NAS** [[https://habr.com/ru/post/328048/|https://habr.com/ru/post/328048/]]\\ **Proxmox VE + NextCloud + OpenMediaVault + OpenLDAP** [[https://becoder.org/diynas-pve-nextcloud-omv4-openldap-3/|https://becoder.org/diynas-pve-nextcloud-omv4-openldap-3/]]\\ **Sécurisons le login sous Proxmox par fail2ban email** [[https://jeedom-facile.fr/index.php/2018/12/05/securisation-du-login-sous-proxmox/|https://jeedom-facile.fr/index.php/2018/12/05/securisation-du-login-sous-proxmox/]]\\ ***Post install script** (convert from LVM to ZFS, create ZFS from devices, creates default routes to allow for extra ip ranges to be used, create private mesh vpn/network using Tinc) [[https://github.com/extremeshok/xshok-proxmox|https://github.com/extremeshok/xshok-proxmox]]\\ **Proxmox: Automatische Snapshots einrichten** [[https://techlr.de/proxmox-automatische-snapshots-einrichten/|https://techlr.de/proxmox-automatische-snapshots-einrichten/]]\\ **Automatic snapshot tool for Proxmox VE** [[https://github.com/EnterpriseVE/eve4pve-autosnap|https://github.com/EnterpriseVE/eve4pve-autosnap]]\\ **A set of Proxmox VE scripts that aids with suspend/resume and cpu pinning** [[https://github.com/ayufan/pve-helpers|https://github.com/ayufan/pve-helpers]]\\ **proxmox ve tools script (debian9+ can use it) email, samba, NFS, set zfs max ram, nested virtualization, docker, pci passthrough etc** [[https://github.com/ivanhao/pvetools|https://github.com/ivanhao/pvetools]]\\ **Терминальный сервер XRDP Debian 9.3 в LXC контейнере Proxmox VE 5.1** [[https://a-katyrev.blogspot.com/2018/08/debian-93-lxc-proxmox-ve-51-1.htm|https://a-katyrev.blogspot.com/2018/08/debian-93-lxc-proxmox-ve-51-1.htm]]\\ **Setting Up Proxmox with Shared Storage over Infiniband** [[https://tech-jungle.com/setting-up-proxmox-with-shared-storage-over-infiniband/|https://tech-jungle.com/setting-up-proxmox-with-shared-storage-over-infiniband/]]\\ **Быстрая сеть в домашней лаборатории или как я связался с InfiniBand** [[https://habr.com/ru/post/529906/|https://habr.com/ru/post/529906/]]\\ **Использование недорогих 10/40 Гбит/с сетевых адаптеров с интерфейсом HP FlexibleLOM** [[https://habr.com/ru/post/529732/|https://habr.com/ru/post/529732/]]\\ **Настройка NUT для управления ИБП с нескольких серверов ups apc usb windows debian** \\ [[https://blog.programs74.ru/how-to-installing-and-configuring-nut/|https://blog.programs74.ru/how-to-installing-and-configuring-nut/]] **Glossary of Virtualization Terms iommu acs vfio ovmf** [[https://heiko-sieger.info/glossary-of-virtualization-terms/|https://heiko-sieger.info/glossary-of-virtualization-terms/]]\\ **What is IOMMU and why do I need it?** [[https://heiko-sieger.info/iommu-groups-what-you-need-to-consider/|https://heiko-sieger.info/iommu-groups-what-you-need-to-consider/]]\\ **PCI passthrough via OVMF** [[https://wiki.archlinux.org/index.php/PCI_passthrough_via_OVMF|https://wiki.archlinux.org/index.php/PCI_passthrough_via_OVMF]]\\ **QEMU/Guest graphics acceleration** [[https://wiki.archlinux.org/index.php/QEMU/Guest_graphics_acceleration|https://wiki.archlinux.org/index.php/QEMU/Guest_graphics_acceleration]]\\ **GPU passthrough tutorial** [[https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/|https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/]]\\ **Single GPU passthrough with QEMU and VFIO** [[https://github.com/joeknock90/Single-GPU-Passthrough|https://github.com/joeknock90/Single-GPU-Passthrough]]\\ **Running Windows 10 on Linux using KVM with VGA Passthrough** [[https://heiko-sieger.info/running-windows-10-on-linux-using-kvm-with-vga-passthrough/|https://heiko-sieger.info/running-windows-10-on-linux-using-kvm-with-vga-passthrough/]]\\ **Looking Glass - an open source application that allows the use of a KVM configured for VGA PCI Pass-through without an attached physical monitor, keyboard or mouse** [[https://github.com/gnif/LookingGlass|https://github.com/gnif/LookingGlass]]\\ **KVM, PCI passthrough, Looking Glass и все-все-все** [[https://habr.com/post/433878/|https://habr.com/post/433878/]]\\ **Nvidia Optimus laptop dGPU passthrough** [[https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28|https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28]]\\ **Dell R710 with GPU Passthrough on Proxmox** [[https://www.youtube.com/watch?v=epNvY_YKPu8|https://www.youtube.com/watch?v=epNvY_YKPu8]]\\ **Building a 2U AMD Ryzen server (Proxmox GPU Passthrough / OBS or Xsplit in VM)** [[http://blog.quindorian.org/2018/03/building-a-2u-amd-ryzen-server-proxmox-gpu-passthrough.html/|http://blog.quindorian.org/2018/03/building-a-2u-amd-ryzen-server-proxmox-gpu-passthrough.html/]]\\ **Разворачиваем виртуалку с Windows с пробросом виртуальной видеокарты с помощью QEMU и Intel GVT-g** [[https://habr.com/ru/post/437270/|https://habr.com/ru/post/437270/]]\\ **Как из домашнего ПК средствами виртуализации сохранить игровую систему nvidia** [[https://habr.com/ru/post/437598/|https://habr.com/ru/post/437598/]]\\ **Primary VGA passthrough in ProxMox** [[https://techblog.jeppson.org/2019/10/primary-vga-passthrough-in-proxmox/|https://techblog.jeppson.org/2019/10/primary-vga-passthrough-in-proxmox/]]\\ **Enable GPU Passthrough on Proxmox VE 6.0** [[https://lunar.computer/posts/gpu-passthrough-proxmox-60/|https://lunar.computer/posts/gpu-passthrough-proxmox-60/]]\\ **NVIDIA GPU passthrough Code 43 error fix NVIDIA GPU passthrough Code 43 error fix** [[https://techblog.jeppson.org/2019/10/proxmox-6-nvidia-gpu-passthrough-fix/|https://techblog.jeppson.org/2019/10/proxmox-6-nvidia-gpu-passthrough-fix/]]\\ **The Ultimate Beginner's Guide to GPU Passthrough (Proxmox, Windows 10)** [[http://www.reddit.com/r/homelab/comments/b5xpua/the_ultimate_beginners_guide_to_gpu_passthrough/|www.reddit.com/r/homelab/comments/b5xpua/the_ultimate_beginners_guide_to_gpu_passthrough/]]\\ **Intel nvidia intel GPU nic network card passthrough spdk sr-iov kata containers** [[https://github.com/kata-containers/documentation/tree/master/use-cases|https://github.com/kata-containers/documentation/tree/master/use-cases]]\\ **Proxmox PCI(e) Passthrough in 2 minutes** [[https://www.reddit.com/r/Proxmox/comments/lcnn5w/proxmox_pcie_passthrough_in_2_minutes/|https://www.reddit.com/r/Proxmox/comments/lcnn5w/proxmox_pcie_passthrough_in_2_minutes/]] **Running macOS on QEMU KVM** [[https://github.com/kholia/OSX-KVM|https://github.com/kholia/OSX-KVM]]\\ **Installing macOS on Proxmox** [[https://www.nicksherlock.com/category/proxmox/|https://www.nicksherlock.com/category/proxmox/]]\\ **Hackintosh-KVM Guide: High Sierra+ Using QEMU’s i440fx Chipset** [[https://passthroughpo.st/hackintosh-kvm-guide-high-sierra-using-qemus-i440fx-chipset/|https://passthroughpo.st/hackintosh-kvm-guide-high-sierra-using-qemus-i440fx-chipset/]] **1C на Proxmox lxc** [[https://habr.com/post/429172/|https://habr.com/post/429172/]] ===== Cluster ===== **Setting up an HA Cluster with Ceph Bluestore** [[https://memo-linux.com/proxmox-5-mise-en-place-dun-cluster-ha-avec-ceph/|https://memo-linux.com/proxmox-5-mise-en-place-dun-cluster-ha-avec-ceph/]]\\ **Proxmox 5: 2-node cluster with replicated storage** [[https://memo-linux.com/proxmox-5-cluster-2-noeuds-avec-un-stockage-replique/|https://memo-linux.com/proxmox-5-cluster-2-noeuds-avec-un-stockage-replique/]]\\ **Надежное хранилище с DRBD9 и Proxmox nfs iscsi lvm** [[https://habr.com/post/417597/|https://habr.com/post/417597/]]\\ **Proxmox cluster over OpenVPN tap** (франц.) [[https://blog.zwindler.fr/2018/06/05/creation-dun-cluster-de-virtualisation-proxmox-ve-5-2-x/|https://blog.zwindler.fr/2018/06/05/creation-dun-cluster-de-virtualisation-proxmox-ve-5-2-x/]]\\ **Setting up a cluster between two Proxmox nodes on different networks over OpenVPN (франц.)** [[https://memo-linux.com/proxmox-creer-un-cluster-multi-sites/|https://memo-linux.com/proxmox-creer-un-cluster-multi-sites/]]\\ **Proxmox Cluster Ceph : migration version 5 vers 6** [[https://memo-linux.com/proxmox-cluster-ceph-migration-version-5-vers-6/|https://memo-linux.com/proxmox-cluster-ceph-migration-version-5-vers-6/]]\\ **Кластеризация в Proxmox VE** [[https://selectel.ru/blog/proxmox-cluster/|https://selectel.ru/blog/proxmox-cluster/]]\\ **Setting up a Proxmox VE cluster with Ceph shared storage** [[https://medium.com/@qwonkiwow/setting-up-a-proxmox-ve-cluster-with-ceph-shared-storage-e7a4f652f321|https://medium.com/@qwonkiwow/setting-up-a-proxmox-ve-cluster-with-ceph-shared-storage-e7a4f652f321]]\\ **Build a hyper-converged cluster with KVM and GlusterFS** [[https://www.servethehome.com/building-a-proxmox-ve-lab-part-1-planning/|https://www.servethehome.com/building-a-proxmox-ve-lab-part-1-planning/]]\\ **ansible-role-proxmox - deploys and configures Proxmox VE 5.x/6.x clusters ceph ipmi** [[https://github.com/lae/ansible-role-proxmox|https://github.com/lae/ansible-role-proxmox]]\\ **Понятно про CEPH** [[https://www.youtube.com/watch?v=PmLPbrf-x9g|https://www.youtube.com/watch?v=PmLPbrf-x9g]]\\ **Полное руководство Ceph** [[http://onreader.mdl.ru/MasteringCeph/content/index.html|http://onreader.mdl.ru/MasteringCeph/content/index.html]]\\ **Книга рецептов Ceph** [[http://onreader.mdl.ru/CephCookbook/content/index.html|http://onreader.mdl.ru/CephCookbook/content/index.html]]\\ **Ceph software defined cloud storage management solution** [[https://croit.io/croit-production-guide|https://croit.io/croit-production-guide]]\\ **Сeph — от «на коленке» до «production»** [[https://habr.com/ru/post/458390/|https://habr.com/ru/post/458390/]]\\ **Install OpenAttic - management and monitoring system for Ceph on Proxmox** https://www.facebook.com/notes/1020044065084925/\\ **Ceph: memory optimization hugepages numa** [[https://ivirt-it.ru/ceph-memory-optimization/|https://ivirt-it.ru/ceph-memory-optimization/]]\\ **Backup And Restore Ceph for Proxmox VE** [[https://github.com/EnterpriseVE/eve4pve-barc|https://github.com/EnterpriseVE/eve4pve-barc]]\\ **Разворачиваем хранилище LINSTOR для Proxmox** DRBD [[https://habr.com/post/423101/|https://habr.com/post/423101/]] ===== SR-IOV ===== **Про SR-IOV** ([[https://habr.com/ru/post/414655/|https://habr.com/ru/post/414655/]]): Про SR-IOV от RedHat: rhelblog.redhat.com/2016/05/23/sr-iov redhatstackblog.redhat.com/2015/03/05/red-hat-enterprise-linux-openstack-platform-6-sr-iov-networking-part-i-understanding-the-basics redhatstackblog.redhat.com/2015/04/29/red-hat-enterprise-linux-openstack-platform-6-sr-iov-networking-part-ii-walking-through-the-implementation Pci Passthrough и технология VT-D — это как раз аппаратный проброс реального устройства в виртуальную машину. Требуется поддержка от процессора и материнской платы. Аналог AMD — IOMMU. При этом гостевая система считает, что к ней подключено полноценное pci устройство с соответствующей же производительностью. Помимо сети так ещё часто подключают видеокарты для игр/расчётов на виртуальной машине. Временами — raid контроллеры, когда гостю требуется полное управление дисковой подсистемой. В простых ситуациях (и в этом посте) используют сетевой мост для связи виртуальной машины с реальным адаптером. При этом практически вся работа ложится на центральный процессор, что не очень хорошо сказывается на времени отклика при высоких нагрузках на систему. Разница между SR-IOV и pci passthrough в том, что для первого метода требуется дополнительная поддержка конкретным устройством (сетевой картой, например). При втором методе пробросить можно что угодно (но тут уже зависит от жадности производителя — nvidia очень не любит проброс видеокарт и пытается заставить людей покупать карты серии Quadro). … Я бы сказал SR-IOV позволяет на одной сетевой карте создать несколько Virtual Function устройств и пробрасывать в виртуалку уже их, а не всю сетевую карту целиком. В итоге они работают почти так же как macvlan, но силами сетевухи: отлавливая пакеты с определенным MAC-адресом. Сделать виртуальный бридж на них не получится. … То есть нарезать ресурсы реальной карты на несколько виртуальных машин, и при этом каждая будет почти на уровне bare-metal работать со всем этим? … Именно так, сами VF, без включения IOMMU можно активировать и на хостовой машине, определяться они будут как отдельное PCI-устройство. Технология IOMMU нужна как раз для того что бы осуществить этот проброс устройства непосредственно в виртуалку. Если ваши мат. платы + cpu + сетевые адаптеры поддерживают SR-IOV (!):\\ [[http://www.osp.ru/lan/2012/05/13015724/|http://www.osp.ru/lan/2012/05/13015724/]]\\ [[https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm|https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm]]\\ [[http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/|http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/]]\\ [[http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/|http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/]]\\ [[https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/|https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/]]\\ **Turn on intel nic SR-IOV and passthrough** [[https://www.facebook.com/notes/chris-hsiang/pve-42|https://www.facebook.com/notes/chris-hsiang/pve-42]]-如何開啟-intel-nic-sr-iov-以及-passthrough/10209002585332379 **Для "счастливых" владельцев HP Proliant поколения G8-** (G9+ вроде починили, **обязательно** обновить BIOS сервера до последней возможной версии) желающих пробросить GPU, raid-контроллер, сетевые адаптеры etc в ВМ и столкнувшимся с невозможностью это сделать ввиду э-э-э, особенностей серверных платформ от HP (ошибки "vfio: failed to set iommu for container: Operation not permitted" и"vfio-pci 0000:0X:YY.Z: Device is ineligible for IOMMU domain attach due to platform RMRR requirement. Contact your platform vendor" при попытке запуска ВМ ) - (Не работает) [[https://forum.proxmox.com/threads/tutorial-compile-proxmox-ve-5-with-patched-intel-iommu-driver-to-remove-rmrr-check.36374/|https://forum.proxmox.com/threads/tutorial-compile-proxmox-ve-5-with-patched-intel-iommu-driver-to-remove-rmrr-check.36374/]] - (Работает, компиляция ядра не требуется, заменить //xenial// на //stretch// ) [[http://www.jimmdenton.com/proliant-intel-dpdk/|http://www.jimmdenton.com/proliant-intel-dpdk/]] P.s. Можно загрузиться в ILO с Live CD того же Linux Mint 19.x , запустить терминал, перейти в учетку root (sudo passwd root → два раза пароль → su - → пароль root) и проделать рабочую процедуру, к-ая описана выше (заменить //xenial// на //bionic// в настройках репозитория, ес-но). **Сетевые адаптеры с поддержкой SR-IOV:** \\ [[http://dpdk.org/doc/nics|http://dpdk.org/doc/nics]] \\ [[https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html|https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html]] \\ [[https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io|https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io]] (в //Features// выбрать //SR-IOV// и нажать //Update and view results// ) P.s. Напр., Asrock AB350 Pro4 при своей достачно скромной цене (в кач-ве мат. платы для сервера) умеет и amd_iommu и sr-iov - осталось только сетевую прикупить. Более того, совсем бюджетные Biostar A320MD PRO\A320MH PRO также умееют и amd_iommu и sr-iov. \\ [[https://forum.netgate.com/login|Авторизуйтесь, чтобы просмотреть]] ===== Zettabyte File System (ZFS) ===== **ZFS: архитектура, особенности и отличия от других файловых систем** [[https://habr.com/ru/company/mailru/blog/529516/|https://habr.com/ru/company/mailru/blog/529516/]] \\ **ZFS for Dummies** [[https://blog.victormendonca.com/2020/11/03/zfs-for-dummies/|https://blog.victormendonca.com/2020/11/03/zfs-for-dummies/]] \\ **An Introduction to ZFS A Place to Start** [[https://www.servethehome.com/an-introduction-to-zfs-a-place-to-start/|https://www.servethehome.com/an-introduction-to-zfs-a-place-to-start/]] \\ **Slideshow explaining VDev, zpool, ZIL and L2ARC for noobs!** [[https://www.ixsystems.com/community/threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/|https://www.ixsystems.com/community/threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/]] \\ **Доступно про ZFS L2ARC, SLOG** [[https://www.ixbt.com/live/data/apacer-nas-ssd-obzor-ssd-sozdannogo-dlya-ispolzovaniya-v-nas.html|https://www.ixbt.com/live/data/apacer-nas-ssd-obzor-ssd-sozdannogo-dlya-ispolzovaniya-v-nas.html]] \\ **Introduction to ZFS** [[https://www.ixsystems.com/community/resources/introduction-to-zfs.111/|https://www.ixsystems.com/community/resources/introduction-to-zfs.111/]] \\ **Мастерство FreeBSD: ZFS для профессионалов** [[http://onreader.mdl.ru/AdvancedZFS/content/index.html|http://onreader.mdl.ru/AdvancedZFS/content/index.html]] \\ **ZFS on Linux wiki** [[https://github.com/zfsonlinux/zfs/wiki|https://github.com/zfsonlinux/zfs/wiki]] \\ **ZFS: Read Me 1st** [[https://blog.cadena-it.com/linux-tips-how-to/zfs-read-me-1st/|https://blog.cadena-it.com/linux-tips-how-to/zfs-read-me-1st/]] \\ **Что такое ZFS? И почему люди от неё без ума?** [[https://habr.com/post/424651/|https://habr.com/post/424651/]] \\ **Преимущества и недостатки ZFS** [[http://www.stargrave.org/ZFS-proscons.html|http://www.stargrave.org/ZFS-proscons.html]] \\ **Features provided by ZFS преимущества** [[http://doc.freenas.org/11/zfsprimer.html|http://doc.freenas.org/11/zfsprimer.html]] \\ **Список литературы про NAS** zfs zlog l2arc [[https://habr.com/post/418091/|https://habr.com/post/418091/]] \\ **Цикл статей о ZFS** [[http://nas-faq.github.io/zfs/|http://nas-faq.github.io/zfs/]] \\ **Hardware recommendation** ssd sata sas raid ashift 4k ecc memory [[http://open-zfs.org/wiki/Hardware|http://open-zfs.org/wiki/Hardware]] \\ **Performance tuning** postgresql mysql logbias ashift ssd l2arc zil compression [[http://open-zfs.org/wiki/Performance_tuning|http://open-zfs.org/wiki/Performance_tuning]] \\ **How to improve ZFS performance** [[https://icesquare.com/wordpress/how-to-improve-zfs-performance/|https://icesquare.com/wordpress/how-to-improve-zfs-performance/]] \\ **ZFS: Тестируем надежность на плохих дисках** [[https://habrahabr.ru/post/347640/|https://habrahabr.ru/post/347640/]] \\ **Use snapshots, clones and replication in ZFS** [[https://www.howtoforge.com/tutorial/how-to-use-snapshots-clones-and-replication-in-zfs-on-linux/|https://www.howtoforge.com/tutorial/how-to-use-snapshots-clones-and-replication-in-zfs-on-linux/]] \\ **VDev, zpool, ZIL and L2ARC for noobs** [[https://forums.freenas.org/index.php?threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/|https://forums.freenas.org/index.php?threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/]] \\ **ZFS Configuration Part 2: ZVols, LZ4, ARC, and ZILs Explained** [[https://passthroughpo.st/zfs-configuration-part-2-zvols-lz4-arc-zils-explained/|https://passthroughpo.st/zfs-configuration-part-2-zvols-lz4-arc-zils-explained/]] \\ **ZFSin: работаем с ZFS нативно под Windows** [[https://habr.com/post/374317/|https://habr.com/post/374317/]] \\ **zpool FAULTED error fix repair recover** [[https://dan.langille.org/2018/11/06/zpool-faulted-too-many-errors/|https://dan.langille.org/2018/11/06/zpool-faulted-too-many-errors/]] \\ **ZnapZend - open source ZFS backup with mbuffer and ssh support perl script** [[http://www.znapzend.org/|http://www.znapzend.org/]] , [[https://forum.proxmox.com/threads/znapzend-backup-generator-script.33309/|https://forum.proxmox.com/threads/znapzend-backup-generator-script.33309/]] \\ **Удалённые инкрементные резервные копии ZFS remote incremental backup snapshot** [[https://habr.com/ru/post/491456/|https://habr.com/ru/post/491456/]] \\ **Battle testing data integrity verification with ZFS, Btrfs and mdadm+dm-integrity** [[http://www.unixsheikh.com/articles/battle-testing-data-integrity-verification-with-zfs-btrfs-and-mdadm-dm-integrity.html|http://www.unixsheikh.com/articles/battle-testing-data-integrity-verification-with-zfs-btrfs-and-mdadm-dm-integrity.html]] \\ **How To Create A NAS Using ZFS and Proxmox (with pictures)** [[https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375|https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375]] \\ **Step by Step Install with UEFI, ZFS, SSD ZIL L2ARC cache, File Server samba raidz template** [[https://forum.proxmox.com/threads/step-by-step-install-w-efi-zfs-ssd-cache-file-server.41619/|https://forum.proxmox.com/threads/step-by-step-install-w-efi-zfs-ssd-cache-file-server.41619/]] \\ **Install Docker on Proxmox, with ZFS, and good performance portainer turbo boost** [[https://forum.level1techs.com/t/gigabyte-server-activity-corner-proxmox-docker-and-config-notes/167614|https://forum.level1techs.com/t/gigabyte-server-activity-corner-proxmox-docker-and-config-notes/167614]] \\ **ZFS Sync storage to Host for Proxmox VE** [[https://github.com/EnterpriseVE/eve4pve-zstorage|https://github.com/EnterpriseVE/eve4pve-zstorage]] \\ **Proxmox rescue mode grub zfs repair** [[https://pvecli.xuan2host.com/proxmox-grub-zfs/|https://pvecli.xuan2host.com/proxmox-grub-zfs/]] \\ **Using ProxMox as a ZFS NAS zfs-zed email postfix sanoid snapshot ups apc nfs samba smart logwatch** [[https://techblog.jeppson.org/2019/08/using-proxmox-as-a-nas/|https://techblog.jeppson.org/2019/08/using-proxmox-as-a-nas/]] \\ ***Проверить, есть ли смысл вкл. deduplication на Вашем пуле** [[https://habr.com/ru/post/328048/#comment_10208284|https://habr.com/ru/post/328048/#comment_10208284]] **Recover files from ZFS snapshot of ProxMox VM** [[https://techblog.jeppson.org/2019/01/recover-files-from-zfs-snapshot-of-proxmox-vm/|https://techblog.jeppson.org/2019/01/recover-files-from-zfs-snapshot-of-proxmox-vm/]] \\ **Восстановление из любого snapshot-а (а не только с последнего)** [[https://forum.proxmox.com/threads/cloning-a-vm-from-snapshot-not-working.34247/|https://forum.proxmox.com/threads/cloning-a-vm-from-snapshot-not-working.34247/]] \\ На пальцах: - Создать новую VM с размером hdd равным размеру клонируемой. Не запускать VM. - Выполнить: zfs list # просмотр списка вирт. машин zfs clone rpool/data/vm--disk-@ rpool/data/vm--disk--clone dd if=/dev/zvol/rpool/data/vm--disk--clone of=/dev/zvol/rpool/data/vm--disk- bs=4096 zfs destroy rpool/data/vm--disk--clone **SMR: новая технология записи делает HDD непригодными для работы в RAID** [[https://www.linux.org.ru/news/hardware/15692989|https://www.linux.org.ru/news/hardware/15692989]] \\ **Потеря данных из-за несовместимости ZFS с WD SMR дисками** [[https://www.linux.org.ru/forum/talks/15680121|https://www.linux.org.ru/forum/talks/15680121]] \\ Таблица моделей HDD [[https://www.mobibrw.com/2020/22727|https://www.mobibrw.com/2020/22727]] ===== SCT Error Recovery Control ===== **Что такое на самом деле 'raid edition' для жёстких дисков** [[https://geektimes.ru/post/92701/|https://geektimes.ru/post/92701/]] \\ **Enabling CCTL/TLER** [[https://b3n.org/best-hard-drives-for-zfs-server/|https://b3n.org/best-hard-drives-for-zfs-server/]] \\ **SCT Error Recovery Control in RAID drives** [[https://rolandschnabel.de/blog/?p=75|https://rolandschnabel.de/blog/?p=75]] \\ **Checking for TLER, ERC, etc. support on a drive** [[https://forums.freenas.org/index.php?threads/checking-for-tler-erc-etc-support-on-a-drive.27126/|https://forums.freenas.org/index.php?threads/checking-for-tler-erc-etc-support-on-a-drive.27126/]] \\ **Linux Software RAID and drive timeouts** [[http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/|http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/]] \\ Т.е. если вы собираете zfs raid-z**1***//2//**//3//* массив, то вкл. вышеописанного поможет сократить время для восстановления, \\ если же собираетесь использовать zfs raid-**0***//1// **//10//*, то вкл. не нужно. ===== Open vSwitch (OVS) ===== **Open vSwitch** — программный многоуровневый коммутатор с открытым исходным текстом, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. **Основные возможности коммутатора:** \\ Учёт трафика, в том числе проходящего между виртуальными машинами с использованием SPAN/RSPAN, sFlow[en] и Netflow. \\ Поддержка VLAN (IEEE 802.1q). \\ Привязка к конкретным физическим интерфейсам и балансировка нагрузки по исходящим MAC-адресам. \\ Работа на уровне ядра, поддержка существующих возможностей Linux по работе в качестве моста. \\ Поддерживает Openflow для управления логикой коммутации. \\ Помимо режима на уровне ядра, с меньшей производительностью open vSwitch может работать и с правами пользователя (вне ядра). **Основные области применения:** \\ Замена обычных bridgetools. \\ Использование в составе Xen Server, Xen Cloud Platform, KVM, VirtualBox, QEMU, ProxMox (начиная с 2.3) \\ QoS, GRE-туннелирование, индивидуальные политики для виртуальных машин, а также возможность агрегации портов с распределением нагрузки. **Open vSwitch Command Reference** [[https://docs.pica8.com/display/PICOS2111cg/PicOS+Open+vSwitch+Command+Reference|https://docs.pica8.com/display/PICOS2111cg/PicOS+Open+vSwitch+Command+Reference]] \\ **Open vSwitch - Proxmox VE** [[https://pve.proxmox.com/wiki/Open_vSwitch|https://pve.proxmox.com/wiki/Open_vSwitch]] \\ **Примеры создания vlan, bond, bridge, OVSIntPort** [[https://forum.pfsense.org/index.php?topic=139045.0|https://forum.pfsense.org/index.php?topic=139045.0]], [[https://forum.proxmox.com/threads/vlan-tag.38051/|https://forum.proxmox.com/threads/vlan-tag.38051/]] \\ **OpenVswitch vlan trunk gre vxlan span rspan mirror lacp bonding** [[https://gns3.com/news/article/containers-in-gns3-series-advanc|https://gns3.com/news/article/containers-in-gns3-series-advanc]] \\ **Описание openvswitch fake bridge internal port bond** [[https://www.altlinux.org/Etcnet/openvswitch|https://www.altlinux.org/Etcnet/openvswitch]] \\ **Проброс VLAN-ов через интернет openvpn OVSIntPort** [[https://habrahabr.ru/post/239729/|https://habrahabr.ru/post/239729/]] \\ **Security Onion & Proxmox SPAN Port mirror** [[https://beyondtheory.io/blog/virtualization/security-onion-proxmox/|https://beyondtheory.io/blog/virtualization/security-onion-proxmox/]] –> Использование Open vSwitch в Proxmox: Установка: ''apt-get clean; apt-get update; apt-get install -y openvswitch-switch '' Переключение на ovs в gui : \\ 1. Delete the vmbr0 (Linux bridge) **# линк с Proxmox не потеряется, не бойтесь** \\ 2. Create vmbr0 as ovs-bridge with your IP/MASK/Gateway and Bridge ports [ethX] # вместо **ethX** - имя вашего физ. интерфейса \\ 3. Reboot. По [[https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/|https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/]] поясню немного : \\ Добавить ВМ в определенный vlan можно в GUI, указав нужный VLAN Tag в настройках сети ВМ. Это аналог untag\access порта на железном свитче. Задействовать назначенный выше vlan можно без перезагрузки ВМ, просто выкл\вкл сетевой интерфейс непосредственно в ВМ. Если хотите, чтобы ВМ находилась в опред. vlan и при этом могла "слушать" трафик из др. vlan-ов, то [[https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/|https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/]] \\ Или создать еще один OVS IntPort в GUI. В настройках указать необходимые вам параметры для VLAN (и не только для VLAN). И прицепить созданный интерфейс к ВМ. Но после создания OVS IntPort понадобится перезагрузка всего хоста. \\ Также можно объединять интерфейсы (bonding), настраивать балансировку\отказоустойчивость (LACP) - [[https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/|https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/]] По ссылке **Proxmox. Полное руководство. 2е изд** есть глава, посвященная Ovs - [[http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html|http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html]] [[https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/|https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/]] \\ 2-ая страница крайне интересна. Есть про удаленную установка из .iso, используя qemu и vnc. Таким образом можно устанавливать любой дистрибутив linux. ===== Pfsense ===== **Virtualizing pfSense on VMware vSphere/ESXi, Proxmox, Xen, KVM, Hyper-V** [[https://www.netgate.com/docs/pfsense/virtualization/index.html|https://www.netgate.com/docs/pfsense/virtualization/index.html]] \\ **HOW TO: 2.4.0 ZFS Install, RAM Disk, Hot Spare, Snapshot, Resilver Root Drive** [[https://forum.netgate.com/topic/112490/how-to-2-4-0-zfs-install-ram-disk-hot-spare-snapshot-resilver-root-drive|https://forum.netgate.com/topic/112490/how-to-2-4-0-zfs-install-ram-disk-hot-spare-snapshot-resilver-root-drive]] \\ **pfSense VLANs on Proxmox** (исп-ся linux bridge) [[https://www.linuxincluded.com/pfsense-vlans-on-proxmox/|https://www.linuxincluded.com/pfsense-vlans-on-proxmox/]] Нюансы работы **pfsense** в Proxmox: I've got a fresh install of 2.3.3-RELEASE-p1 (amd64), running on ovirt (kvm). My guests (only have linux guests) could ping out, but no udp or tcp. Just selecting the **"Disable hardware checksum offload"** and rebooting (though I didn't check without rebooting) the pfsense instance did the trick. I didn't need to change anything on the ovirt/kvm hypervisor - the default offload settings are in place. All guests (pfsense and the linux ones) are using virtio network drivers. ===== Microsoft Windows OS ===== Рекомендации для гостевых ОС семейства **Microsoft Windows**: \\ [[https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices|https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices]] \\ [[https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices|https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices]] \\ [[https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve|https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve]] VMware OS Optimization Tool - оптимизация Windows в виртуальной среде (подойдет и для proxmox) [[https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/|https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/]] CloneDisk – clone,backup,restore raw vhd vmdk iso imdisk [[http://labalec.fr/erwan/?page_id=42|http://labalec.fr/erwan/?page_id=42]] ===== Misc ===== **→zswap** [[https://www.hippolab.ru/linux-zswap-dayte-mashine-shans|https://www.hippolab.ru/linux-zswap-dayte-mashine-shans]], [[https://wiki.archlinux.org/index.php/Zswap|https://wiki.archlinux.org/index.php/Zswap]] , [[http://ru.knowledgr.com/19459262/Zswap|http://ru.knowledgr.com/19459262/Zswap]] , [[http://linuxoidblog.blogspot.com/2015/12/zram-zswap.html|http://linuxoidblog.blogspot.com/2015/12/zram-zswap.html]] **Script for creating hybrid swap space from zram swaps, swap files and swap partitions** [[https://github.com/Nefelim4ag/systemd-swap|https://github.com/Nefelim4ag/systemd-swap]] Вкратце, это технология, позволяющая оптимизировать работу ядра со swap - хранилищем избыточных страниц памяти. **Включение и использование ZSWAP** в Proxmox VE и любом современном дистр-ве Linux с ядром >= 3.11 Обновляемся: ''apt-get clean; apt-get update; apt-get full-upgrade -y; apt-get autoremove –purge -y; apt-get autoclean'' \\ Перезагружаемся: ''reboot'' \\ Проверяем включено ли в ядре: ''cat /boot/config-$(uname) | grep -i zswap'' \\ Если все ОК: ''CONFIG_ZSWAP=y'' \\ Правим GRUB : '' mkdir -vp /etc/default/grub.d'' \\ На выбор: LZ4: ''echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT zswap.enabled=1 zswap.compressor=lz4 zswap.zpool=z3fold zswap.max_pool_percent=25"' > /etc/default/grub.d/zswap.cfg'' \\ или ZSTD: ''echo 'GRUB_CMDLINE_LINUX_DEFAULT="$GRUB_CMDLINE_LINUX_DEFAULT zswap.enabled=1 zswap.compressor=zstd zswap.zpool=z3fold zswap.max_pool_percent=25"' > /etc/default/grub.d/zswap.cfg'' \\ ''update-grub'' \\ Вкл. модули: ''cp -fv /etc/initramfs-tools/modules{,.orig} \\ for module in lz4 lz4_compress zstd zstd_compress z3fold \\ do grep -qx "${module}" /etc/initramfs-tools/modules || echo "${module}" >> /etc/initramfs-tools/modules \\ done \\ update-initramfs -u -k all'' \\ Перезагрузка: \\ ''reboot'' \\ Проверяем: \\ ''dmesg | grep -i zswap'' \\ Должно быть: \\ Если выбран LZ4: \\ … \\ zswap: loaded using pool lz4/z3fold \\ … \\ Для ZSTD: \\ … \\ zswap: loaded using pool zstd/z3fold \\ … \\ **Получаем статистику по ZSWAP:** \\ Статистика: \\ ''watch -n1 grep -R . /sys/kernel/debug/zswap/'' \\ Сжатие: \\ ''cd /sys/kernel/debug/zswap \\ watch -n1 -x perl -E "say $(cat stored_pages) * 4096 / $(cat pool_total_size)"'' \\ Текущие настройки: \\ ''grep -R . /sys/module/zswap'' \\ **Прим.** Касаемо строки ''zswap.zpool=z3fold'' По умолчанию на данный момент в linux испол-ся zbud в кач-ве memory allocator. Он обкатан и надежен и работает на любом "железе", но появился более эффективный z3fold: The zpool parameter controls the management of the compressed memory pool, it is by default set to zbud. With the zbud data allocator, 2 compressed objects are stored into 1 page which limits the compression ratio to 2 or less. The superior z3fold allocator allows up to 3 compressed objects by page. The compression ratio with **z3fold typically averages 2.7** while it is 1.7 for zbud. \\ Однако, следует помнить, что компрессия требует вычислительных мощностей. И чем сильнее сжатие, тем выше требования к "железу". **Turn off Spectre and Meltdown vulnerability patch in Windows and Linux** [[https://heiko-sieger.info/low-2d-graphics-benchmark-with-windows-10-1803-kvm-vm/|https://heiko-sieger.info/low-2d-graphics-benchmark-with-windows-10-1803-kvm-vm/]] \\ **Remove old kernel packages script on Linux distros or Proxmox** (для proxmox 6+ уже не актуально - автоматом сохраняются 2 последние версии ядра для загрузки) [[https://github.com/algodelinux/purge-old-kernels|https://github.com/algodelinux/purge-old-kernels]] [[https://enavas.blogspot.com/2017/01/modificado-purge-old-kernels-para.html|https://enavas.blogspot.com/2017/01/modificado-purge-old-kernels-para.html]] \\ **Guide to crossflashing LSI\Avago 9211 HBA Dell H200 PERC Fujitsu D2607 IBM M1015 and variants IT or IR mode** [[https://forums.freenas.org/index.php?resources/detailed-newcomers-guide-to-crossflashing-lsi-9211-hba-and-variants.54/|https://forums.freenas.org/index.php?resources/detailed-newcomers-guide-to-crossflashing-lsi-9211-hba-and-variants.54/]] \\ **LSI RAID Controller and HBA Complete Listing Plus OEM Models** [[https://forums.servethehome.com/index.php?threads/lsi-raid-controller-and-hba-complete-listing-plus-oem-models.599/|https://forums.servethehome.com/index.php?threads/lsi-raid-controller-and-hba-complete-listing-plus-oem-models.599/]] \\ **Flashing firmware and BIOS on LSI SAS HBAs** [[https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas|https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas]] \\ **Flashing LSI HBA\IBM ServeRAID M1015 to IT mode or IR Mode** [[https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/|https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/]] **→FOG Project** FOG можно использовать: * как систему резервного копирования, создавая по расписанию снимки разделов , установив клиента и разворачивать эти снимки по сети на др. компьютеры в сети (у меня с помощью sysprep и FOG созданы эталонные образы Windows, к-ые я разворачиваю по сети); * как систему P2V\V2V\V2P-миграции; * загружать по сети все, что может загружаться по сети - windows, linux, антивирусные live-cd ([[https://www.comss.ru/list.php?c=bootcd|https://www.comss.ru/list.php?c=bootcd]]) , ПО для брендового серверного оборудования HP, Dell , загружать тонкие клиенты etc. **An Introduction to Free-Open Source Ghost (FOG**) [[https://linuxhint.com/introduction-to-free-open-source-ghost/|https://linuxhint.com/introduction-to-free-open-source-ghost/]] \\ **Install FOG Server on Ubuntu** [[https://www.ceos3c.com/sysadmin/install-fog-server-ubuntu-server-16-04-lts-ultimate-guide-virtualbox/|https://www.ceos3c.com/sysadmin/install-fog-server-ubuntu-server-16-04-lts-ultimate-guide-virtualbox/]] \\ **Create a Generalized Windows 10 Image (sysprep) and Deploy it with FOG Server** [[https://www.ceos3c.com/sysadmin/create-generalized-windows-10-image-deploy-fog-server/|https://www.ceos3c.com/sysadmin/create-generalized-windows-10-image-deploy-fog-server/]] **Установка Proxmox по сети (PXE\iPXE\HTTP) с помощью FOG Project** ([[https://fogproject.org/|https://fogproject.org/]]) - a free open-source network computer cloning and management solution (некий аналог WDS (Windows Deployment Services)) Скрипт модификации образа Proxmox VE для загрузки по сети [[https://github.com/morph027/pve-iso-2-pxe|https://github.com/morph027/pve-iso-2-pxe]] \\ Меню FOG-а для Proxmox : kernel http://${fog-ip}/fog/isos/proxmox/linux26 vga=791 video=vesafb:ywrap,mtrr ramdisk_size=16777216 rw quiet splash=silent initrd http://${fog-ip}/fog/isos/proxmox/initrd.iso.img boot **Загрузка c .iso в FOG Project:** \\ Add an ISO entry in the iPXE Boot menu [[https://memo-linux.com/fog-ajouter-une-entree-dans-le-menu-ipxe-boot/|https://memo-linux.com/fog-ajouter-une-entree-dans-le-menu-ipxe-boot/]] \\ Booting MDT 2013 LiteTouch with FOG [[https://forums.fogproject.org/topic/6284/booting-mdt-2013-litetouch-with-fog/25|https://forums.fogproject.org/topic/6284/booting-mdt-2013-litetouch-with-fog/25]] \\ ISO's in FOG PXE [[https://community.spiceworks.com/topic/997567-iso-s-in-fog-pxe|https://community.spiceworks.com/topic/997567-iso-s-in-fog-pxe]] \ [[https://youtu.be/KYp-XVPxg3I|https://youtu.be/KYp-XVPxg3I]] \\ Advanced Boot Menu Configuration options [[https://wiki.fogproject.org/wiki/index.php/Advanced_Boot_Menu_Configuration_options|https://wiki.fogproject.org/wiki/index.php/Advanced_Boot_Menu_Configuration_options]] \\ Include any ISO in the FOG Bootmenu [[https://wiki.fogproject.org/wiki/index.php?title=Include_any_ISO_in_the_FOG_Bootmenu|https://wiki.fogproject.org/wiki/index.php?title=Include_any_ISO_in_the_FOG_Bootmenu]]