FAQ-1

Proxmox VE Documentation https://pve.proxmox.com/pve-docs/
Proxmox. Полное руководство. 2е изд. http://support.mdl.ru/MasteringProxmox.2ed/content/index.html
Proxmox. Полное руководство. 3е изд. (ожидается перевод) http://onreader.mdl.ru/MasteringProxmox.3ed/content/index.html
Книга рецептов Proxmox http://onreader.mdl.ru/ProxmoxCookbook/content/index.html
Полная виртуализация. Базовая коммерческая редакция: Proxmox-freeNAS-Zentyal-pfSense http://onreader.mdl.ru/VirtualizationComplete/content/index.html
Proxmox install on NVMe ssd intel 10gig nic ups nut rootdelay ntp postfix vlan smartmontools pci passthrough iommu https://nguvu.org/proxmox/proxmox-install/
Proxmox - Indie IT Wiki http://wiki.indie-it.com/wiki/Proxmox
Script to install Proxmox 5.x and 6.x on a Dedicated Hetzner Server https://schaal-it.com/script-to-install-proxmox-5-x-and-6-x-on-a-dedicated-hetzner-server/
Configure the Proxmox firewall https://www.kiloroot.com/secure-proxmox-install-sudo-firewall-with-ipv6-and-more-how-to-configure-from-start-to-finish/
Rename a node (франц.) https://memo-linux.com/proxmox-renommer-un-noeud/
Proxmox and let's encrypt with acme https://blog.chasefox.net/proxmox-lets-encrypt/
Virtualisierung (нем.) https://deepdoc.at/dokuwiki/doku.php?id=virtualisierung
Differential backups patch - https://github.com/ayufan/pve-patches
Installing Docker on Proxmox https://www.reddit.com/r/Proxmox/comments/ifeni2/bestsolid_tut_for_installing_docker_on_promox_62/
Install Docker with Rancher and DockerUI webgui on a Proxmox or Debian https://www.solaris-cookbook.eu/linux/debian-proxmox-install-docker-with-rancher-and-dockerui-webgui/
Proxmox performance monitoring zfs watch iostat glances netdata pidstat iotop blkid udevadm http://blog.jason.tools/2019/01/disk-perf-issue.html
Display CPU temperature in Proxmox VE dashboard with lm-sensors http://everun.top/helpcenter/others/pve-tips-2.html
Статьи proxmox pfsense sr-iov (кит.) https://pvecli.xuan2host.com/
Proxmox mit Grafana überwachen https://www.bachmann-lan.de/proxmox-mit-grafana-ueberwachen/
Извлечение конкретной директории из бекапа Proxmox (*.vma.lzo) для VDS c FreeBSD https://www.flynet.pro/ru/blog/izvlechenie-konkretnoy-direktorii-iz-bekapa-proxmox-vmalzo-dlya-vds-c-freebsd
OSFMount - Mount Disk Images & Create RAM Drives img dd E01 VHD ISO bin vmdk https://www.osforensics.com/tools/mount-disk-images.html
Настраиваем сеть в Proxmox Virtual Environment https://interface31.ru/tech_it/2019/10/nastraivaem-set-v-proxmox-ve.html
Fix Proxmox VE (PVE) noVNC/console not working in iOS/iPhone/iPad Safari/Web Browser https://dannyda.com/2020/05/15/how-to-fix-proxmox-ve-pve-novnc-console-not-working-in-ios-iphone-ipad-safari-web-browser-etc-failed-to-connect-to-server/
Backup and Restore Proxmox VE host using UrBackup https://dannyda.com/2020/05/28/how-to-backup-proxmox-ve-host/
Run Wireguard over port 443 in an unprivileged LXC container behind a nginx reverse proxy with DNS security https://www.reddit.com/r/Proxmox/comments/katrzd/how_to_run_wireguard_over_port_443_in_an/
Proxmox PVE Host Config Backup Script https://gist.github.com/mrpeardotnet/6bdc4b504f43ce57fa7eaee96d376edf
Efficient backup of lxc containers in Proxmox https://it-notes.dragas.net/2020/10/06/efficient-backup-of-lxc-containers-in-proxmox/
Use watchdog to reboot stuck servers
https://it-notes.dragas.net/2018/09/16/proxmox-enable-and-use-watchdog-to-reboot-stuck-servers/
https://tompaw.net/proxmox-vm-watchdogs/
https://forum.proxmox.com/threads/i6300esb-watchdog-in-windows-help-needed.37990/
https://github.com/dmitriypavlov/pve-watchdog
Экономим место на дисках вирт. машин https://pve.proxmox.com/wiki/Shrink_Qcow2_Disk_Files , https://www.belug.de/howtos-using_trim_inside_virtual_machines.html
Turnkeylinux templates lxc http://mirror.turnkeylinux.org/turnkeylinux/images/proxmox/
Запускаем kubernetes внутри LXC https://habr.com/post/420913/
Инкрементальный бэкап в Proxmox VE с помощью VBR (Veeam Backup&Replication) incremental backup https://selectel.ru/blog/proxmox-veeam-backup/
All-In-One: Proxmox + OpenMediaVault или ещё одна идея для домашнего NAS https://habr.com/ru/post/328048/
Proxmox VE + NextCloud + OpenMediaVault + OpenLDAP https://becoder.org/diynas-pve-nextcloud-omv4-openldap-3/
Sécurisons le login sous Proxmox par fail2ban email https://jeedom-facile.fr/index.php/2018/12/05/securisation-du-login-sous-proxmox/
*Post install script (convert from LVM to ZFS, create ZFS from devices, creates default routes to allow for extra ip ranges to be used, create private mesh vpn/network using Tinc) https://github.com/extremeshok/xshok-proxmox
Proxmox: Automatische Snapshots einrichten https://techlr.de/proxmox-automatische-snapshots-einrichten/
Automatic snapshot tool for Proxmox VE https://github.com/EnterpriseVE/eve4pve-autosnap
A set of Proxmox VE scripts that aids with suspend/resume and cpu pinning https://github.com/ayufan/pve-helpers
proxmox ve tools script (debian9+ can use it) email, samba, NFS, set zfs max ram, nested virtualization, docker, pci passthrough etc https://github.com/ivanhao/pvetools
Терминальный сервер XRDP Debian 9.3 в LXC контейнере Proxmox VE 5.1 https://a-katyrev.blogspot.com/2018/08/debian-93-lxc-proxmox-ve-51-1.htm
Setting Up Proxmox with Shared Storage over Infiniband https://tech-jungle.com/setting-up-proxmox-with-shared-storage-over-infiniband/
Быстрая сеть в домашней лаборатории или как я связался с InfiniBand https://habr.com/ru/post/529906/
Использование недорогих 10/40 Гбит/с сетевых адаптеров с интерфейсом HP FlexibleLOM https://habr.com/ru/post/529732/
Настройка NUT для управления ИБП с нескольких серверов ups apc usb windows debian
https://blog.programs74.ru/how-to-installing-and-configuring-nut/

Glossary of Virtualization Terms iommu acs vfio ovmf https://heiko-sieger.info/glossary-of-virtualization-terms/
What is IOMMU and why do I need it? https://heiko-sieger.info/iommu-groups-what-you-need-to-consider/
PCI passthrough via OVMF https://wiki.archlinux.org/index.php/PCI_passthrough_via_OVMF
QEMU/Guest graphics acceleration https://wiki.archlinux.org/index.php/QEMU/Guest_graphics_acceleration
GPU passthrough tutorial https://forum.proxmox.com/threads/gpu-passthrough-tutorial-reference.34303/
Single GPU passthrough with QEMU and VFIO https://github.com/joeknock90/Single-GPU-Passthrough
Running Windows 10 on Linux using KVM with VGA Passthrough https://heiko-sieger.info/running-windows-10-on-linux-using-kvm-with-vga-passthrough/
Looking Glass - an open source application that allows the use of a KVM configured for VGA PCI Pass-through without an attached physical monitor, keyboard or mouse https://github.com/gnif/LookingGlass
KVM, PCI passthrough, Looking Glass и все-все-все https://habr.com/post/433878/
Nvidia Optimus laptop dGPU passthrough https://gist.github.com/Misairu-G/616f7b2756c488148b7309addc940b28
Dell R710 with GPU Passthrough on Proxmox https://www.youtube.com/watch?v=epNvY_YKPu8
Building a 2U AMD Ryzen server (Proxmox GPU Passthrough / OBS or Xsplit in VM) http://blog.quindorian.org/2018/03/building-a-2u-amd-ryzen-server-proxmox-gpu-passthrough.html/
Разворачиваем виртуалку с Windows с пробросом виртуальной видеокарты с помощью QEMU и Intel GVT-g https://habr.com/ru/post/437270/
Как из домашнего ПК средствами виртуализации сохранить игровую систему nvidia https://habr.com/ru/post/437598/
Primary VGA passthrough in ProxMox https://techblog.jeppson.org/2019/10/primary-vga-passthrough-in-proxmox/
Enable GPU Passthrough on Proxmox VE 6.0 https://lunar.computer/posts/gpu-passthrough-proxmox-60/
NVIDIA GPU passthrough Code 43 error fix NVIDIA GPU passthrough Code 43 error fix https://techblog.jeppson.org/2019/10/proxmox-6-nvidia-gpu-passthrough-fix/
The Ultimate Beginner's Guide to GPU Passthrough (Proxmox, Windows 10) www.reddit.com/r/homelab/comments/b5xpua/the_ultimate_beginners_guide_to_gpu_passthrough/
Intel nvidia intel GPU nic network card passthrough spdk sr-iov kata containers https://github.com/kata-containers/documentation/tree/master/use-cases
Proxmox PCI(e) Passthrough in 2 minutes https://www.reddit.com/r/Proxmox/comments/lcnn5w/proxmox_pcie_passthrough_in_2_minutes/

Running macOS on QEMU KVM https://github.com/kholia/OSX-KVM
Installing macOS on Proxmox https://www.nicksherlock.com/category/proxmox/
Hackintosh-KVM Guide: High Sierra+ Using QEMU’s i440fx Chipset https://passthroughpo.st/hackintosh-kvm-guide-high-sierra-using-qemus-i440fx-chipset/

1C на Proxmox lxc https://habr.com/post/429172/

Setting up an HA Cluster with Ceph Bluestore https://memo-linux.com/proxmox-5-mise-en-place-dun-cluster-ha-avec-ceph/
Proxmox 5: 2-node cluster with replicated storage https://memo-linux.com/proxmox-5-cluster-2-noeuds-avec-un-stockage-replique/
Надежное хранилище с DRBD9 и Proxmox nfs iscsi lvm https://habr.com/post/417597/
Proxmox cluster over OpenVPN tap (франц.) https://blog.zwindler.fr/2018/06/05/creation-dun-cluster-de-virtualisation-proxmox-ve-5-2-x/
Setting up a cluster between two Proxmox nodes on different networks over OpenVPN (франц.) https://memo-linux.com/proxmox-creer-un-cluster-multi-sites/
Proxmox Cluster Ceph : migration version 5 vers 6 https://memo-linux.com/proxmox-cluster-ceph-migration-version-5-vers-6/
Кластеризация в Proxmox VE https://selectel.ru/blog/proxmox-cluster/
Setting up a Proxmox VE cluster with Ceph shared storage https://medium.com/@qwonkiwow/setting-up-a-proxmox-ve-cluster-with-ceph-shared-storage-e7a4f652f321
Build a hyper-converged cluster with KVM and GlusterFS https://www.servethehome.com/building-a-proxmox-ve-lab-part-1-planning/
ansible-role-proxmox - deploys and configures Proxmox VE 5.x/6.x clusters ceph ipmi https://github.com/lae/ansible-role-proxmox
Понятно про CEPH https://www.youtube.com/watch?v=PmLPbrf-x9g
Полное руководство Ceph http://onreader.mdl.ru/MasteringCeph/content/index.html
Книга рецептов Ceph http://onreader.mdl.ru/CephCookbook/content/index.html
Ceph software defined cloud storage management solution https://croit.io/croit-production-guide
Сeph — от «на коленке» до «production» https://habr.com/ru/post/458390/
Install OpenAttic - management and monitoring system for Ceph on Proxmox https://www.facebook.com/notes/1020044065084925/
Ceph: memory optimization hugepages numa https://ivirt-it.ru/ceph-memory-optimization/
Backup And Restore Ceph for Proxmox VE https://github.com/EnterpriseVE/eve4pve-barc
Разворачиваем хранилище LINSTOR для Proxmox DRBD https://habr.com/post/423101/

Про SR-IOV (https://habr.com/ru/post/414655/):

Про SR-IOV от RedHat:
rhelblog.redhat.com/2016/05/23/sr-iov
redhatstackblog.redhat.com/2015/03/05/red-hat-enterprise-linux-openstack-platform-6-sr-iov-networking-part-i-understanding-the-basics
redhatstackblog.redhat.com/2015/04/29/red-hat-enterprise-linux-openstack-platform-6-sr-iov-networking-part-ii-walking-through-the-implementation
Pci Passthrough и технология VT-D — это как раз аппаратный проброс реального устройства в виртуальную машину.
Требуется поддержка от процессора и материнской платы. Аналог AMD — IOMMU. При этом гостевая система считает, что к ней подключено полноценное pci устройство с соответствующей же производительностью. 
Помимо сети так ещё часто подключают видеокарты для игр/расчётов на виртуальной машине. Временами — raid контроллеры, когда гостю требуется полное управление дисковой подсистемой.
В простых ситуациях (и в этом посте) используют сетевой мост для связи виртуальной машины с реальным адаптером. 
При этом практически вся работа ложится на центральный процессор, что не очень хорошо сказывается на времени отклика при высоких нагрузках на систему.
Разница между SR-IOV и pci passthrough в том, что для первого метода требуется дополнительная поддержка конкретным устройством (сетевой картой, например). 
При втором методе пробросить можно что угодно (но тут уже зависит от жадности производителя — nvidia очень не любит проброс видеокарт и пытается заставить людей покупать карты серии Quadro).
…
Я бы сказал SR-IOV позволяет на одной сетевой карте создать несколько Virtual Function устройств и пробрасывать в виртуалку уже их, а не всю сетевую карту целиком.
В итоге они работают почти так же как macvlan, но силами сетевухи: отлавливая пакеты с определенным MAC-адресом. Сделать виртуальный бридж на них не получится.
…
То есть нарезать ресурсы реальной карты на несколько виртуальных машин, и при этом каждая будет почти на уровне bare-metal работать со всем этим?
…
Именно так, сами VF, без включения IOMMU можно активировать и на хостовой машине, определяться они будут как отдельное PCI-устройство.
Технология IOMMU нужна как раз для того что бы осуществить этот проброс устройства непосредственно в виртуалку.

Если ваши мат. платы + cpu + сетевые адаптеры поддерживают SR-IOV (!):
http://www.osp.ru/lan/2012/05/13015724/
https://software.intel.com/en-us/articles/configure-sr-iov-network-virtual-functions-in-linux-kvm
http://blog.pichuang.com.tw/Enable-SR-IOV-on-Proxmox/
http://enricorossi.org/blog/2016/intel_sr-iov_on_Debian_Stretch/
https://forum.proxmox.com/threads/cannot-use-sr-iov-on-proxmox.27045/
Turn on intel nic SR-IOV and passthrough https://www.facebook.com/notes/chris-hsiang/pve-42-如何開啟-intel-nic-sr-iov-以及-passthrough/10209002585332379

Для «счастливых» владельцев HP Proliant поколения G8- (G9+ вроде починили, обязательно обновить BIOS сервера до последней возможной версии) желающих пробросить GPU, raid-контроллер, сетевые адаптеры etc в ВМ и столкнувшимся с невозможностью это сделать ввиду э-э-э, особенностей серверных платформ от HP (ошибки «vfio: failed to set iommu for container: Operation not permitted» и«vfio-pci 0000:0X:YY.Z: Device is ineligible for IOMMU domain attach due to platform RMRR requirement. Contact your platform vendor» при попытке запуска ВМ )

1. (Не работает) https://forum.proxmox.com/threads/tutorial-compile-proxmox-ve-5-with-patched-intel-iommu-driver-to-remove-rmrr-check.36374/
2. (Работает, компиляция ядра не требуется, заменить xenial на stretch ) http://www.jimmdenton.com/proliant-intel-dpdk/

P.s. Можно загрузиться в ILO с Live CD того же Linux Mint 19.x , запустить терминал, перейти в учетку root (sudo passwd root → два раза пароль → su - → пароль root) и проделать рабочую процедуру, к-ая описана выше (заменить xenial на bionic в настройках репозитория, ес-но).

Сетевые адаптеры с поддержкой SR-IOV:
http://dpdk.org/doc/nics
https://www.intel.com/content/www/us/en/support/articles/000005722/network-and-i-o/ethernet-products.html
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=io (в Features выбрать SR-IOV и нажать Update and view results )

P.s. Напр., Asrock AB350 Pro4 при своей достачно скромной цене (в кач-ве мат. платы для сервера) умеет и amd_iommu и sr-iov - осталось только сетевую прикупить. Более того, совсем бюджетные Biostar A320MD PRO\A320MH PRO также умееют и amd_iommu и sr-iov.
Авторизуйтесь, чтобы просмотреть

ZFS: архитектура, особенности и отличия от других файловых систем https://habr.com/ru/company/mailru/blog/529516/
ZFS for Dummies https://blog.victormendonca.com/2020/11/03/zfs-for-dummies/
An Introduction to ZFS A Place to Start https://www.servethehome.com/an-introduction-to-zfs-a-place-to-start/
Slideshow explaining VDev, zpool, ZIL and L2ARC for noobs! https://www.ixsystems.com/community/threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/
Доступно про ZFS L2ARC, SLOG https://www.ixbt.com/live/data/apacer-nas-ssd-obzor-ssd-sozdannogo-dlya-ispolzovaniya-v-nas.html
Introduction to ZFS https://www.ixsystems.com/community/resources/introduction-to-zfs.111/
Мастерство FreeBSD: ZFS для профессионалов http://onreader.mdl.ru/AdvancedZFS/content/index.html
ZFS on Linux wiki https://github.com/zfsonlinux/zfs/wiki
ZFS: Read Me 1st https://blog.cadena-it.com/linux-tips-how-to/zfs-read-me-1st/
Что такое ZFS? И почему люди от неё без ума? https://habr.com/post/424651/
Преимущества и недостатки ZFS http://www.stargrave.org/ZFS-proscons.html
Features provided by ZFS преимущества http://doc.freenas.org/11/zfsprimer.html
Список литературы про NAS zfs zlog l2arc https://habr.com/post/418091/
Цикл статей о ZFS http://nas-faq.github.io/zfs/
Hardware recommendation ssd sata sas raid ashift 4k ecc memory http://open-zfs.org/wiki/Hardware
Performance tuning postgresql mysql logbias ashift ssd l2arc zil compression http://open-zfs.org/wiki/Performance_tuning
How to improve ZFS performance https://icesquare.com/wordpress/how-to-improve-zfs-performance/
ZFS: Тестируем надежность на плохих дисках https://habrahabr.ru/post/347640/
Use snapshots, clones and replication in ZFS https://www.howtoforge.com/tutorial/how-to-use-snapshots-clones-and-replication-in-zfs-on-linux/
VDev, zpool, ZIL and L2ARC for noobs https://forums.freenas.org/index.php?threads/slideshow-explaining-vdev-zpool-zil-and-l2arc-for-noobs.7775/
ZFS Configuration Part 2: ZVols, LZ4, ARC, and ZILs Explained https://passthroughpo.st/zfs-configuration-part-2-zvols-lz4-arc-zils-explained/
ZFSin: работаем с ZFS нативно под Windows https://habr.com/post/374317/
zpool FAULTED error fix repair recover https://dan.langille.org/2018/11/06/zpool-faulted-too-many-errors/
ZnapZend - open source ZFS backup with mbuffer and ssh support perl script http://www.znapzend.org/ , https://forum.proxmox.com/threads/znapzend-backup-generator-script.33309/
Удалённые инкрементные резервные копии ZFS remote incremental backup snapshot https://habr.com/ru/post/491456/
Battle testing data integrity verification with ZFS, Btrfs and mdadm+dm-integrity http://www.unixsheikh.com/articles/battle-testing-data-integrity-verification-with-zfs-btrfs-and-mdadm-dm-integrity.html
How To Create A NAS Using ZFS and Proxmox (with pictures) https://forum.level1techs.com/t/how-to-create-a-nas-using-zfs-and-proxmox-with-pictures/117375
Step by Step Install with UEFI, ZFS, SSD ZIL L2ARC cache, File Server samba raidz template https://forum.proxmox.com/threads/step-by-step-install-w-efi-zfs-ssd-cache-file-server.41619/
Install Docker on Proxmox, with ZFS, and good performance portainer turbo boost https://forum.level1techs.com/t/gigabyte-server-activity-corner-proxmox-docker-and-config-notes/167614
ZFS Sync storage to Host for Proxmox VE https://github.com/EnterpriseVE/eve4pve-zstorage
Proxmox rescue mode grub zfs repair https://pvecli.xuan2host.com/proxmox-grub-zfs/
Using ProxMox as a ZFS NAS zfs-zed email postfix sanoid snapshot ups apc nfs samba smart logwatch https://techblog.jeppson.org/2019/08/using-proxmox-as-a-nas/
*Проверить, есть ли смысл вкл. deduplication на Вашем пуле https://habr.com/ru/post/328048/#comment_10208284

Recover files from ZFS snapshot of ProxMox VM https://techblog.jeppson.org/2019/01/recover-files-from-zfs-snapshot-of-proxmox-vm/
Восстановление из любого snapshot-а (а не только с последнего) https://forum.proxmox.com/threads/cloning-a-vm-from-snapshot-not-working.34247/
На пальцах:

1. Создать новую VM с размером hdd равным размеру клонируемой. Не запускать VM.
2. Выполнить:

zfs list # просмотр списка вирт. машин
zfs clone rpool/data/vm-<old-number>-disk-<number>@<snapshot-name> rpool/data/vm-<old-number>-disk-<number>-clone
dd if=/dev/zvol/rpool/data/vm-<old-number>-disk-<number>-clone of=/dev/zvol/rpool/data/vm-<new-number>-disk-<number> bs=4096
zfs destroy rpool/data/vm-<old-number>-disk-<number>-clone

SMR: новая технология записи делает HDD непригодными для работы в RAID https://www.linux.org.ru/news/hardware/15692989
Потеря данных из-за несовместимости ZFS с WD SMR дисками https://www.linux.org.ru/forum/talks/15680121
Таблица моделей HDD https://www.mobibrw.com/2020/22727

Что такое на самом деле 'raid edition' для жёстких дисков https://geektimes.ru/post/92701/
Enabling CCTL/TLER https://b3n.org/best-hard-drives-for-zfs-server/
SCT Error Recovery Control in RAID drives https://rolandschnabel.de/blog/?p=75
Checking for TLER, ERC, etc. support on a drive https://forums.freenas.org/index.php?threads/checking-for-tler-erc-etc-support-on-a-drive.27126/
Linux Software RAID and drive timeouts http://strugglers.net/~andy/blog/2015/11/09/linux-software-raid-and-drive-timeouts/
Т.е. если вы собираете zfs raid-z1*23* массив, то вкл. вышеописанного поможет сократить время для восстановления,
если же собираетесь использовать zfs raid-0*1 10*, то вкл. не нужно.

Open vSwitch — программный многоуровневый коммутатор с открытым исходным текстом, предназначенный для работы в гипервизорах и на компьютерах с виртуальными машинами. Основные возможности коммутатора:
Учёт трафика, в том числе проходящего между виртуальными машинами с использованием SPAN/RSPAN, sFlow[en] и Netflow.
Поддержка VLAN (IEEE 802.1q).
Привязка к конкретным физическим интерфейсам и балансировка нагрузки по исходящим MAC-адресам.
Работа на уровне ядра, поддержка существующих возможностей Linux по работе в качестве моста.
Поддерживает Openflow для управления логикой коммутации.
Помимо режима на уровне ядра, с меньшей производительностью open vSwitch может работать и с правами пользователя (вне ядра). Основные области применения:
Замена обычных bridgetools.
Использование в составе Xen Server, Xen Cloud Platform, KVM, VirtualBox, QEMU, ProxMox (начиная с 2.3)
QoS, GRE-туннелирование, индивидуальные политики для виртуальных машин, а также возможность агрегации портов с распределением нагрузки.

Open vSwitch Command Reference https://docs.pica8.com/display/PICOS2111cg/PicOS+Open+vSwitch+Command+Reference
Open vSwitch - Proxmox VE https://pve.proxmox.com/wiki/Open_vSwitch
Примеры создания vlan, bond, bridge, OVSIntPort https://forum.pfsense.org/index.php?topic=139045.0, https://forum.proxmox.com/threads/vlan-tag.38051/
OpenVswitch vlan trunk gre vxlan span rspan mirror lacp bonding https://gns3.com/news/article/containers-in-gns3-series-advanc
Описание openvswitch fake bridge internal port bond https://www.altlinux.org/Etcnet/openvswitch
Проброс VLAN-ов через интернет openvpn OVSIntPort https://habrahabr.ru/post/239729/
Security Onion & Proxmox SPAN Port mirror https://beyondtheory.io/blog/virtualization/security-onion-proxmox/

–> Использование Open vSwitch в Proxmox:

Установка:

apt-get clean; apt-get update; apt-get install -y openvswitch-switch

Переключение на ovs в gui :
1. Delete the vmbr0 (Linux bridge) # линк с Proxmox не потеряется, не бойтесь
2. Create vmbr0 as ovs-bridge with your IP/MASK/Gateway and Bridge ports [ethX] # вместо ethX - имя вашего физ. интерфейса
3. Reboot.

По https://blog.scottlowe.org/2012/10/04/some-insight-into-open-vswitch-configuration/ поясню немного :
Добавить ВМ в определенный vlan можно в GUI, указав нужный VLAN Tag в настройках сети ВМ. Это аналог untag\access порта на железном свитче. Задействовать назначенный выше vlan можно без перезагрузки ВМ, просто выкл\вкл сетевой интерфейс непосредственно в ВМ.

Если хотите, чтобы ВМ находилась в опред. vlan и при этом могла «слушать» трафик из др. vlan-ов, то https://forum.proxmox.com/threads/ovs-bridge-with-vlans.27280/
Или создать еще один OVS IntPort в GUI. В настройках указать необходимые вам параметры для VLAN (и не только для VLAN). И прицепить созданный интерфейс к ВМ. Но после создания OVS IntPort понадобится перезагрузка всего хоста.

Также можно объединять интерфейсы (bonding), настраивать балансировку\отказоустойчивость (LACP) - https://blog.scottlowe.org/2012/10/19/link-aggregation-and-lacp-with-open-vswitch/

По ссылке Proxmox. Полное руководство. 2е изд есть глава, посвященная Ovs - http://onreader.mdl.ru/MasteringProxmox.2ed/content/Ch07.html

https://forum.proxmox.com/threads/proxmox-ve-on-debian-jessie-with-zfs-hetzner.33429/
2-ая страница крайне интересна. Есть про удаленную установка из .iso, используя qemu и vnc. Таким образом можно устанавливать любой дистрибутив linux.

Virtualizing pfSense on VMware vSphere/ESXi, Proxmox, Xen, KVM, Hyper-V https://www.netgate.com/docs/pfsense/virtualization/index.html
HOW TO: 2.4.0 ZFS Install, RAM Disk, Hot Spare, Snapshot, Resilver Root Drive https://forum.netgate.com/topic/112490/how-to-2-4-0-zfs-install-ram-disk-hot-spare-snapshot-resilver-root-drive
pfSense VLANs on Proxmox (исп-ся linux bridge) https://www.linuxincluded.com/pfsense-vlans-on-proxmox/

Нюансы работы pfsense в Proxmox:

I've got a fresh install of 2.3.3-RELEASE-p1 (amd64), running on ovirt (kvm). My guests (only have linux guests) could ping out, but no udp or tcp.

Just selecting the **"Disable hardware checksum offload"**  and rebooting (though I didn't check without rebooting) the pfsense instance did the trick.

I didn't need to change anything on the ovirt/kvm hypervisor - the default offload settings are in place. All guests (pfsense and the linux ones) are using virtio network drivers.

Рекомендации для гостевых ОС семейства Microsoft Windows:
https://pve.proxmox.com/wiki/Windows_2008_guest_best_practices
https://pve.proxmox.com/wiki/Windows_2012_guest_best_practices
https://www.proxmox.com/en/training/video-tutorials/item/install-windows-2016-server-on-proxmox-ve

VMware OS Optimization Tool - оптимизация Windows в виртуальной среде (подойдет и для proxmox) https://codebeer.ru/optimizaciya-windows-v-virtualnoj-srede/

CloneDisk – clone,backup,restore raw vhd vmdk iso imdisk http://labalec.fr/erwan/?page_id=42

→zswap

https://www.hippolab.ru/linux-zswap-dayte-mashine-shans, https://wiki.archlinux.org/index.php/Zswap , http://ru.knowledgr.com/19459262/Zswap , http://linuxoidblog.blogspot.com/2015/12/zram-zswap.html

Script for creating hybrid swap space from zram swaps, swap files and swap partitions https://github.com/Nefelim4ag/systemd-swap

Вкратце, это технология, позволяющая оптимизировать работу ядра со swap - хранилищем избыточных страниц памяти.

Включение и использование ZSWAP в Proxmox VE и любом современном дистр-ве Linux с ядром >= 3.11

Обновляемся: apt-get clean; apt-get update; apt-get full-upgrade -y; apt-get autoremove –purge -y; apt-get autoclean
Перезагружаемся: reboot
Проверяем включено ли в ядре: cat /boot/config-$(uname) | grep -i zswap
Если все ОК: CONFIG_ZSWAP=y
Правим GRUB : mkdir -vp /etc/default/grub.d
На выбор: LZ4: echo 'GRUB_CMDLINE_LINUX_DEFAULT=«$GRUB_CMDLINE_LINUX_DEFAULT zswap.enabled=1 zswap.compressor=lz4 zswap.zpool=z3fold zswap.max_pool_percent=25»' > /etc/default/grub.d/zswap.cfg
или ZSTD: echo 'GRUB_CMDLINE_LINUX_DEFAULT=«$GRUB_CMDLINE_LINUX_DEFAULT zswap.enabled=1 zswap.compressor=zstd zswap.zpool=z3fold zswap.max_pool_percent=25»' > /etc/default/grub.d/zswap.cfg
update-grub
Вкл. модули: cp -fv /etc/initramfs-tools/modules{,.orig}
for module in lz4 lz4_compress zstd zstd_compress z3fold
do grep -qx «${module}» /etc/initramfs-tools/modules || echo «${module}» » /etc/initramfs-tools/modules
done
update-initramfs -u -k all
Перезагрузка:
reboot
Проверяем:
dmesg | grep -i zswap
Должно быть:
Если выбран LZ4:
…
zswap: loaded using pool lz4/z3fold
…
Для ZSTD:
…
zswap: loaded using pool zstd/z3fold
…
Получаем статистику по ZSWAP:
Статистика:
watch -n1 grep -R . /sys/kernel/debug/zswap/
Сжатие:
cd /sys/kernel/debug/zswap
watch -n1 -x perl -E «say $(cat stored_pages) * 4096 / $(cat pool_total_size)»
Текущие настройки:
grep -R . /sys/module/zswap
Прим. Касаемо строки zswap.zpool=z3fold По умолчанию на данный момент в linux испол-ся zbud в кач-ве memory allocator. Он обкатан и надежен и работает на любом «железе», но появился более эффективный z3fold:

The zpool parameter controls the management of the compressed memory pool, it is by default set to zbud. With the zbud data allocator, 2 compressed objects are stored into 1 page which limits the compression ratio to 2 or less. The superior z3fold allocator allows up to 3 compressed objects by page. The compression ratio with **z3fold typically averages 2.7**  while it is 1.7 for zbud. \\ Однако, следует помнить, что компрессия требует вычислительных мощностей. И чем сильнее сжатие, тем выше требования к "железу".

Turn off Spectre and Meltdown vulnerability patch in Windows and Linux https://heiko-sieger.info/low-2d-graphics-benchmark-with-windows-10-1803-kvm-vm/
Remove old kernel packages script on Linux distros or Proxmox (для proxmox 6+ уже не актуально - автоматом сохраняются 2 последние версии ядра для загрузки) https://github.com/algodelinux/purge-old-kernels https://enavas.blogspot.com/2017/01/modificado-purge-old-kernels-para.html
Guide to crossflashing LSI\Avago 9211 HBA Dell H200 PERC Fujitsu D2607 IBM M1015 and variants IT or IR mode https://forums.freenas.org/index.php?resources/detailed-newcomers-guide-to-crossflashing-lsi-9211-hba-and-variants.54/
LSI RAID Controller and HBA Complete Listing Plus OEM Models https://forums.servethehome.com/index.php?threads/lsi-raid-controller-and-hba-complete-listing-plus-oem-models.599/
Flashing firmware and BIOS on LSI SAS HBAs https://www.broadcom.com/support/knowledgebase/1211161501344/flashing-firmware-and-bios-on-lsi-sas-hbas
Flashing LSI HBA\IBM ServeRAID M1015 to IT mode or IR Mode https://geeksunlimitedinc.wordpress.com/2017/02/16/flashing-lsi-hba-to-it-mode-or-ir-mode/

→FOG Project

FOG можно использовать:

• как систему резервного копирования, создавая по расписанию снимки разделов , установив клиента и разворачивать эти снимки по сети на др. компьютеры в сети (у меня с помощью sysprep и FOG созданы эталонные образы Windows, к-ые я разворачиваю по сети);
• как систему P2V\V2V\V2P-миграции;
• загружать по сети все, что может загружаться по сети - windows, linux, антивирусные live-cd (https://www.comss.ru/list.php?c=bootcd) , ПО для брендового серверного оборудования HP, Dell , загружать тонкие клиенты etc.

An Introduction to Free-Open Source Ghost (FOG) https://linuxhint.com/introduction-to-free-open-source-ghost/
Install FOG Server on Ubuntu https://www.ceos3c.com/sysadmin/install-fog-server-ubuntu-server-16-04-lts-ultimate-guide-virtualbox/
Create a Generalized Windows 10 Image (sysprep) and Deploy it with FOG Server https://www.ceos3c.com/sysadmin/create-generalized-windows-10-image-deploy-fog-server/

Установка Proxmox по сети (PXE\iPXE\HTTP) с помощью FOG Project (https://fogproject.org/) - a free open-source network computer cloning and management solution (некий аналог WDS (Windows Deployment Services))

Скрипт модификации образа Proxmox VE для загрузки по сети https://github.com/morph027/pve-iso-2-pxe
Меню FOG-а для Proxmox :

kernel http://${fog-ip}/fog/isos/proxmox/linux26 vga=791 video=vesafb:ywrap,mtrr ramdisk_size=16777216 rw quiet splash=silent
initrd http://${fog-ip}/fog/isos/proxmox/initrd.iso.img
boot

Загрузка c .iso в FOG Project:
Add an ISO entry in the iPXE Boot menu https://memo-linux.com/fog-ajouter-une-entree-dans-le-menu-ipxe-boot/
Booting MDT 2013 LiteTouch with FOG https://forums.fogproject.org/topic/6284/booting-mdt-2013-litetouch-with-fog/25
ISO's in FOG PXE https://community.spiceworks.com/topic/997567-iso-s-in-fog-pxe \ https://youtu.be/KYp-XVPxg3I
Advanced Boot Menu Configuration options https://wiki.fogproject.org/wiki/index.php/Advanced_Boot_Menu_Configuration_options
Include any ISO in the FOG Bootmenu https://wiki.fogproject.org/wiki/index.php?title=Include_any_ISO_in_the_FOG_Bootmenu