Veeam: Updates cannot be installed because some processes are active. Please finish all restore processes …

Bei einem Update von Veeam Backup and Replication kommt es gerne zu einem etwas verwirrenden Fehler:

Update cannot be installed, because some processes are active.
Please finish all restore processes, stop and disable all jobs, close the user interface, and try again. 
If you still get this message, restart the server and wait for a few minutes before trying again.

Es laufen aber ganz sicher keine Backup-, Restore-, oder Copy-Jobs mehr.

Lösung

Den „Veeam Backup Service“ beenden. Aus unerfindlichen Gründen schafft das Setup es nicht immer, diesen korrekt zu schliessen.

C:\> sc stop VeeamBackupSvc

Falls das nicht hilft, einmal die Backup-Maschine neu starten.

VMware vSphere „Der Vorgang ist im aktuellen Zustand nicht zulässig“

Problem:

Unter VMware lässt sich *auf einmal* kein Snapshot einer Maschine mehr erstellen oder löschen. Das Betrifft selbstverständlich auch Snapshot-basierte Backuplösungen.

Auch eine Migration der Maschine auf einen anderen Host oder Datastore ist nicht mehr möglich.

Es wird die Meldung „Der Vorgang ist im aktuellen Zustand nicht zulässig.“ („The operation is not allowed in the current state.“) angezeigt und auf dem zugehörigen ESX-Host findet man im hostd.log folgenden Eintrag:

error 'Vmsvc.vm:/vmfs/volumes/DATASTORE/VMNAME/VMNAME.vmx'] Invalid transition requested (VM_STATE_ON_SHUTTING_DOWN -> VM_STATE_CREATE_SCREENSHOT): Invalid state

Lösung:

Das Problem lässt sich in der Regel durch einen Neustart der Management-Agents auf dem jeweiligen ESX-Host beheben.

Dazu zunächst SSH auf dem ESX aktivieren (vSphere Client am Host anmelden -> Konfiguration -> Sicherheitsprofil)
und sicherstellen, dass die VMs nicht mit dem Host Starten/Herunterfahren (vSphere Client am Host anmelden -> Konfiguration -> VM starten/herunterfahren -> Virtuelle Maschinen mit dem System starten und beenden auf Deaktiviert stellen)

Dann per SSH auf den Host verbinden und die Management-Agents neustarten:

/etc/init.d/hostd restart
/etc/init.d/vpxa restart

Veeam Backup & Replication: „RPC error: Zugriff verweigert Code: 5“

Problem

Veeam Backup and Replication sichert „auf einmal“ eine oder mehrere VM-Gastmaschinen nicht mehr, oder nur mit einer Warnung (je nach Application-Processin Einstellungen). Das passiert nach einem Upgrade der betroffenen virtuellen Maschinen auf Windows Server 2016. Die Fehlermeldung im Veeam-Bericht lautet:

Failed to prepare guest for hot backup. Details: Failed to check whether snapshot is in progress (network mode).

RPC function call failed. Function name: [IsSnapshotInProgress]. Target machine: [SERNAME.DOMAIN.TLD]. RPC error:Zugriff verweigert Code: 5
 Failed to index guest file system. Veeam Guest Agent is not started

Lösung

Bei Windows Server 2016 müssen die Credentials nicht mehr im UPN-Format (username@domain.tld) angelegt sein, sondern imklassischen NT-Format (DOMAIN\username). Warum das plötzlich so ist, wissen wir leider nicht und konnten das auch noch nicht herausfinden. Wenn man die Credentials aber entsprechend ändert, klappt die Application-Processing Sicherung aber sofort wieder.

Veeam Backup and Restore FQDN des vCenter servers ändern

Problem

veeam-vcenter-ip-aendernNach dem Upgrade des vCenter Servers oder der VCSA (vCenter Server Appliance) hat der neue Server eine neue Identität, also eine neue IP oder einen neuen (externen) DNS-Namen. Die Registrierung in der Veeam Console unter Backup Infrastructure > VMware vSphere Servers > vCenter Servers lässt sich aber im GUI nicht ändern.

Hinweis: Der interne Hostname der Appliance unter Network > Hostname kann nicht geändert werden. Ändert man diesen (zum Beispiel via SSH in der Datenbank), fällt einem der Himmel beim nächsten Reboot der Appliance auf den Kopf. TUT DAS NICHT.

Lösung

Sofern die vCenter Server Datenbank mit den Maschinen-IDs unverändert ist, wie nach einer Migration in der Regel der Fall, lässt sich die Serveradresse an der (Administrator-)PowerShell ändern.

PS C:\> Add-PSSnapin -Name VeeamPSSnapIn -ErrorAction SilentlyContinue
PS C:\> $Servers = Get-VBRServer -name "VCENTEROLDIPORFQDN"
PS C:\> $Servers.SetName("VCENTERNEWIPORFQDN")

Danach nur noch die Veeam-Console neu verbinden und einen rescan auf dem vCenter-Server starten, Fertig.

Update: Es gibt jetzt auch einen offiziellen Veeam KB-Artikel dazu.

Veeam Backup & Replication – Access Denied bei einigen Backup Copy Jobs

Problem:

In Veeam Backup & Replication (v9) schlagen manche Backup Copy Jobs fehl.
Situation:
Mehrere Backup Copy Jobs
Repository auf einem eigenständigen Repository-Server
Einer der Copy Jobs schlägt fehl mit „Access Denied“ – alle anderen funktionieren.
veeam_copy_access-denied

Lösung:

Die Anmeldung für den Veeam Backup Service erfolgt standardmäßig mit dem lokalen Systemkonto, ändert man die Einstellung z.B. auf ein Domänenkonto, welches Zugriff auf die Ziel-Repositories hat, funktionieren die fehlerhaften Copy Jobs nach neustart des Dienstes.
veeam_copy_service

  1. Continuous Copy Jobs auf Disabled stellen
  2. Beachten, dass keine weiteren Veeam Backup Jobs laufen
  3. Veeam Konsole schließen
  4. Anmeldedaten des Dienstes „Veeam Backup Service“ auf ein entsprechendes Domänenkonto ändern
  5. den Dienst neustarten
  6. Veeam Copy Jobs wieder aktivieren

Veeam: „Unable to release guest. Details: VSSControl: Failed to freeze guest, wait timeout“

Problem

Ab und zu werden Sicherungen in Veeam Backup and Replication mit dem Fehler „Unable to release guest. Details: VSSControl: Failed to freeze guest, wait timeout“ (Error: Mindestens ein Fehler ist aufgetreten.) abgeschlossen. Es tritt aber sonst kein Fehle auf, alle Snapshots werden korrekt zurückgerollt und die Sicherung ist auch intakt.

Lösung

Das Timeout von standarmäßig 900 Sekunden (15 Minuten) für das VSS-Freeze reicht je nach I/O Aktivität für manche Gäste nicht aus. Man kann das Timout aber problemlos (auf bis zu 30 Minuten) erhöhen. die Angabe in dem Schlüssel ist in Millisekunden.

HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Veeam\Veeam Backup and Replication
REG_DWORD (32bit): VssPreparationTimeout
Wert: 1b7740 (hex, = 1800000 dec = 30 Minuten)

Für ältere 32bit-Systeme:

HKEY_LOCAL_MACHINE\SOFTWARE\Veeam\Veeam Backup and Replication
REG_DWORD (32bit): VssPreparationTimeout
Wert: 1b7740 (hex, = 1800000 dec = 30 Minuten)

Dann die Dienst(e) neu starten, fertig. Wenn das noch nicht ausreicht, gibt es offensichtlich irgendwo ein I/O-Problem; mehr als 30 Minuten für einen konsistenten Disk-State sind definitiv zu viel.

Zugehöriger Veeam-KB-Artikel: https://www.veeam.com/de/kb1377

vSphere erzeugt beim Snapshots-Erstellen NTFS-Fehler auf Windows-Servern (Event 50/57/137 …)

Problem

ntfs-fehler-event-55Das Erstellen eines oder mehrere Snapshots, zum Beispiel durch Backupsoftware (Veeam, R2Data, Tivoli …) erzeugt Fehler und Warnungen im Eventlog des Windows-Servers:

  • ID 50 NTFS Warning, delayed write failed / delayed write lost
  • ID 55 NTFS Fehler, In der Dateisystemstruktur wurde eine Fehler erkannt
  • ID 57 NTFS Warning, failed to flush data to the transaction log. Courruption may occur.
  • ID 137, NTFS Error, The default transaction resource manager on volume [] encountered a non-retryable error
  • ID 140, NTFS Warning, failed to flush data to the transaction log. Courruption may occur in VolumeID:
  • ID 12289 VSS Error, Volume Shadow Copy Service error: Unexpected error DeviceIOControl

Je nach Umstand können sogar echte Daten verloren gehen (unter Umständen sogar eine korrupte Datenbank). Die vmware-Version (vSphere 4/5/6, vRealize …) ist dabei irrelevant.

Lösung

Der Fehler liegt eigentlich am Windows Server und ist Microsoft bekannt (http://kb.vmware.com/kb/20068499). Eine Hotfix-Lösung gibt es leider (noch) nicht, aber bevor man mit defekten Daten hantiert und diese am Ende noch kaputt sichert, sollte man bei den betroffenen Systemen auf die quiescence verzichten:

  • Config-Datei für die vmware Tools bearbeiten (oder erstellen, wenn nicht vorhanden)
    C:\ProgramData\VMware\VMware Tools\Tools.conf
  • Diese Zeilen einfügen:
    [vmbackup]
    vss.disableAppQuiescing = true
    
  • Dann den vmware Tools-Dienst neu starten

Und schon laufen externe Snapshots ohne Quiescence auf diesem System. Hoffentlich wird das bald gefixt …

Veeam B&R: „Post-job script terminated with exit code 3“

Problem

veeam-post-job-script-exit-3In den Backup-Reports und in der Statusübersicht sind verschiedene Veeam-Sicherungen mit Post-Job Batch-Scripts mit „Warning“ markiert, obwohl der Job korrekt gelaufen ist. Das schreint ebenso für das Script zu gelten, es sind keine Fehler feststellbar.

Lösung

Veeam B&R wertet den Rückgabecode („ERRORLEVEL„) des Scripts aus. Alle Statuscodes außer „0“ werden als Warning im Bericht aufgeführt. Am einfachsten ergänzt man sein Script um einen exit mit dem code 0:

...
echo Done with hypercomplicated batch script.
exit 0