From 22b2907df524b0aad82425227e79c48d6501711d Mon Sep 17 00:00:00 2001 From: Kevin Janssen Date: Sat, 21 Nov 2026 12:32:10 +0100 Subject: [PATCH 1/3] Record the OPNsense 24.7 enrollment failure, its cause and the verified fix Co-Authored-By: Claude Opus 5.5 --- docs/mvp-completion-plan.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/mvp-completion-plan.md b/docs/mvp-completion-plan.md index 934d18f..f5a7ca6 100644 --- a/docs/mvp-completion-plan.md +++ b/docs/mvp-completion-plan.md @@ -54,7 +54,7 @@ Alle acht Versuche lieferten Exitcode 0. Bei beiden Neustarts wurde die Wiederan | Gerätetyp in der Übersicht | Spalte „Type“ nach „Hostname“ mit `physical`, `virtual` und `hypervisor`. Erkannte Proxmox-VE-Hosts zeigen `Proxmox VE` als OS. Am 18. November wurde `c599baa` auf dem öffentlichen Server aktiviert. Der Serverrunner bestätigte API, Gateway und öffentlichen API-Dienst mit Binärhash `4f9c8c60…`. Der öffentliche WebUI-Index stimmte mit dem gebauten Bundle überein. Die unveränderten Geräteidentitäten meldeten nach regulärem signierten Update `virtual` auf Linux mit `0.1.0-mvp.7` um 16:45 UTC und Windows mit `0.1.17` um 16:47 UTC. Geräteliste, Details, Mobilansicht mit 390 px und Historie sind in der öffentlichen WebUI geprüft. Beide Pakete sind in Development A und B und als Starter für leere Kataloge veröffentlicht. Die Typen `physical` und `hypervisor` sind mit Testdaten geprüft. Die Feldabnahme auf einem physischen Gerät und einem Proxmox-VE-Host steht aus. [Inventarprojektion](../crates/server/src/devices.rs) · [Geräteansicht](../web/src/devices.tsx) | | Hostzuordnung bei VMs | Die WebUI zeigt einen zugeordneten Hypervisor direkt an der VM. Der Browsertest prüfte Zuordnung, Verlinkung, Entfernen und den Hetzner-Platzhalter bei 390 px Breite. In PostgreSQL wurden die Page-Grenze, archivierte Hypervisoren und die Trennung der Kunden geprüft. 80 WebUI-Tests, vier Browsertests und fünf Rust-Gerätetests bestanden. Revision `bcd3bd8` wurde am 18. November um 21:43 UTC mit Schema 43 aktiviert. Der Serverrunner bestätigte die TLS-Healthchecks und der öffentliche Index entsprach dem Build. In der öffentlichen WebUI zeigten zwei vorhandene Hetzner-VMs den Platzhalter auf Desktop und Mobil. Die Auswahl war im Gerätedetail verfügbar. Der Bestand enthielt zum Prüfzeitpunkt keinen registrierten Hypervisor. [Geräteansicht](../web/src/device-hypervisor.tsx) · [Hostsuche](../crates/server/src/hypervisors.sql) | | Gruppierte Geräteübersicht | Der Bestand zeigt je Hypervisor einen Block mit Host und eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Am 20. November bestanden 87 WebUI-Tests, darunter vier zur Gruppierung (Reihenfolge, Host außerhalb der Seite, Kundentrennung, manuell zugeordneter Host), und die lokale Browsersuite mit dem angepassten Zuordnungstest bei 390 px Breite. Desktop- und Mobildarstellung wurden mit Beispieldaten im Browser angesehen. Eine Sichtprüfung mit persönlicher Sitzung auf dem Entwicklungsserver steht aus. [Gruppierung](../web/src/device-groups.ts) · [Geräteliste](../web/src/devices.tsx) | -| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. Die Erstaufnahme einer neuen Firewall ist live noch nicht geprüft. 87 WebUI-Tests und die Browsersuite bestanden. [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | +| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. 87 WebUI-Tests und die Browsersuite bestanden. **Erstaufnahme, 21. November:** Eine neue Firewall mit OPNsense 24.7 (FreeBSD 14.1, Kunde `8285325f-…`) wurde aufgenommen, meldete Erfolg, erschien aber nicht in der WebUI. Der im FreeBSD-15-Testgast gelinkte Worker verlangte `FBSD_1.9` und lud dort nicht (`ld-elf.so.1 … version FBSD_1.9 … not found`). Der Agent baute den Kanal deshalb alle 30 Sekunden neu auf, ohne Heartbeat oder Inventur zu senden, und der Installer prüfte nur Version und Verbindungsgeneration. Mit Revision `93429e4` setzt der Agent (`0.1.0-opnsense.7`) die Skriptfähigkeiten eine Stunde aus und sendet weiter Telemetrie. Der Worker wird mit [dev_opnsense_worker.py](../tools/dev_opnsense_worker.py) gegen die pkgbase-Bibliotheken von FreeBSD 14.1 gelinkt (höchstens `FBSD_1.7`), und der Installer prüft das Laden des Workers und wartet auf einen Heartbeat. Belegt: Der neue Worker lud mit `LD_BIND_NOW=1` in `/tmp` der 24.7-Firewall und im Testgast, und der native Worker-Test bestand im Testgast unter `discovery`. Auf `discovery-opnsense` liefen Agent `0.1.0-opnsense.7` und der bisherige Worker mit fortlaufenden Heartbeats bei stabiler Verbindungsgeneration (die Root-Policy dort pinnt den bisherigen Worker-Hash). Die Aktualisierung der 24.7-Firewall steht noch aus. [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | | Installationsbefehl für Proxmox VE | Proxmox VE 9.2 enthält kein `sudo`. Auf dem Testhost am 21. November geprüft: `curl` und `python3` vorhanden, `sudo` fehlt. Der Linux-Befehl der WebUI brach dort deshalb ab. **Gerät aufnehmen** zeigt bei verfügbarem x86-64-Release zusätzlich den Block „Proxmox VE“ mit demselben Installer ohne `sudo` für eine Root-Shell, mit und ohne `--enable-admin-scripts`. 87 WebUI-Tests und der angepasste Browsertest der Aufnahmebefehle bestanden. [Aufnahme](../web/src/main.tsx) · [Proxmox-Host](../deploy/proxmox/README.md) | | Von der Auswahl zur Ausgabe | Die WebUI bindet die ausgewählte Skriptversion, zeigt den Inhalt vor Genehmigung und verlinkt das Ergebnis je Gerät. Ein abgelehnter Antrag erzeugte null Jobs. [Auftragsablauf](evidence/webui-auftragsablauf-20261117.json) · [Ergebnislinks und Entscheidungen](evidence/webui-order-history-20261118.json) Auf OTRS ARM64 wurde der Root-Skript-Helper nachträglich mit dem HTTPS-Installer aktiviert. Die zentrale Geräteregel bindet das berechtigte WebUI-Konto an diese Installation und den signierten Helper. Die öffentliche WebUI-Vorschau akzeptierte Root für OTRS. Die Probe blieb bei einer Vorschau und erzeugte null Anträge, Jobs, Outbox-Einträge und Startgrants. [OTRS-Nachweis](evidence/linux-arm64-otrs-root-helper-20261118.json) | | Frische Installation und periodisches Agentupdate | Beide VMs wurden über HTTPS aufgenommen und übernahmen anschließend ein signiertes Folgepaket mit derselben Geräteidentität. Auf Windows ist der öffentliche GNU-Kanal einschließlich Prüfung des offiziellen Schlüssels belegt. [Linux](evidence/linux-public-installer-update-20261117.json) · [Windows GNU](evidence/windows-gnu-official-vm-20261118.json). ARM64 erweitert denselben HTTPS-Installer mit automatischer Architekturerkennung. Release `0.1.0-arm64.1` ist veröffentlicht und als Starter verfügbar. Auf Ubuntu 22.04.5 ARM64 wurden die öffentlichen Downloads, die Signaturprüfung, die Ablehnung einer veränderten Agentdatei und der native Start aller drei Dateien im Prüfmodus beobachtet. OTRS ist mit Gerätezertifikat aufgenommen und meldet authentisierte Heartbeats. Die erste Kontaktprüfung wartet seit der Korrektur auf das Zertifikat. Der öffentliche Installer lief auf OTRS erneut ohne Traceback und ohne neuen Einmalcode. Der ARM64-Katalogabruf ist bestätigt. Ein späterer Versionswechsel auf ARM64 steht aus. [ARM64-Release](evidence/linux-arm64-installer-20261118.json) · [Geräteaufnahme und Nachtest](evidence/linux-arm64-enrollment-heartbeat-20261118.json) | From b6d7bf4a93d2f009f7c8405dfb9bb7bc176cb993 Mon Sep 17 00:00:00 2001 From: Kevin Janssen Date: Sat, 21 Nov 2026 12:36:44 +0100 Subject: [PATCH 2/3] Record the update of the OPNsense 24.7 firewall: heartbeat, inventory and script worker Co-Authored-By: Claude Opus 5.5 --- docs/mvp-completion-plan.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/mvp-completion-plan.md b/docs/mvp-completion-plan.md index f5a7ca6..f331b38 100644 --- a/docs/mvp-completion-plan.md +++ b/docs/mvp-completion-plan.md @@ -54,7 +54,7 @@ Alle acht Versuche lieferten Exitcode 0. Bei beiden Neustarts wurde die Wiederan | Gerätetyp in der Übersicht | Spalte „Type“ nach „Hostname“ mit `physical`, `virtual` und `hypervisor`. Erkannte Proxmox-VE-Hosts zeigen `Proxmox VE` als OS. Am 18. November wurde `c599baa` auf dem öffentlichen Server aktiviert. Der Serverrunner bestätigte API, Gateway und öffentlichen API-Dienst mit Binärhash `4f9c8c60…`. Der öffentliche WebUI-Index stimmte mit dem gebauten Bundle überein. Die unveränderten Geräteidentitäten meldeten nach regulärem signierten Update `virtual` auf Linux mit `0.1.0-mvp.7` um 16:45 UTC und Windows mit `0.1.17` um 16:47 UTC. Geräteliste, Details, Mobilansicht mit 390 px und Historie sind in der öffentlichen WebUI geprüft. Beide Pakete sind in Development A und B und als Starter für leere Kataloge veröffentlicht. Die Typen `physical` und `hypervisor` sind mit Testdaten geprüft. Die Feldabnahme auf einem physischen Gerät und einem Proxmox-VE-Host steht aus. [Inventarprojektion](../crates/server/src/devices.rs) · [Geräteansicht](../web/src/devices.tsx) | | Hostzuordnung bei VMs | Die WebUI zeigt einen zugeordneten Hypervisor direkt an der VM. Der Browsertest prüfte Zuordnung, Verlinkung, Entfernen und den Hetzner-Platzhalter bei 390 px Breite. In PostgreSQL wurden die Page-Grenze, archivierte Hypervisoren und die Trennung der Kunden geprüft. 80 WebUI-Tests, vier Browsertests und fünf Rust-Gerätetests bestanden. Revision `bcd3bd8` wurde am 18. November um 21:43 UTC mit Schema 43 aktiviert. Der Serverrunner bestätigte die TLS-Healthchecks und der öffentliche Index entsprach dem Build. In der öffentlichen WebUI zeigten zwei vorhandene Hetzner-VMs den Platzhalter auf Desktop und Mobil. Die Auswahl war im Gerätedetail verfügbar. Der Bestand enthielt zum Prüfzeitpunkt keinen registrierten Hypervisor. [Geräteansicht](../web/src/device-hypervisor.tsx) · [Hostsuche](../crates/server/src/hypervisors.sql) | | Gruppierte Geräteübersicht | Der Bestand zeigt je Hypervisor einen Block mit Host und eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Am 20. November bestanden 87 WebUI-Tests, darunter vier zur Gruppierung (Reihenfolge, Host außerhalb der Seite, Kundentrennung, manuell zugeordneter Host), und die lokale Browsersuite mit dem angepassten Zuordnungstest bei 390 px Breite. Desktop- und Mobildarstellung wurden mit Beispieldaten im Browser angesehen. Eine Sichtprüfung mit persönlicher Sitzung auf dem Entwicklungsserver steht aus. [Gruppierung](../web/src/device-groups.ts) · [Geräteliste](../web/src/devices.tsx) | -| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. 87 WebUI-Tests und die Browsersuite bestanden. **Erstaufnahme, 21. November:** Eine neue Firewall mit OPNsense 24.7 (FreeBSD 14.1, Kunde `8285325f-…`) wurde aufgenommen, meldete Erfolg, erschien aber nicht in der WebUI. Der im FreeBSD-15-Testgast gelinkte Worker verlangte `FBSD_1.9` und lud dort nicht (`ld-elf.so.1 … version FBSD_1.9 … not found`). Der Agent baute den Kanal deshalb alle 30 Sekunden neu auf, ohne Heartbeat oder Inventur zu senden, und der Installer prüfte nur Version und Verbindungsgeneration. Mit Revision `93429e4` setzt der Agent (`0.1.0-opnsense.7`) die Skriptfähigkeiten eine Stunde aus und sendet weiter Telemetrie. Der Worker wird mit [dev_opnsense_worker.py](../tools/dev_opnsense_worker.py) gegen die pkgbase-Bibliotheken von FreeBSD 14.1 gelinkt (höchstens `FBSD_1.7`), und der Installer prüft das Laden des Workers und wartet auf einen Heartbeat. Belegt: Der neue Worker lud mit `LD_BIND_NOW=1` in `/tmp` der 24.7-Firewall und im Testgast, und der native Worker-Test bestand im Testgast unter `discovery`. Auf `discovery-opnsense` liefen Agent `0.1.0-opnsense.7` und der bisherige Worker mit fortlaufenden Heartbeats bei stabiler Verbindungsgeneration (die Root-Policy dort pinnt den bisherigen Worker-Hash). Die Aktualisierung der 24.7-Firewall steht noch aus. [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | +| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. 87 WebUI-Tests und die Browsersuite bestanden. **Erstaufnahme, 21. November:** Eine neue Firewall mit OPNsense 24.7 (FreeBSD 14.1, Kunde `8285325f-…`) wurde aufgenommen, meldete Erfolg, erschien aber nicht in der WebUI. Der im FreeBSD-15-Testgast gelinkte Worker verlangte `FBSD_1.9` und lud dort nicht (`ld-elf.so.1 … version FBSD_1.9 … not found`). Der Agent baute den Kanal deshalb alle 30 Sekunden neu auf, ohne Heartbeat oder Inventur zu senden, und der Installer prüfte nur Version und Verbindungsgeneration. Mit Revision `93429e4` setzt der Agent (`0.1.0-opnsense.7`) die Skriptfähigkeiten eine Stunde aus und sendet weiter Telemetrie. Der Worker wird mit [dev_opnsense_worker.py](../tools/dev_opnsense_worker.py) gegen die pkgbase-Bibliotheken von FreeBSD 14.1 gelinkt (höchstens `FBSD_1.7`), und der Installer prüft das Laden des Workers und wartet auf einen Heartbeat. Belegt: Der neue Worker lud mit `LD_BIND_NOW=1` in `/tmp` der 24.7-Firewall und im Testgast, und der native Worker-Test bestand im Testgast unter `discovery`. Auf `discovery-opnsense` liefen Agent `0.1.0-opnsense.7` und der bisherige Worker mit fortlaufenden Heartbeats bei stabiler Verbindungsgeneration (die Root-Policy dort pinnt den bisherigen Worker-Hash). Um 11:34 UTC lief der öffentliche Installer mit einem neuen Einmalcode desselben Kunden auf der 24.7-Firewall als Aktualisierung (Identität und Bindung blieben, der Code wurde nicht verbraucht) und meldete Erfolg erst nach dem Heartbeat. Danach lief der neue Worker (`4100f1d5…`) unter `discovery`, das Systemlog zeigte keinen Fehler mehr, die Verbindungsgeneration blieb bei 354 und der Server führte Version `0.1.0-opnsense.7` mit `run_script`, fortlaufendem `last_contact_at` und `opnsense.base`-Snapshots der Qualität `valid` (11:34:47, 11:35:47). [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | | Installationsbefehl für Proxmox VE | Proxmox VE 9.2 enthält kein `sudo`. Auf dem Testhost am 21. November geprüft: `curl` und `python3` vorhanden, `sudo` fehlt. Der Linux-Befehl der WebUI brach dort deshalb ab. **Gerät aufnehmen** zeigt bei verfügbarem x86-64-Release zusätzlich den Block „Proxmox VE“ mit demselben Installer ohne `sudo` für eine Root-Shell, mit und ohne `--enable-admin-scripts`. 87 WebUI-Tests und der angepasste Browsertest der Aufnahmebefehle bestanden. [Aufnahme](../web/src/main.tsx) · [Proxmox-Host](../deploy/proxmox/README.md) | | Von der Auswahl zur Ausgabe | Die WebUI bindet die ausgewählte Skriptversion, zeigt den Inhalt vor Genehmigung und verlinkt das Ergebnis je Gerät. Ein abgelehnter Antrag erzeugte null Jobs. [Auftragsablauf](evidence/webui-auftragsablauf-20261117.json) · [Ergebnislinks und Entscheidungen](evidence/webui-order-history-20261118.json) Auf OTRS ARM64 wurde der Root-Skript-Helper nachträglich mit dem HTTPS-Installer aktiviert. Die zentrale Geräteregel bindet das berechtigte WebUI-Konto an diese Installation und den signierten Helper. Die öffentliche WebUI-Vorschau akzeptierte Root für OTRS. Die Probe blieb bei einer Vorschau und erzeugte null Anträge, Jobs, Outbox-Einträge und Startgrants. [OTRS-Nachweis](evidence/linux-arm64-otrs-root-helper-20261118.json) | | Frische Installation und periodisches Agentupdate | Beide VMs wurden über HTTPS aufgenommen und übernahmen anschließend ein signiertes Folgepaket mit derselben Geräteidentität. Auf Windows ist der öffentliche GNU-Kanal einschließlich Prüfung des offiziellen Schlüssels belegt. [Linux](evidence/linux-public-installer-update-20261117.json) · [Windows GNU](evidence/windows-gnu-official-vm-20261118.json). ARM64 erweitert denselben HTTPS-Installer mit automatischer Architekturerkennung. Release `0.1.0-arm64.1` ist veröffentlicht und als Starter verfügbar. Auf Ubuntu 22.04.5 ARM64 wurden die öffentlichen Downloads, die Signaturprüfung, die Ablehnung einer veränderten Agentdatei und der native Start aller drei Dateien im Prüfmodus beobachtet. OTRS ist mit Gerätezertifikat aufgenommen und meldet authentisierte Heartbeats. Die erste Kontaktprüfung wartet seit der Korrektur auf das Zertifikat. Der öffentliche Installer lief auf OTRS erneut ohne Traceback und ohne neuen Einmalcode. Der ARM64-Katalogabruf ist bestätigt. Ein späterer Versionswechsel auf ARM64 steht aus. [ARM64-Release](evidence/linux-arm64-installer-20261118.json) · [Geräteaufnahme und Nachtest](evidence/linux-arm64-enrollment-heartbeat-20261118.json) | From f3a471c1c51c0e0f4120b4365d29b8d086fcae37 Mon Sep 17 00:00:00 2001 From: Kevin Janssen Date: Sat, 21 Nov 2026 13:05:36 +0100 Subject: [PATCH 3/3] Link virtual OPNsense firewalls to their Proxmox host automatically The MAC matching only read linux.base and windows.base snapshots and ran only after those. OPNsense sends a flat opnsense.base snapshot (hardware.device_type, interfaces.entries); it is now normalised into the same scopes, triggers the reconciliation and appears in the host's guest list. Manual decisions still win. Co-Authored-By: Claude Opus 5.5 --- crates/server/src/agent_service.rs | 2 +- crates/server/src/devices.rs | 24 ++++++++++++++++----- crates/server/src/proxmox_guest_devices.sql | 9 +++++++- crates/server/src/proxmox_links.rs | 1 + crates/server/src/proxmox_links.sql | 20 ++++++++++++----- 5 files changed, 44 insertions(+), 12 deletions(-) diff --git a/crates/server/src/agent_service.rs b/crates/server/src/agent_service.rs index 14ad1f9..88643ee 100644 --- a/crates/server/src/agent_service.rs +++ b/crates/server/src/agent_service.rs @@ -190,7 +190,7 @@ pub async fn ingest( .fetch_one(&mut *tx) .await?; ensure!(stored == hash, "message identity conflict"); - if matches!(s.scope.as_str(), "linux.base" | "windows.base") { + if matches!(s.scope.as_str(), "linux.base" | "windows.base" | "opnsense.base") { crate::proxmox_links::reconcile(&mut tx, tenant).await; } } diff --git a/crates/server/src/devices.rs b/crates/server/src/devices.rs index a4bd665..7c8e85a 100644 --- a/crates/server/src/devices.rs +++ b/crates/server/src/devices.rs @@ -724,6 +724,7 @@ mod tests { let (tenant, other) = (Uuid::new_v4(), Uuid::new_v4()); let (host, vm, manual_vm, foreign_vm, twin_a, twin_b) = (Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4()); + let (fw, foreign_fw, physical_fw) = (Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4()); for customer in [tenant, other] { sqlx::query("INSERT INTO tenants(tenant_id,name) VALUES($1,'Proxmox link test')") .bind(customer).execute(&admin).await.unwrap(); @@ -740,15 +741,22 @@ mod tests { } json!({"hostname":"h","os":"Debian","root_available_bytes":1,"root_total_bytes":2,"observations":scopes}) }; + // OPNsense snapshots are flat; MACs come from `interfaces.entries`. + let firewall = |kind: &str, macs: &[&str]| json!({"hostname":"fw","hardware":{"device_type":kind}, + "interfaces":{"status":"ok","entries":macs.iter().enumerate().map(|(i, m)| + json!({"name":format!("vtnet{i}"),"mac":m})).chain([json!({"name":"lo0","mac":null})]) + .collect::>()}}); let insert = |customer: Uuid, id: Uuid, data: Value, sequence: i64| { let admin = admin.clone(); async move { - sqlx::query("INSERT INTO observations(tenant_id,agent_id,message_id,boot_id,sequence,observed_at,source_id,quality,completeness,snapshot_id,data,payload_sha256) VALUES($1,$2,$3,$4,$5,now(),'linux.base','valid','partial',$6,$7,$8)") + let source = if data.get("interfaces").is_some() { "opnsense.base" } else { "linux.base" }; + sqlx::query("INSERT INTO observations(tenant_id,agent_id,message_id,boot_id,sequence,observed_at,source_id,quality,completeness,snapshot_id,data,payload_sha256) VALUES($1,$2,$3,$4,$5,now(),$9,'valid','partial',$6,$7,$8)") .bind(customer).bind(id).bind(Uuid::new_v4()).bind(Uuid::new_v4()).bind(sequence) - .bind(Uuid::new_v4()).bind(data).bind("0".repeat(64)).execute(&admin).await.unwrap(); + .bind(Uuid::new_v4()).bind(data).bind("0".repeat(64)).bind(source).execute(&admin).await.unwrap(); } }; - let all = ["bc:24:11:00:00:01", "bc:24:11:00:00:02", "bc:24:11:00:00:03", "bc:24:11:00:00:04"]; + let all = ["bc:24:11:00:00:01", "bc:24:11:00:00:02", "bc:24:11:00:00:03", "bc:24:11:00:00:04", + "bc:24:11:00:00:05", "bc:24:11:00:00:06", "bc:24:11:00:00:07"]; for (customer, id, data) in [ (tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all)))), (tenant, vm, device("virtual", "BC:24:11:00:00:01", None)), @@ -756,6 +764,9 @@ mod tests { (other, foreign_vm, device("virtual", "bc:24:11:00:00:03", None)), (tenant, twin_a, device("virtual", "bc:24:11:00:00:04", None)), (tenant, twin_b, device("virtual", "bc:24:11:00:00:04", None)), + (tenant, fw, firewall("virtual", &["BC:24:11:00:00:05", "02:00:00:00:00:01"])), + (other, foreign_fw, firewall("virtual", &["bc:24:11:00:00:06"])), + (tenant, physical_fw, firewall("physical", &["bc:24:11:00:00:07"])), ] { sqlx::query("INSERT INTO assets(tenant_id,asset_id) VALUES($1,$2)") .bind(customer).bind(id).execute(&admin).await.unwrap(); @@ -782,9 +793,12 @@ mod tests { assert_eq!(link(manual_vm).await, (None, Some("manual".into()))); assert_eq!(link(foreign_vm).await, (None, None)); assert_eq!(link(twin_a).await, (None, None), "duplicate MACs are ambiguous"); + assert_eq!(link(fw).await, (Some(host), Some("proxmox".into())), "virtual OPNsense guest"); + assert_eq!(link(foreign_fw).await, (None, None)); + assert_eq!(link(physical_fw).await, (None, None), "only virtual devices are guests"); let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1 AND event_type='device_hypervisor_detected'") .bind(tenant).fetch_one(&admin).await.unwrap(); - assert_eq!(audits, 1); + assert_eq!(audits, 2); // Idempotent: a second pass changes nothing. let mut tx = rmm_persistence::tenant_tx(&app, tenant).await.unwrap(); @@ -792,7 +806,7 @@ mod tests { tx.commit().await.unwrap(); let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1") .bind(tenant).fetch_one(&admin).await.unwrap(); - assert_eq!(audits, 1); + assert_eq!(audits, 2); // The guest left the host: the automatic link is released. insert(tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all[1..]))), 2).await; diff --git a/crates/server/src/proxmox_guest_devices.sql b/crates/server/src/proxmox_guest_devices.sql index 3f285b0..5b2971e 100644 --- a/crates/server/src/proxmox_guest_devices.sql +++ b/crates/server/src/proxmox_guest_devices.sql @@ -11,6 +11,13 @@ SELECT asset.asset_id, inst.agent_id, asset.hypervisor_source, ELSE '[]'::jsonb END) i WHERE o->>'scope' IN ('linux.interfaces','windows.interfaces') AND o->>'quality'='valid' AND i->>'mac' IS NOT NULL + ), ( + -- OPNsense snapshots are flat. + SELECT jsonb_agg(DISTINCT lower(i->>'mac')) + FROM jsonb_array_elements(CASE WHEN inventory.data#>>'{interfaces,status}'='ok' + AND jsonb_typeof(inventory.data#>'{interfaces,entries}')='array' + THEN inventory.data#>'{interfaces,entries}' ELSE '[]'::jsonb END) i + WHERE i->>'mac' IS NOT NULL ), '[]'::jsonb) AS macs FROM assets asset JOIN LATERAL ( @@ -20,7 +27,7 @@ JOIN LATERAL ( ) inst ON inst.revoked_at IS NULL LEFT JOIN LATERAL ( SELECT data FROM observations - WHERE tenant_id=asset.tenant_id AND agent_id=inst.agent_id AND source_id IN ('linux.base','windows.base') + WHERE tenant_id=asset.tenant_id AND agent_id=inst.agent_id AND source_id IN ('linux.base','windows.base','opnsense.base') ORDER BY observed_at DESC, received_at DESC, sequence DESC LIMIT 1 ) inventory ON true WHERE asset.tenant_id=$1 AND asset.hypervisor_asset_id=$2 AND asset.archived_at IS NULL diff --git a/crates/server/src/proxmox_links.rs b/crates/server/src/proxmox_links.rs index 8ace19c..15effa7 100644 --- a/crates/server/src/proxmox_links.rs +++ b/crates/server/src/proxmox_links.rs @@ -1,4 +1,5 @@ //! Automatic VM -> Proxmox host mapping from the hosts' `linux.proxmox` guest lists. +//! Guests are virtual Linux, Windows and OPNsense devices, matched by interface MAC. //! Runs inside the ingesting customer transaction behind a savepoint: a failed //! reconciliation never blocks acknowledging the inventory snapshot itself. use sqlx::{Acquire, Postgres, Transaction}; diff --git a/crates/server/src/proxmox_links.sql b/crates/server/src/proxmox_links.sql index dc18790..0a10111 100644 --- a/crates/server/src/proxmox_links.sql +++ b/crates/server/src/proxmox_links.sql @@ -16,11 +16,11 @@ WITH current_installation AS ( WHERE asset.tenant_id=$1 AND asset.archived_at IS NULL ), latest AS ( - SELECT c.*, inventory.data + SELECT c.*, inventory.source_id, inventory.data FROM current_installation c JOIN LATERAL ( - SELECT data FROM observations - WHERE tenant_id=$1 AND agent_id=c.agent_id AND source_id IN ('linux.base','windows.base') + SELECT source_id, data FROM observations + WHERE tenant_id=$1 AND agent_id=c.agent_id AND source_id IN ('linux.base','windows.base','opnsense.base') ORDER BY observed_at DESC, received_at DESC, sequence DESC LIMIT 1 ) inventory ON true @@ -31,6 +31,15 @@ scopes AS ( jsonb_array_elements(CASE WHEN jsonb_typeof(l.data->'observations')='array' THEN l.data->'observations' ELSE '[]'::jsonb END) o WHERE o->>'quality'='valid' + UNION ALL + -- An OPNsense snapshot is flat: hardware and interfaces sit at the top level. + SELECT l.asset_id, jsonb_build_object('scope','opnsense.hardware','quality','valid','data',l.data->'hardware') + FROM latest l + WHERE l.source_id='opnsense.base' AND jsonb_typeof(l.data->'hardware')='object' + UNION ALL + SELECT l.asset_id, jsonb_build_object('scope','opnsense.interfaces','quality','valid','data',l.data->'interfaces') + FROM latest l + WHERE l.source_id='opnsense.base' AND l.data#>>'{interfaces,status}'='ok' ), proxmox_hosts AS ( SELECT asset_id, o->'data' AS data FROM scopes WHERE o->>'scope'='linux.proxmox' @@ -43,7 +52,8 @@ guest_macs AS ( ), virtual_devices AS ( SELECT asset_id FROM scopes - WHERE o->>'scope' IN ('linux.hardware','windows.hardware') AND o#>>'{data,device_type}'='virtual' + WHERE o->>'scope' IN ('linux.hardware','windows.hardware','opnsense.hardware') + AND o#>>'{data,device_type}'='virtual' ), device_macs AS ( SELECT DISTINCT s.asset_id, lower(i->>'mac') AS mac @@ -53,7 +63,7 @@ device_macs AS ( WHEN jsonb_typeof(s.o->'data')='array' THEN s.o->'data' WHEN jsonb_typeof(s.o#>'{data,entries}')='array' THEN s.o#>'{data,entries}' ELSE '[]'::jsonb END) i - WHERE s.o->>'scope' IN ('linux.interfaces','windows.interfaces') + WHERE s.o->>'scope' IN ('linux.interfaces','windows.interfaces','opnsense.interfaces') AND i->>'mac' ~* '^[0-9a-f]{2}(:[0-9a-f]{2}){5}$' AND lower(i->>'mac') <> '00:00:00:00:00:00' ),