diff --git a/crates/server/src/agent_service.rs b/crates/server/src/agent_service.rs index 14ad1f9..88643ee 100644 --- a/crates/server/src/agent_service.rs +++ b/crates/server/src/agent_service.rs @@ -190,7 +190,7 @@ pub async fn ingest( .fetch_one(&mut *tx) .await?; ensure!(stored == hash, "message identity conflict"); - if matches!(s.scope.as_str(), "linux.base" | "windows.base") { + if matches!(s.scope.as_str(), "linux.base" | "windows.base" | "opnsense.base") { crate::proxmox_links::reconcile(&mut tx, tenant).await; } } diff --git a/crates/server/src/devices.rs b/crates/server/src/devices.rs index 70c6895..fac1d8f 100644 --- a/crates/server/src/devices.rs +++ b/crates/server/src/devices.rs @@ -724,6 +724,7 @@ mod tests { let (tenant, other) = (Uuid::new_v4(), Uuid::new_v4()); let (host, vm, manual_vm, foreign_vm, twin_a, twin_b) = (Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4()); + let (fw, foreign_fw, physical_fw) = (Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4()); for customer in [tenant, other] { sqlx::query("INSERT INTO tenants(tenant_id,name) VALUES($1,'Proxmox link test')") .bind(customer).execute(&admin).await.unwrap(); @@ -740,15 +741,22 @@ mod tests { } json!({"hostname":"h","os":"Debian","root_available_bytes":1,"root_total_bytes":2,"observations":scopes}) }; + // OPNsense snapshots are flat; MACs come from `interfaces.entries`. + let firewall = |kind: &str, macs: &[&str]| json!({"hostname":"fw","hardware":{"device_type":kind}, + "interfaces":{"status":"ok","entries":macs.iter().enumerate().map(|(i, m)| + json!({"name":format!("vtnet{i}"),"mac":m})).chain([json!({"name":"lo0","mac":null})]) + .collect::>()}}); let insert = |customer: Uuid, id: Uuid, data: Value, sequence: i64| { let admin = admin.clone(); async move { - sqlx::query("INSERT INTO observations(tenant_id,agent_id,message_id,boot_id,sequence,observed_at,source_id,quality,completeness,snapshot_id,data,payload_sha256) VALUES($1,$2,$3,$4,$5,now(),'linux.base','valid','partial',$6,$7,$8)") + let source = if data.get("interfaces").is_some() { "opnsense.base" } else { "linux.base" }; + sqlx::query("INSERT INTO observations(tenant_id,agent_id,message_id,boot_id,sequence,observed_at,source_id,quality,completeness,snapshot_id,data,payload_sha256) VALUES($1,$2,$3,$4,$5,now(),$9,'valid','partial',$6,$7,$8)") .bind(customer).bind(id).bind(Uuid::new_v4()).bind(Uuid::new_v4()).bind(sequence) - .bind(Uuid::new_v4()).bind(data).bind("0".repeat(64)).execute(&admin).await.unwrap(); + .bind(Uuid::new_v4()).bind(data).bind("0".repeat(64)).bind(source).execute(&admin).await.unwrap(); } }; - let all = ["bc:24:11:00:00:01", "bc:24:11:00:00:02", "bc:24:11:00:00:03", "bc:24:11:00:00:04"]; + let all = ["bc:24:11:00:00:01", "bc:24:11:00:00:02", "bc:24:11:00:00:03", "bc:24:11:00:00:04", + "bc:24:11:00:00:05", "bc:24:11:00:00:06", "bc:24:11:00:00:07"]; for (customer, id, data) in [ (tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all)))), (tenant, vm, device("virtual", "BC:24:11:00:00:01", None)), @@ -756,6 +764,9 @@ mod tests { (other, foreign_vm, device("virtual", "bc:24:11:00:00:03", None)), (tenant, twin_a, device("virtual", "bc:24:11:00:00:04", None)), (tenant, twin_b, device("virtual", "bc:24:11:00:00:04", None)), + (tenant, fw, firewall("virtual", &["BC:24:11:00:00:05", "02:00:00:00:00:01"])), + (other, foreign_fw, firewall("virtual", &["bc:24:11:00:00:06"])), + (tenant, physical_fw, firewall("physical", &["bc:24:11:00:00:07"])), ] { sqlx::query("INSERT INTO assets(tenant_id,asset_id) VALUES($1,$2)") .bind(customer).bind(id).execute(&admin).await.unwrap(); @@ -782,9 +793,12 @@ mod tests { assert_eq!(link(manual_vm).await, (None, Some("manual".into()))); assert_eq!(link(foreign_vm).await, (None, None)); assert_eq!(link(twin_a).await, (None, None), "duplicate MACs are ambiguous"); + assert_eq!(link(fw).await, (Some(host), Some("proxmox".into())), "virtual OPNsense guest"); + assert_eq!(link(foreign_fw).await, (None, None)); + assert_eq!(link(physical_fw).await, (None, None), "only virtual devices are guests"); let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1 AND event_type='device_hypervisor_detected'") .bind(tenant).fetch_one(&admin).await.unwrap(); - assert_eq!(audits, 1); + assert_eq!(audits, 2); // Idempotent: a second pass changes nothing. let mut tx = rmm_persistence::tenant_tx(&app, tenant).await.unwrap(); @@ -792,7 +806,7 @@ mod tests { tx.commit().await.unwrap(); let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1") .bind(tenant).fetch_one(&admin).await.unwrap(); - assert_eq!(audits, 1); + assert_eq!(audits, 2); // The guest left the host: the automatic link is released. insert(tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all[1..]))), 2).await; diff --git a/crates/server/src/proxmox_guest_devices.sql b/crates/server/src/proxmox_guest_devices.sql index 3f285b0..5b2971e 100644 --- a/crates/server/src/proxmox_guest_devices.sql +++ b/crates/server/src/proxmox_guest_devices.sql @@ -11,6 +11,13 @@ SELECT asset.asset_id, inst.agent_id, asset.hypervisor_source, ELSE '[]'::jsonb END) i WHERE o->>'scope' IN ('linux.interfaces','windows.interfaces') AND o->>'quality'='valid' AND i->>'mac' IS NOT NULL + ), ( + -- OPNsense snapshots are flat. + SELECT jsonb_agg(DISTINCT lower(i->>'mac')) + FROM jsonb_array_elements(CASE WHEN inventory.data#>>'{interfaces,status}'='ok' + AND jsonb_typeof(inventory.data#>'{interfaces,entries}')='array' + THEN inventory.data#>'{interfaces,entries}' ELSE '[]'::jsonb END) i + WHERE i->>'mac' IS NOT NULL ), '[]'::jsonb) AS macs FROM assets asset JOIN LATERAL ( @@ -20,7 +27,7 @@ JOIN LATERAL ( ) inst ON inst.revoked_at IS NULL LEFT JOIN LATERAL ( SELECT data FROM observations - WHERE tenant_id=asset.tenant_id AND agent_id=inst.agent_id AND source_id IN ('linux.base','windows.base') + WHERE tenant_id=asset.tenant_id AND agent_id=inst.agent_id AND source_id IN ('linux.base','windows.base','opnsense.base') ORDER BY observed_at DESC, received_at DESC, sequence DESC LIMIT 1 ) inventory ON true WHERE asset.tenant_id=$1 AND asset.hypervisor_asset_id=$2 AND asset.archived_at IS NULL diff --git a/crates/server/src/proxmox_links.rs b/crates/server/src/proxmox_links.rs index 8ace19c..15effa7 100644 --- a/crates/server/src/proxmox_links.rs +++ b/crates/server/src/proxmox_links.rs @@ -1,4 +1,5 @@ //! Automatic VM -> Proxmox host mapping from the hosts' `linux.proxmox` guest lists. +//! Guests are virtual Linux, Windows and OPNsense devices, matched by interface MAC. //! Runs inside the ingesting customer transaction behind a savepoint: a failed //! reconciliation never blocks acknowledging the inventory snapshot itself. use sqlx::{Acquire, Postgres, Transaction}; diff --git a/crates/server/src/proxmox_links.sql b/crates/server/src/proxmox_links.sql index dc18790..0a10111 100644 --- a/crates/server/src/proxmox_links.sql +++ b/crates/server/src/proxmox_links.sql @@ -16,11 +16,11 @@ WITH current_installation AS ( WHERE asset.tenant_id=$1 AND asset.archived_at IS NULL ), latest AS ( - SELECT c.*, inventory.data + SELECT c.*, inventory.source_id, inventory.data FROM current_installation c JOIN LATERAL ( - SELECT data FROM observations - WHERE tenant_id=$1 AND agent_id=c.agent_id AND source_id IN ('linux.base','windows.base') + SELECT source_id, data FROM observations + WHERE tenant_id=$1 AND agent_id=c.agent_id AND source_id IN ('linux.base','windows.base','opnsense.base') ORDER BY observed_at DESC, received_at DESC, sequence DESC LIMIT 1 ) inventory ON true @@ -31,6 +31,15 @@ scopes AS ( jsonb_array_elements(CASE WHEN jsonb_typeof(l.data->'observations')='array' THEN l.data->'observations' ELSE '[]'::jsonb END) o WHERE o->>'quality'='valid' + UNION ALL + -- An OPNsense snapshot is flat: hardware and interfaces sit at the top level. + SELECT l.asset_id, jsonb_build_object('scope','opnsense.hardware','quality','valid','data',l.data->'hardware') + FROM latest l + WHERE l.source_id='opnsense.base' AND jsonb_typeof(l.data->'hardware')='object' + UNION ALL + SELECT l.asset_id, jsonb_build_object('scope','opnsense.interfaces','quality','valid','data',l.data->'interfaces') + FROM latest l + WHERE l.source_id='opnsense.base' AND l.data#>>'{interfaces,status}'='ok' ), proxmox_hosts AS ( SELECT asset_id, o->'data' AS data FROM scopes WHERE o->>'scope'='linux.proxmox' @@ -43,7 +52,8 @@ guest_macs AS ( ), virtual_devices AS ( SELECT asset_id FROM scopes - WHERE o->>'scope' IN ('linux.hardware','windows.hardware') AND o#>>'{data,device_type}'='virtual' + WHERE o->>'scope' IN ('linux.hardware','windows.hardware','opnsense.hardware') + AND o#>>'{data,device_type}'='virtual' ), device_macs AS ( SELECT DISTINCT s.asset_id, lower(i->>'mac') AS mac @@ -53,7 +63,7 @@ device_macs AS ( WHEN jsonb_typeof(s.o->'data')='array' THEN s.o->'data' WHEN jsonb_typeof(s.o#>'{data,entries}')='array' THEN s.o#>'{data,entries}' ELSE '[]'::jsonb END) i - WHERE s.o->>'scope' IN ('linux.interfaces','windows.interfaces') + WHERE s.o->>'scope' IN ('linux.interfaces','windows.interfaces','opnsense.interfaces') AND i->>'mac' ~* '^[0-9a-f]{2}(:[0-9a-f]{2}){5}$' AND lower(i->>'mac') <> '00:00:00:00:00:00' ), diff --git a/docs/mvp-completion-plan.md b/docs/mvp-completion-plan.md index 7f15f7c..fb65dff 100644 --- a/docs/mvp-completion-plan.md +++ b/docs/mvp-completion-plan.md @@ -54,7 +54,7 @@ Alle acht Versuche lieferten Exitcode 0. Bei beiden Neustarts wurde die Wiederan | Gerätetyp in der Übersicht | Spalte „Type“ nach „Hostname“ mit `physical`, `virtual` und `hypervisor`. Erkannte Proxmox-VE-Hosts zeigen `Proxmox VE` als OS. Am 18. November wurde `c599baa` auf dem öffentlichen Server aktiviert. Der Serverrunner bestätigte API, Gateway und öffentlichen API-Dienst mit Binärhash `4f9c8c60…`. Der öffentliche WebUI-Index stimmte mit dem gebauten Bundle überein. Die unveränderten Geräteidentitäten meldeten nach regulärem signierten Update `virtual` auf Linux mit `0.1.0-mvp.7` um 16:45 UTC und Windows mit `0.1.17` um 16:47 UTC. Geräteliste, Details, Mobilansicht mit 390 px und Historie sind in der öffentlichen WebUI geprüft. Beide Pakete sind in Development A und B und als Starter für leere Kataloge veröffentlicht. Die Typen `physical` und `hypervisor` sind mit Testdaten geprüft. Die Feldabnahme auf einem physischen Gerät und einem Proxmox-VE-Host steht aus. [Inventarprojektion](../crates/server/src/devices.rs) · [Geräteansicht](../web/src/devices.tsx) | | Hostzuordnung bei VMs | Die WebUI zeigt einen zugeordneten Hypervisor direkt an der VM. Der Browsertest prüfte Zuordnung, Verlinkung, Entfernen und den Hetzner-Platzhalter bei 390 px Breite. In PostgreSQL wurden die Page-Grenze, archivierte Hypervisoren und die Trennung der Kunden geprüft. 80 WebUI-Tests, vier Browsertests und fünf Rust-Gerätetests bestanden. Revision `bcd3bd8` wurde am 18. November um 21:43 UTC mit Schema 43 aktiviert. Der Serverrunner bestätigte die TLS-Healthchecks und der öffentliche Index entsprach dem Build. In der öffentlichen WebUI zeigten zwei vorhandene Hetzner-VMs den Platzhalter auf Desktop und Mobil. Die Auswahl war im Gerätedetail verfügbar. Der Bestand enthielt zum Prüfzeitpunkt keinen registrierten Hypervisor. [Geräteansicht](../web/src/device-hypervisor.tsx) · [Hostsuche](../crates/server/src/hypervisors.sql) | | Gruppierte Geräteübersicht | Der Bestand zeigt je Hypervisor einen Block mit Host und eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Am 20. November bestanden 87 WebUI-Tests, darunter vier zur Gruppierung (Reihenfolge, Host außerhalb der Seite, Kundentrennung, manuell zugeordneter Host), und die lokale Browsersuite mit dem angepassten Zuordnungstest bei 390 px Breite. Desktop- und Mobildarstellung wurden mit Beispieldaten im Browser angesehen. Eine Sichtprüfung mit persönlicher Sitzung auf dem Entwicklungsserver steht aus. [Gruppierung](../web/src/device-groups.ts) · [Geräteliste](../web/src/devices.tsx) | -| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. Die Erstaufnahme einer neuen Firewall ist live noch nicht geprüft. 87 WebUI-Tests und die Browsersuite bestanden. [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | +| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. 87 WebUI-Tests und die Browsersuite bestanden. **Erstaufnahme, 21. November:** Eine neue Firewall mit OPNsense 24.7 (FreeBSD 14.1, Kunde `8285325f-…`) wurde aufgenommen, meldete Erfolg, erschien aber nicht in der WebUI. Der im FreeBSD-15-Testgast gelinkte Worker verlangte `FBSD_1.9` und lud dort nicht (`ld-elf.so.1 … version FBSD_1.9 … not found`). Der Agent baute den Kanal deshalb alle 30 Sekunden neu auf, ohne Heartbeat oder Inventur zu senden, und der Installer prüfte nur Version und Verbindungsgeneration. Mit Revision `93429e4` setzt der Agent (`0.1.0-opnsense.7`) die Skriptfähigkeiten eine Stunde aus und sendet weiter Telemetrie. Der Worker wird mit [dev_opnsense_worker.py](../tools/dev_opnsense_worker.py) gegen die pkgbase-Bibliotheken von FreeBSD 14.1 gelinkt (höchstens `FBSD_1.7`), und der Installer prüft das Laden des Workers und wartet auf einen Heartbeat. Belegt: Der neue Worker lud mit `LD_BIND_NOW=1` in `/tmp` der 24.7-Firewall und im Testgast, und der native Worker-Test bestand im Testgast unter `discovery`. Auf `discovery-opnsense` liefen Agent `0.1.0-opnsense.7` und der bisherige Worker mit fortlaufenden Heartbeats bei stabiler Verbindungsgeneration (die Root-Policy dort pinnt den bisherigen Worker-Hash). Um 11:34 UTC lief der öffentliche Installer mit einem neuen Einmalcode desselben Kunden auf der 24.7-Firewall als Aktualisierung (Identität und Bindung blieben, der Code wurde nicht verbraucht) und meldete Erfolg erst nach dem Heartbeat. Danach lief der neue Worker (`4100f1d5…`) unter `discovery`, das Systemlog zeigte keinen Fehler mehr, die Verbindungsgeneration blieb bei 354 und der Server führte Version `0.1.0-opnsense.7` mit `run_script`, fortlaufendem `last_contact_at` und `opnsense.base`-Snapshots der Qualität `valid` (11:34:47, 11:35:47). [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | | Installationsbefehl für Proxmox VE | Proxmox VE 9.2 enthält kein `sudo`. Auf dem Testhost am 21. November geprüft: `curl` und `python3` vorhanden, `sudo` fehlt. Der Linux-Befehl der WebUI brach dort deshalb ab. **Gerät aufnehmen** zeigt bei verfügbarem x86-64-Release zusätzlich den Block „Proxmox VE“ mit demselben Installer ohne `sudo` für eine Root-Shell, mit und ohne `--enable-admin-scripts`. 87 WebUI-Tests und der angepasste Browsertest der Aufnahmebefehle bestanden. [Aufnahme](../web/src/main.tsx) · [Proxmox-Host](../deploy/proxmox/README.md) | | Lesende WebUI-Ansichten über MCP | Neue Werkzeuge `operations.list`, `operations.get_plan`, `inventory.list_hypervisors`, `catalog.list_package_recipes`, `catalog.list_windows_msi_recipes` und `catalog.get_artifact`. Lokal bestanden 68 Server-Tests sowie ein Datenbanktest auf isoliertem PostgreSQL mit berechtigtem und fremdem Kunden, fehlendem `operations:read`, ungültigen Eingaben und Tokenwiderruf. Am 21. November wurde Revision `49af111` mit Serverhash `9b07e3bf…` aktiviert; API und Gateway meldeten gesund. Über die interne Entwicklungs-API (Operator-Token des Entwicklungsprofils, nur lesende Aufrufe) listete `tools/list` 19 Werkzeuge ohne Genehmigungswerkzeug. Ohne Token antwortete `/mcp` mit 401. Für Kunde A lieferte `operations.list` drei Aufträge, `operations.get_plan` die Vorschau des neuesten Auftrags samt Plan-Hash und Payload. Hypervisor- und Rezeptlisten waren dort leer. Ein unbekannter Status ergab `VALIDATION_ERROR`, unbekannte Plan- und Artefakt-IDs sowie Kunde B `NOT_FOUND`. Eine Abfrage mit einem regulär ausgestellten Kunden-Token über den öffentlichen Endpunkt steht aus. [Werkzeuge](../crates/server/src/mcp.rs) · [Datenbanktest](../crates/server/src/local_auth.rs) | | Von der Auswahl zur Ausgabe | Die WebUI bindet die ausgewählte Skriptversion, zeigt den Inhalt vor Genehmigung und verlinkt das Ergebnis je Gerät. Ein abgelehnter Antrag erzeugte null Jobs. [Auftragsablauf](evidence/webui-auftragsablauf-20261117.json) · [Ergebnislinks und Entscheidungen](evidence/webui-order-history-20261118.json) Auf OTRS ARM64 wurde der Root-Skript-Helper nachträglich mit dem HTTPS-Installer aktiviert. Die zentrale Geräteregel bindet das berechtigte WebUI-Konto an diese Installation und den signierten Helper. Die öffentliche WebUI-Vorschau akzeptierte Root für OTRS. Die Probe blieb bei einer Vorschau und erzeugte null Anträge, Jobs, Outbox-Einträge und Startgrants. [OTRS-Nachweis](evidence/linux-arm64-otrs-root-helper-20261118.json) |