Author SHA1 Message Date
kevin_janssenandClaude Opus 5.5 58c35743b1 Document the automatic Proxmox link for OPNsense guests and its acceptance
Rust development slice / linux (push) Failing after 9s
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-21 13:18:12 +01:00
kevin_janssenandClaude Opus 5.5 f3a471c1c5 Link virtual OPNsense firewalls to their Proxmox host automatically
The MAC matching only read linux.base and windows.base snapshots and ran only after
those. OPNsense sends a flat opnsense.base snapshot (hardware.device_type,
interfaces.entries); it is now normalised into the same scopes, triggers the
reconciliation and appears in the host's guest list. Manual decisions still win.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-21 13:05:36 +01:00
kevin_janssenandClaude Opus 5.5 b6d7bf4a93 Record the update of the OPNsense 24.7 firewall: heartbeat, inventory and script worker
Rust development slice / linux (push) Failing after 6s
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-21 12:36:44 +01:00
kevin_janssenandClaude Opus 5.5 22b2907df5 Record the OPNsense 24.7 enrollment failure, its cause and the verified fix
Rust development slice / linux (push) Failing after 7s
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-21 12:32:10 +01:00
kevin_janssenandClaude Opus 5.5 93429e4394 Keep OPNsense telemetry when the script worker cannot start and build it for FreeBSD 14.1
A worker linked on the FreeBSD 15 test guest needs FBSD_1.9 and does not load on
OPNsense 24.7; the agent then retried the job session every 30 s and never sent a
heartbeat or inventory. The agent now pauses script capabilities for an hour and
reconnects without them. tools/dev_opnsense_worker.py links the worker against the
official FreeBSD 14.1 pkgbase libraries. The installer checks that the worker loads
before binding it and reports success only after a heartbeat.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-21 12:17:34 +01:00
16 changed files with 264 additions and 30 deletions
+1 -1
View File
@@ -12,7 +12,7 @@ Der Agent meldet den Gerätetyp mit dem passiven Hardwareinventar. `physical` be
Für aktuelle virtuelle Geräte kann die WebUI einen registrierten Hypervisor aus demselben Kundenbestand zuordnen. Die Geräteübersicht des Bestands gliedert die Geräte einer Seite in Blöcke: je Hypervisor ein Block mit dem Host und seinen eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Der Blockkopf des Hypervisors verlinkt auf dessen Gerätedetails, auch wenn der Host selbst nicht auf der Seite steht. An jeder VM steht, ob die Zuordnung automatisch erkannt oder manuell gesetzt wurde. Die Historie bleibt eine einfache Liste. Die Zuordnung gilt, solange der verknüpfte Host im Bestand ist und sich als Hypervisor meldet. Eine VM mit gemeldetem Hersteller Hetzner erhält bei fehlendem konkreten Host den Anzeigeplatzhalter „Hetzner Cloud“. Der Platzhalter hat keine Kopplung und zählt nicht als registriertes Gerät. Für aktuelle virtuelle Geräte kann die WebUI einen registrierten Hypervisor aus demselben Kundenbestand zuordnen. Die Geräteübersicht des Bestands gliedert die Geräte einer Seite in Blöcke: je Hypervisor ein Block mit dem Host und seinen eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Der Blockkopf des Hypervisors verlinkt auf dessen Gerätedetails, auch wenn der Host selbst nicht auf der Seite steht. An jeder VM steht, ob die Zuordnung automatisch erkannt oder manuell gesetzt wurde. Die Historie bleibt eine einfache Liste. Die Zuordnung gilt, solange der verknüpfte Host im Bestand ist und sich als Hypervisor meldet. Eine VM mit gemeldetem Hersteller Hetzner erhält bei fehlendem konkreten Host den Anzeigeplatzhalter „Hetzner Cloud“. Der Platzhalter hat keine Kopplung und zählt nicht als registriertes Gerät.
Ein aufgenommener Proxmox-VE-Host meldet über einen vom Installer eingerichteten, nur lesenden API-Token (`PVEAuditor`) die Gäste seines Nodes, die geplanten vzdump-Backupjobs und die Läufe der letzten acht Tage. Die Gerätedetails des Hosts listen VMs und Container mit Status, Ressourcen, zugeordnetem Gerät und letzter erfolgreicher Sicherung. Darunter folgen die Backupjobs mit Zeitplan, Storage, gesicherten Gästen, letztem fälligen Zeitpunkt, Ergebnis und nächstem Lauf sowie die Gäste ohne Backupjob. Der Server bewertet jeden aktiven Job als gelaufen, fehlgeschlagen, verpasst, laufend oder noch nicht fällig. Er beantwortet damit, ob alle geplanten Backups gelaufen sind. Ein virtuelles Gerät, dessen MAC-Adresse eindeutig in der Gastliste eines Proxmox-Hosts desselben Kunden steht, wird diesem Host automatisch als Hypervisor zugeordnet und so gekennzeichnet. Eine manuelle Zuordnung hat Vorrang und lässt sich wieder an die automatische Erkennung zurückgeben. [Proxmox-Host](deploy/proxmox/README.md) Ein aufgenommener Proxmox-VE-Host meldet über einen vom Installer eingerichteten, nur lesenden API-Token (`PVEAuditor`) die Gäste seines Nodes, die geplanten vzdump-Backupjobs und die Läufe der letzten acht Tage. Die Gerätedetails des Hosts listen VMs und Container mit Status, Ressourcen, zugeordnetem Gerät und letzter erfolgreicher Sicherung. Darunter folgen die Backupjobs mit Zeitplan, Storage, gesicherten Gästen, letztem fälligen Zeitpunkt, Ergebnis und nächstem Lauf sowie die Gäste ohne Backupjob. Der Server bewertet jeden aktiven Job als gelaufen, fehlgeschlagen, verpasst, laufend oder noch nicht fällig. Er beantwortet damit, ob alle geplanten Backups gelaufen sind. Ein virtuelles Linux-, Windows- oder OPNsense-Gerät, dessen MAC-Adresse eindeutig in der Gastliste eines Proxmox-Hosts desselben Kunden steht, wird diesem Host automatisch als Hypervisor zugeordnet und so gekennzeichnet. Eine manuelle Zuordnung hat Vorrang und lässt sich wieder an die automatische Erkennung zurückgeben. [Proxmox-Host](deploy/proxmox/README.md)
Ab Windows-Client `0.1.27` zeigt die Spalte **Speicher belegt / gesamt** jedes lokale Festplattenvolume mit Laufwerksbuchstaben separat an, das Systemlaufwerk zuerst. Ein Laufwerk mit unbekannter Kapazität behält seinen Buchstaben ohne Belegungsbalken. Die Zuordnung erfolgt pro logischem Volume, nicht pro physischem Datenträger. Netzlaufwerke, optische Medien und Volumes ohne Laufwerksbuchstaben gehören nicht zu dieser Liste. Bei älteren Inventarmeldungen bleibt die vorhandene Systemlaufwerkskapazität sichtbar. Ab Windows-Client `0.1.27` zeigt die Spalte **Speicher belegt / gesamt** jedes lokale Festplattenvolume mit Laufwerksbuchstaben separat an, das Systemlaufwerk zuerst. Ein Laufwerk mit unbekannter Kapazität behält seinen Buchstaben ohne Belegungsbalken. Die Zuordnung erfolgt pro logischem Volume, nicht pro physischem Datenträger. Netzlaufwerke, optische Medien und Volumes ohne Laufwerksbuchstaben gehören nicht zu dieser Liste. Bei älteren Inventarmeldungen bleibt die vorhandene Systemlaufwerkskapazität sichtbar.
+5
View File
@@ -6,6 +6,11 @@ mod root;
fn main() -> anyhow::Result<()> { fn main() -> anyhow::Result<()> {
match std::env::args().nth(1).as_deref() { match std::env::args().nth(1).as_deref() {
Some("--root-helper") => root::serve(), Some("--root-helper") => root::serve(),
// Loader check for installers: resolves every symbol against this system's libc.
Some("--version") => {
println!("{}", env!("CARGO_PKG_VERSION"));
Ok(())
}
Some("--root-capabilities") => { Some("--root-capabilities") => {
println!("{}", serde_json::to_string(&root::caps()?)?); println!("{}", serde_json::to_string(&root::caps()?)?);
Ok(()) Ok(())
+1 -1
View File
@@ -190,7 +190,7 @@ pub async fn ingest(
.fetch_one(&mut *tx) .fetch_one(&mut *tx)
.await?; .await?;
ensure!(stored == hash, "message identity conflict"); ensure!(stored == hash, "message identity conflict");
if matches!(s.scope.as_str(), "linux.base" | "windows.base") { if matches!(s.scope.as_str(), "linux.base" | "windows.base" | "opnsense.base") {
crate::proxmox_links::reconcile(&mut tx, tenant).await; crate::proxmox_links::reconcile(&mut tx, tenant).await;
} }
} }
@@ -138,6 +138,16 @@ def bind_jobs(meta, host, port):
os.fsync(f.fileno()) os.fsync(f.fileno())
def worker_starts():
"""The native worker must load on this FreeBSD release; resolve all symbols now."""
try:
res = subprocess.run([str(APP / 'rmm-opnsense-jobs'), '--version'], capture_output=True, timeout=15,
env={**os.environ, 'LD_BIND_NOW': '1'})
except OSError:
return False
return res.returncode == 0
def running(): def running():
return all(Path(f'/var/run/discovery-{part}.pid').is_file() for part in ('agent', 'collect')) return all(Path(f'/var/run/discovery-{part}.pid').is_file() for part in ('agent', 'collect'))
@@ -175,24 +185,32 @@ def main():
if res.returncode: if res.returncode:
stop('Die Aufnahme beim Server ist fehlgeschlagen. Bitte einen neuen Einmalcode erzeugen.') stop('Die Aufnahme beim Server ist fehlgeschlagen. Bitte einen neuen Einmalcode erzeugen.')
print('Gerät beim Server aufgenommen.') print('Gerät beim Server aufgenommen.')
if (APP / 'rmm-opnsense-jobs').is_file() and not BINDING.exists(): worker = (APP / 'rmm-opnsense-jobs').is_file()
if worker and not worker_starts():
worker = False
print('Hinweis: Der Skript-Worker startet auf dieser OPNsense-Version nicht. '
'Inventur und Heartbeat laufen, Skripte sind bis zu einem passenden Paket nicht verfügbar.')
if worker and not BINDING.exists():
bind_jobs(meta, host, port) bind_jobs(meta, host, port)
print('Skriptausführung für diese Installation gebunden.') print('Skriptausführung für diese Installation gebunden.')
before = device_view(host, port) if existing else None before = device_view(host, port)
generation = int(before['installed']['connection_generation']) if before else -1 generation = int(before['installed']['connection_generation']) if before else -1
contact = before['installed'].get('last_contact_at') if before else None
subprocess.run(['service', 'discovery_agent', 'restart' if running() else 'start'], check=True, subprocess.run(['service', 'discovery_agent', 'restart' if running() else 'start'], check=True,
stdout=subprocess.DEVNULL) stdout=subprocess.DEVNULL)
for _ in range(30): for _ in range(30):
time.sleep(3) time.sleep(3)
view = running() and device_view(host, port) view = running() and device_view(host, port)
# A new client hello raises the connection generation and reports the installed version. # A new client hello raises the connection generation and reports the installed version;
# only a heartbeat after it (new last contact) shows that telemetry actually flows.
if (view and view['installed'].get('agent_version') == meta['version'] if (view and view['installed'].get('agent_version') == meta['version']
and int(view['installed']['connection_generation']) > generation): and int(view['installed']['connection_generation']) > generation
and view['installed'].get('last_contact_at') not in (None, contact)):
print(f'Fertig. Das Gerät meldet sich mit Version {view["installed"]["agent_version"]} ' print(f'Fertig. Das Gerät meldet sich mit Version {view["installed"]["agent_version"]} '
'und erscheint in der WebUI unter Geräte.') 'und erscheint in der WebUI unter Geräte.')
return return
stop('Der Dienst läuft, hat sich aber noch nicht beim Server gemeldet. ' stop('Der Dienst läuft, sendet aber keinen Heartbeat. '
'Diagnose: /var/log/system/latest.log und service discovery_agent restart.') 'Diagnose: grep discovery-agent /var/log/system/latest.log | tail')
if __name__ == '__main__': if __name__ == '__main__':
+19 -5
View File
@@ -724,6 +724,7 @@ mod tests {
let (tenant, other) = (Uuid::new_v4(), Uuid::new_v4()); let (tenant, other) = (Uuid::new_v4(), Uuid::new_v4());
let (host, vm, manual_vm, foreign_vm, twin_a, twin_b) = let (host, vm, manual_vm, foreign_vm, twin_a, twin_b) =
(Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4()); (Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4());
let (fw, foreign_fw, physical_fw) = (Uuid::new_v4(), Uuid::new_v4(), Uuid::new_v4());
for customer in [tenant, other] { for customer in [tenant, other] {
sqlx::query("INSERT INTO tenants(tenant_id,name) VALUES($1,'Proxmox link test')") sqlx::query("INSERT INTO tenants(tenant_id,name) VALUES($1,'Proxmox link test')")
.bind(customer).execute(&admin).await.unwrap(); .bind(customer).execute(&admin).await.unwrap();
@@ -740,15 +741,22 @@ mod tests {
} }
json!({"hostname":"h","os":"Debian","root_available_bytes":1,"root_total_bytes":2,"observations":scopes}) json!({"hostname":"h","os":"Debian","root_available_bytes":1,"root_total_bytes":2,"observations":scopes})
}; };
// OPNsense snapshots are flat; MACs come from `interfaces.entries`.
let firewall = |kind: &str, macs: &[&str]| json!({"hostname":"fw","hardware":{"device_type":kind},
"interfaces":{"status":"ok","entries":macs.iter().enumerate().map(|(i, m)|
json!({"name":format!("vtnet{i}"),"mac":m})).chain([json!({"name":"lo0","mac":null})])
.collect::<Vec<_>>()}});
let insert = |customer: Uuid, id: Uuid, data: Value, sequence: i64| { let insert = |customer: Uuid, id: Uuid, data: Value, sequence: i64| {
let admin = admin.clone(); let admin = admin.clone();
async move { async move {
sqlx::query("INSERT INTO observations(tenant_id,agent_id,message_id,boot_id,sequence,observed_at,source_id,quality,completeness,snapshot_id,data,payload_sha256) VALUES($1,$2,$3,$4,$5,now(),'linux.base','valid','partial',$6,$7,$8)") let source = if data.get("interfaces").is_some() { "opnsense.base" } else { "linux.base" };
sqlx::query("INSERT INTO observations(tenant_id,agent_id,message_id,boot_id,sequence,observed_at,source_id,quality,completeness,snapshot_id,data,payload_sha256) VALUES($1,$2,$3,$4,$5,now(),$9,'valid','partial',$6,$7,$8)")
.bind(customer).bind(id).bind(Uuid::new_v4()).bind(Uuid::new_v4()).bind(sequence) .bind(customer).bind(id).bind(Uuid::new_v4()).bind(Uuid::new_v4()).bind(sequence)
.bind(Uuid::new_v4()).bind(data).bind("0".repeat(64)).execute(&admin).await.unwrap(); .bind(Uuid::new_v4()).bind(data).bind("0".repeat(64)).bind(source).execute(&admin).await.unwrap();
} }
}; };
let all = ["bc:24:11:00:00:01", "bc:24:11:00:00:02", "bc:24:11:00:00:03", "bc:24:11:00:00:04"]; let all = ["bc:24:11:00:00:01", "bc:24:11:00:00:02", "bc:24:11:00:00:03", "bc:24:11:00:00:04",
"bc:24:11:00:00:05", "bc:24:11:00:00:06", "bc:24:11:00:00:07"];
for (customer, id, data) in [ for (customer, id, data) in [
(tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all)))), (tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all)))),
(tenant, vm, device("virtual", "BC:24:11:00:00:01", None)), (tenant, vm, device("virtual", "BC:24:11:00:00:01", None)),
@@ -756,6 +764,9 @@ mod tests {
(other, foreign_vm, device("virtual", "bc:24:11:00:00:03", None)), (other, foreign_vm, device("virtual", "bc:24:11:00:00:03", None)),
(tenant, twin_a, device("virtual", "bc:24:11:00:00:04", None)), (tenant, twin_a, device("virtual", "bc:24:11:00:00:04", None)),
(tenant, twin_b, device("virtual", "bc:24:11:00:00:04", None)), (tenant, twin_b, device("virtual", "bc:24:11:00:00:04", None)),
(tenant, fw, firewall("virtual", &["BC:24:11:00:00:05", "02:00:00:00:00:01"])),
(other, foreign_fw, firewall("virtual", &["bc:24:11:00:00:06"])),
(tenant, physical_fw, firewall("physical", &["bc:24:11:00:00:07"])),
] { ] {
sqlx::query("INSERT INTO assets(tenant_id,asset_id) VALUES($1,$2)") sqlx::query("INSERT INTO assets(tenant_id,asset_id) VALUES($1,$2)")
.bind(customer).bind(id).execute(&admin).await.unwrap(); .bind(customer).bind(id).execute(&admin).await.unwrap();
@@ -782,9 +793,12 @@ mod tests {
assert_eq!(link(manual_vm).await, (None, Some("manual".into()))); assert_eq!(link(manual_vm).await, (None, Some("manual".into())));
assert_eq!(link(foreign_vm).await, (None, None)); assert_eq!(link(foreign_vm).await, (None, None));
assert_eq!(link(twin_a).await, (None, None), "duplicate MACs are ambiguous"); assert_eq!(link(twin_a).await, (None, None), "duplicate MACs are ambiguous");
assert_eq!(link(fw).await, (Some(host), Some("proxmox".into())), "virtual OPNsense guest");
assert_eq!(link(foreign_fw).await, (None, None));
assert_eq!(link(physical_fw).await, (None, None), "only virtual devices are guests");
let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1 AND event_type='device_hypervisor_detected'") let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1 AND event_type='device_hypervisor_detected'")
.bind(tenant).fetch_one(&admin).await.unwrap(); .bind(tenant).fetch_one(&admin).await.unwrap();
assert_eq!(audits, 1); assert_eq!(audits, 2);
// Idempotent: a second pass changes nothing. // Idempotent: a second pass changes nothing.
let mut tx = rmm_persistence::tenant_tx(&app, tenant).await.unwrap(); let mut tx = rmm_persistence::tenant_tx(&app, tenant).await.unwrap();
@@ -792,7 +806,7 @@ mod tests {
tx.commit().await.unwrap(); tx.commit().await.unwrap();
let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1") let audits: i64 = sqlx::query_scalar("SELECT count(*) FROM audit_events WHERE tenant_id=$1")
.bind(tenant).fetch_one(&admin).await.unwrap(); .bind(tenant).fetch_one(&admin).await.unwrap();
assert_eq!(audits, 1); assert_eq!(audits, 2);
// The guest left the host: the automatic link is released. // The guest left the host: the automatic link is released.
insert(tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all[1..]))), 2).await; insert(tenant, host, device("hypervisor", "52:54:00:00:00:99", Some(guests(&all[1..]))), 2).await;
+8 -1
View File
@@ -11,6 +11,13 @@ SELECT asset.asset_id, inst.agent_id, asset.hypervisor_source,
ELSE '[]'::jsonb END) i ELSE '[]'::jsonb END) i
WHERE o->>'scope' IN ('linux.interfaces','windows.interfaces') AND o->>'quality'='valid' WHERE o->>'scope' IN ('linux.interfaces','windows.interfaces') AND o->>'quality'='valid'
AND i->>'mac' IS NOT NULL AND i->>'mac' IS NOT NULL
), (
-- OPNsense snapshots are flat.
SELECT jsonb_agg(DISTINCT lower(i->>'mac'))
FROM jsonb_array_elements(CASE WHEN inventory.data#>>'{interfaces,status}'='ok'
AND jsonb_typeof(inventory.data#>'{interfaces,entries}')='array'
THEN inventory.data#>'{interfaces,entries}' ELSE '[]'::jsonb END) i
WHERE i->>'mac' IS NOT NULL
), '[]'::jsonb) AS macs ), '[]'::jsonb) AS macs
FROM assets asset FROM assets asset
JOIN LATERAL ( JOIN LATERAL (
@@ -20,7 +27,7 @@ JOIN LATERAL (
) inst ON inst.revoked_at IS NULL ) inst ON inst.revoked_at IS NULL
LEFT JOIN LATERAL ( LEFT JOIN LATERAL (
SELECT data FROM observations SELECT data FROM observations
WHERE tenant_id=asset.tenant_id AND agent_id=inst.agent_id AND source_id IN ('linux.base','windows.base') WHERE tenant_id=asset.tenant_id AND agent_id=inst.agent_id AND source_id IN ('linux.base','windows.base','opnsense.base')
ORDER BY observed_at DESC, received_at DESC, sequence DESC LIMIT 1 ORDER BY observed_at DESC, received_at DESC, sequence DESC LIMIT 1
) inventory ON true ) inventory ON true
WHERE asset.tenant_id=$1 AND asset.hypervisor_asset_id=$2 AND asset.archived_at IS NULL WHERE asset.tenant_id=$1 AND asset.hypervisor_asset_id=$2 AND asset.archived_at IS NULL
+1
View File
@@ -1,4 +1,5 @@
//! Automatic VM -> Proxmox host mapping from the hosts' `linux.proxmox` guest lists. //! Automatic VM -> Proxmox host mapping from the hosts' `linux.proxmox` guest lists.
//! Guests are virtual Linux, Windows and OPNsense devices, matched by interface MAC.
//! Runs inside the ingesting customer transaction behind a savepoint: a failed //! Runs inside the ingesting customer transaction behind a savepoint: a failed
//! reconciliation never blocks acknowledging the inventory snapshot itself. //! reconciliation never blocks acknowledging the inventory snapshot itself.
use sqlx::{Acquire, Postgres, Transaction}; use sqlx::{Acquire, Postgres, Transaction};
+15 -5
View File
@@ -16,11 +16,11 @@ WITH current_installation AS (
WHERE asset.tenant_id=$1 AND asset.archived_at IS NULL WHERE asset.tenant_id=$1 AND asset.archived_at IS NULL
), ),
latest AS ( latest AS (
SELECT c.*, inventory.data SELECT c.*, inventory.source_id, inventory.data
FROM current_installation c FROM current_installation c
JOIN LATERAL ( JOIN LATERAL (
SELECT data FROM observations SELECT source_id, data FROM observations
WHERE tenant_id=$1 AND agent_id=c.agent_id AND source_id IN ('linux.base','windows.base') WHERE tenant_id=$1 AND agent_id=c.agent_id AND source_id IN ('linux.base','windows.base','opnsense.base')
ORDER BY observed_at DESC, received_at DESC, sequence DESC ORDER BY observed_at DESC, received_at DESC, sequence DESC
LIMIT 1 LIMIT 1
) inventory ON true ) inventory ON true
@@ -31,6 +31,15 @@ scopes AS (
jsonb_array_elements(CASE WHEN jsonb_typeof(l.data->'observations')='array' jsonb_array_elements(CASE WHEN jsonb_typeof(l.data->'observations')='array'
THEN l.data->'observations' ELSE '[]'::jsonb END) o THEN l.data->'observations' ELSE '[]'::jsonb END) o
WHERE o->>'quality'='valid' WHERE o->>'quality'='valid'
UNION ALL
-- An OPNsense snapshot is flat: hardware and interfaces sit at the top level.
SELECT l.asset_id, jsonb_build_object('scope','opnsense.hardware','quality','valid','data',l.data->'hardware')
FROM latest l
WHERE l.source_id='opnsense.base' AND jsonb_typeof(l.data->'hardware')='object'
UNION ALL
SELECT l.asset_id, jsonb_build_object('scope','opnsense.interfaces','quality','valid','data',l.data->'interfaces')
FROM latest l
WHERE l.source_id='opnsense.base' AND l.data#>>'{interfaces,status}'='ok'
), ),
proxmox_hosts AS ( proxmox_hosts AS (
SELECT asset_id, o->'data' AS data FROM scopes WHERE o->>'scope'='linux.proxmox' SELECT asset_id, o->'data' AS data FROM scopes WHERE o->>'scope'='linux.proxmox'
@@ -43,7 +52,8 @@ guest_macs AS (
), ),
virtual_devices AS ( virtual_devices AS (
SELECT asset_id FROM scopes SELECT asset_id FROM scopes
WHERE o->>'scope' IN ('linux.hardware','windows.hardware') AND o#>>'{data,device_type}'='virtual' WHERE o->>'scope' IN ('linux.hardware','windows.hardware','opnsense.hardware')
AND o#>>'{data,device_type}'='virtual'
), ),
device_macs AS ( device_macs AS (
SELECT DISTINCT s.asset_id, lower(i->>'mac') AS mac SELECT DISTINCT s.asset_id, lower(i->>'mac') AS mac
@@ -53,7 +63,7 @@ device_macs AS (
WHEN jsonb_typeof(s.o->'data')='array' THEN s.o->'data' WHEN jsonb_typeof(s.o->'data')='array' THEN s.o->'data'
WHEN jsonb_typeof(s.o#>'{data,entries}')='array' THEN s.o#>'{data,entries}' WHEN jsonb_typeof(s.o#>'{data,entries}')='array' THEN s.o#>'{data,entries}'
ELSE '[]'::jsonb END) i ELSE '[]'::jsonb END) i
WHERE s.o->>'scope' IN ('linux.interfaces','windows.interfaces') WHERE s.o->>'scope' IN ('linux.interfaces','windows.interfaces','opnsense.interfaces')
AND i->>'mac' ~* '^[0-9a-f]{2}(:[0-9a-f]{2}){5}$' AND i->>'mac' ~* '^[0-9a-f]{2}(:[0-9a-f]{2}){5}$'
AND lower(i->>'mac') <> '00:00:00:00:00:00' AND lower(i->>'mac') <> '00:00:00:00:00:00'
), ),
+6 -2
View File
@@ -10,11 +10,15 @@ Unter **Verwaltung → Geräteaufnahme** den Kunden wählen und einen Einmalcode
fetch -o opnsense.sh 'https://discovery.ease-technologies.de:8443/install/opnsense.sh' && sh opnsense.sh 'https://discovery.ease-technologies.de:8443' fetch -o opnsense.sh 'https://discovery.ease-technologies.de:8443/install/opnsense.sh' && sh opnsense.sh 'https://discovery.ease-technologies.de:8443'
``` ```
Das Skript fragt nach dem **Einmalcode**. Es lädt mit diesem Code das OPNsense-Paket des Servers, prüft jede Datei gegen Größe und SHA-256 und installiert es mit denselben Schritten wie [install-dev.sh](install-dev.sh). Danach nimmt es die Firewall unter dem Dienstkonto `discovery` auf. Ist der Skript-Worker im Paket, wird er über den Gerätekanal an genau diese Installation gebunden (`job-binding.json`). Das Skript startet den Dienst und wartet, bis sich die Firewall mit der Paketversion meldet. [Installer](../../crates/server/src/bootstrap/opnsense_install.py) Das Skript fragt nach dem **Einmalcode**. Es lädt mit diesem Code das OPNsense-Paket des Servers, prüft jede Datei gegen Größe und SHA-256 und installiert es mit denselben Schritten wie [install-dev.sh](install-dev.sh). Danach nimmt es die Firewall unter dem Dienstkonto `discovery` auf. Ist der Skript-Worker im Paket, prüft das Skript zuerst, ob er auf diesem System lädt (`rmm-opnsense-jobs --version` mit `LD_BIND_NOW=1`), und bindet ihn dann über den Gerätekanal an genau diese Installation (`job-binding.json`). Lädt er nicht, meldet das Skript das und legt keine Bindung an. Das Skript startet den Dienst und meldet erst Erfolg, wenn die Firewall sich mit der Paketversion verbunden und danach einen Heartbeat gesendet hat. [Installer](../../crates/server/src/bootstrap/opnsense_install.py)
Ein erneuter Lauf auf einer aufgenommenen Firewall aktualisiert nur die Programmdateien. Geräteidentität, Zertifikat, Journale und Bindung bleiben erhalten; der Einmalcode wird dabei nicht verbraucht. Gehört die vorhandene Bindung zu einem anderen Kunden, bricht das Skript ab. Für einen Kundenwechsel das Gerät neu aufnehmen. Den Root-Helper richtet der Installer nicht ein (siehe unten). Ein erneuter Lauf auf einer aufgenommenen Firewall aktualisiert nur die Programmdateien. Geräteidentität, Zertifikat, Journale und Bindung bleiben erhalten; der Einmalcode wird dabei nicht verbraucht. Gehört die vorhandene Bindung zu einem anderen Kunden, bricht das Skript ab. Für einen Kundenwechsel das Gerät neu aufnehmen. Den Root-Helper richtet der Installer nicht ein (siehe unten).
**Paket bereitstellen:** `python3 tools/dev_opnsense_bundle.py --worker-from-guest` baut `agent.pyz` und `collect.pyz` aus diesem Verzeichnis, nimmt das rc.d-Skript und den nativen Worker aus dem Testgast und legt alles mit `manifest.json` unter `devstate/mvp-releases/config/opnsense/` auf dem Entwicklungsserver ab (Eigentümer wie die übrige Releasekonfiguration, Modus 0600). Die Version stammt aus `VERSION` in `agent.py`. Ohne gültiges Paket zeigt die WebUI keinen OPNsense-Befehl. Das Paket ist nicht signiert. Seine Integrität beruht auf der HTTPS-Verbindung zum Installationsserver, über die auch das Skript selbst kommt. [Paketwerkzeug](../../tools/dev_opnsense_bundle.py) Startet der Worker im laufenden Betrieb nicht (Meldung `job worker unavailable; scripts paused, telemetry continues` im Systemlog), verbindet sich der Agent nach 30 Sekunden ohne Skriptfähigkeiten neu. Heartbeat und Inventur laufen weiter, Skripte sind für eine Stunde ausgesetzt. Danach versucht der Agent den Worker erneut.
**Worker bauen:** `python3 tools/dev_opnsense_worker.py OUT` baut `rmm-opnsense-jobs` im Testgast, linkt ihn aber gegen die Basisbibliotheken von FreeBSD 14.1 (OPNsense 24.7, offizielles `base.txz`, gegen das Release-MANIFEST geprüft). Ein nativ auf dem FreeBSD-15-Testgast gelinkter Worker verlangt `FBSD_1.9` aus der libc und lädt auf OPNsense 24.x nicht. [Worker-Werkzeug](../../tools/dev_opnsense_worker.py)
**Paket bereitstellen:** `python3 tools/dev_opnsense_bundle.py --worker OUT` baut `agent.pyz` und `collect.pyz` aus diesem Verzeichnis, nimmt das rc.d-Skript und den gebauten Worker und legt alles mit `manifest.json` unter `devstate/mvp-releases/config/opnsense/` auf dem Entwicklungsserver ab (Eigentümer wie die übrige Releasekonfiguration, Modus 0600). Die Version stammt aus `VERSION` in `agent.py`. Ohne gültiges Paket zeigt die WebUI keinen OPNsense-Befehl. Das Paket ist nicht signiert. Seine Integrität beruht auf der HTTPS-Verbindung zum Installationsserver, über die auch das Skript selbst kommt. [Paketwerkzeug](../../tools/dev_opnsense_bundle.py)
## Quelle und Entwicklungsinstallation ## Quelle und Entwicklungsinstallation
+14 -4
View File
@@ -20,9 +20,13 @@ STATE = Path('/var/db/discovery-agent')
CA = '/usr/local/etc/discovery-agent/ca.pem' CA = '/usr/local/etc/discovery-agent/ca.pem'
HOST = 'discovery.ease-technologies.de' HOST = 'discovery.ease-technologies.de'
MEDIA = 'application/x-protobuf' MEDIA = 'application/x-protobuf'
VERSION = '0.1.0-opnsense.6' VERSION = '0.1.0-opnsense.7'
WORKER = Path('/usr/local/libexec/discovery-agent/rmm-opnsense-jobs') WORKER = Path('/usr/local/libexec/discovery-agent/rmm-opnsense-jobs')
BINDING = Path('/usr/local/etc/discovery-agent/job-binding.json') BINDING = Path('/usr/local/etc/discovery-agent/job-binding.json')
# A worker that cannot start (e.g. built for a newer FreeBSD) must not stop
# heartbeat and inventory. Script capabilities pause until this moment.
WORKER_RETRY = 3600
worker_paused_until = 0.0
def post(ctx, path, data, media): def post(ctx, path, data, media):
@@ -177,11 +181,12 @@ def session(db, identity, boot, instance):
def run_channel(db, identity, boot, instance, stack): def run_channel(db, identity, boot, instance, stack):
global worker_paused_until
ctx = context() ctx = context()
ctx.load_cert_chain(STATE/'device.pem', STATE/'device.key') ctx.load_cert_chain(STATE/'device.pem', STATE/'device.key')
generation = 0 generation = 0
jobs = None jobs = None
enabled = BINDING.is_file() and WORKER.is_file() enabled = BINDING.is_file() and WORKER.is_file() and time.monotonic() >= worker_paused_until
def send(kind, payload, captured=None): def send(kind, payload, captured=None):
# A lost inventory ACK replays the exact durable envelope, including its # A lost inventory ACK replays the exact durable envelope, including its
@@ -249,8 +254,13 @@ def run_channel(db, identity, boot, instance, stack):
p.stdout.close() p.stdout.close()
stack.callback(close) stack.callback(close)
jobs = Jobs(p) jobs = Jobs(p)
if jobs.read()!=b'ready': try:
raise ValueError('job worker unavailable') ready = jobs.read()==b'ready'
except ValueError:
ready = False
if not ready:
worker_paused_until = time.monotonic()+WORKER_RETRY
raise ValueError('job worker unavailable; scripts paused, telemetry continues')
last = None last = None
previous = None previous = None
check_cert = time.monotonic()+12*3600 check_cert = time.monotonic()+12*3600
+41
View File
@@ -76,5 +76,46 @@ class Reconnect(unittest.TestCase):
self.assertEqual(captures[0],captures[1]) self.assertEqual(captures[0],captures[1])
def test_broken_worker_pauses_scripts_but_keeps_heartbeat(self):
with tempfile.TemporaryDirectory() as temp:
db = sqlite3.connect(':memory:')
db.executescript('CREATE TABLE sequence(id INTEGER PRIMARY KEY,n INTEGER);INSERT INTO sequence VALUES(1,0);'
'CREATE TABLE pending(id INTEGER PRIMARY KEY,envelope BLOB,observed INTEGER);')
worker = Path(temp)/'worker'
# Same effect as a loader failure: exits before printing "ready".
worker.write_text('#!/bin/sh\nexit 1\n')
worker.chmod(0o755)
binding = Path(temp)/'binding.json'
binding.write_text('{}')
seen = []
def gateway(_ctx,path,data,media):
req = a.pb.MessageBatch.FromString(data).messages[0]
reply = a.pb.Envelope()
reply.CopyFrom(req)
kind = req.WhichOneof('payload')
seen.append((kind, list(req.client_hello.capabilities)))
if kind == 'client_hello':
reply.connection_generation = len(seen)
reply.server_hello.CopyFrom(a.pb.ServerHello(connection_generation=len(seen),max_message_bytes=1024*1024))
else:
reply.ack.CopyFrom(a.pb.Ack(message_id=req.message_id))
return a.pb.MessageBatch(protocol_major=1,messages=[reply]).SerializeToString()
with patch.object(a,'context'), patch.object(a,'renew',return_value=False), \
patch.object(a,'post',gateway), patch.object(a,'WORKER',worker), patch.object(a,'BINDING',binding), \
patch.object(a,'worker_paused_until',0.0), \
patch.object(a,'usage',return_value=(a.pb.SystemUsage(),[])), \
patch.object(a.time,'clock_gettime',return_value=100), \
patch.object(a.time,'CLOCK_UPTIME',1,create=True), patch.object(a.time,'sleep',side_effect=StopIteration):
identity = {'agent_id':str(uuid.uuid4()),'asset_id':str(uuid.uuid4())}
with self.assertRaisesRegex(ValueError,'telemetry continues'):
a.session(db,identity,str(uuid.uuid4()),str(uuid.uuid4()))
with self.assertRaises(StopIteration):
a.session(db,identity,str(uuid.uuid4()),str(uuid.uuid4()))
self.assertEqual([k for k,_ in seen],['client_hello','client_hello','heartbeat'])
self.assertIn('run_script',seen[0][1])
self.assertEqual(seen[1][1],['heartbeat/1','opnsense.base/1'])
if __name__=='__main__': if __name__=='__main__':
unittest.main() unittest.main()
+1 -1
View File
@@ -23,7 +23,7 @@ Der Server bewertet jeden aktiven Job: **Gelaufen**, wenn jeder gesicherte Gast
## Zuordnung der VMs ## Zuordnung der VMs
Nach jeder Linux- oder Windows-Inventarmeldung vergleicht der Server die MAC-Adressen der aktuellen Proxmox-Gastlisten mit den Netzwerkkarten der aktuellen virtuellen Geräte desselben Kunden. Bei einem eindeutigen Treffer trägt er den Proxmox-Host als Hypervisor ein (`hypervisor_source = proxmox`) und auditiert `device_hypervisor_detected`. Eine MAC, die mehrere Geräte oder mehrere Hosts melden, führt zu keiner Zuordnung. Verschwindet der Gast aus der gültigen Gastliste seines Hosts, wird die automatische Zuordnung gelöst. Eine manuelle Auswahl unter **Gerät verwalten → Hypervisor zuordnen** hat Vorrang. Die Option **Automatisch (Proxmox-Gastliste)** gibt die Entscheidung an die Erkennung zurück. [Abgleich](../../crates/server/src/proxmox_links.sql) Nach jeder Linux-, Windows- oder OPNsense-Inventarmeldung vergleicht der Server die MAC-Adressen der aktuellen Proxmox-Gastlisten mit den Netzwerkkarten der aktuellen virtuellen Geräte desselben Kunden. Bei OPNsense stammen Gerätetyp und Netzwerkkarten aus `hardware.device_type` und `interfaces.entries` des flachen `opnsense.base`-Snapshots. Bei einem eindeutigen Treffer trägt er den Proxmox-Host als Hypervisor ein (`hypervisor_source = proxmox`) und auditiert `device_hypervisor_detected`. Eine MAC, die mehrere Geräte oder mehrere Hosts melden, führt zu keiner Zuordnung. Verschwindet der Gast aus der gültigen Gastliste seines Hosts, wird die automatische Zuordnung gelöst. Eine manuelle Auswahl unter **Gerät verwalten → Hypervisor zuordnen** hat Vorrang. Die Option **Automatisch (Proxmox-Gastliste)** gibt die Entscheidung an die Erkennung zurück. [Abgleich](../../crates/server/src/proxmox_links.sql)
## Diagnose ## Diagnose
+1 -1
View File
@@ -11,7 +11,7 @@
| Genehmigung und Zustellung | [Genehmigungseingang](../crates/server/src/approvals.rs), [Entscheidung und Freigabe](../crates/server/src/jobs.rs), [Gerätegateway](../crates/server/src/job_gateway.rs), [Abgleich im Agenten](../crates/agent-core/src/reconcile.rs) | | Genehmigung und Zustellung | [Genehmigungseingang](../crates/server/src/approvals.rs), [Entscheidung und Freigabe](../crates/server/src/jobs.rs), [Gerätegateway](../crates/server/src/job_gateway.rs), [Abgleich im Agenten](../crates/agent-core/src/reconcile.rs) |
| MCP und Administrator-Skripte | [Werkzeuge](../crates/server/src/mcp.rs), [Tokenrechte](../crates/server/src/mcp_tokens.rs), [Helper und zentrale Geräteregel](../crates/server/src/managed_scripts.rs) | | MCP und Administrator-Skripte | [Werkzeuge](../crates/server/src/mcp.rs), [Tokenrechte](../crates/server/src/mcp_tokens.rs), [Helper und zentrale Geräteregel](../crates/server/src/managed_scripts.rs) |
| Geräteaufnahme und Releasewechsel | [HTTPS-Installer und Lebenszyklus](../crates/server/src/bootstrap), [Releasekatalog](../crates/server/src/agent_updates.rs), [Signaturprüfung](../crates/updater/src/manifest.rs) | | Geräteaufnahme und Releasewechsel | [HTTPS-Installer und Lebenszyklus](../crates/server/src/bootstrap), [Releasekatalog](../crates/server/src/agent_updates.rs), [Signaturprüfung](../crates/updater/src/manifest.rs) |
| OPNsense-Aufnahme per HTTPS | [Skript](../crates/server/src/bootstrap/opnsense.sh), [Installer](../crates/server/src/bootstrap/opnsense_install.py), [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs), [Paketwerkzeug](../tools/dev_opnsense_bundle.py) | | OPNsense-Aufnahme per HTTPS | [Skript](../crates/server/src/bootstrap/opnsense.sh), [Installer](../crates/server/src/bootstrap/opnsense_install.py), [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs), [Paketwerkzeug](../tools/dev_opnsense_bundle.py), [Worker-Build für FreeBSD 14.1](../tools/dev_opnsense_worker.py) |
| Native Laufzeiten | [Linux-Agent](../crates/agent/src/main.rs), [Linux-Inventar und Skripte](../crates/agent-linux/src), [Windows-Agent](../crates/agent-windows/src/runtime.rs), [Agentprotokoll](../proto/BACKEND_CONTRACT.md) | | Native Laufzeiten | [Linux-Agent](../crates/agent/src/main.rs), [Linux-Inventar und Skripte](../crates/agent-linux/src), [Windows-Agent](../crates/agent-windows/src/runtime.rs), [Agentprotokoll](../proto/BACKEND_CONTRACT.md) |
| Proxmox-Host und VM-Zuordnung | [Sammelmodul](../crates/agent-linux/src/inventory/proxmox.rs), [Validierung und Backupbewertung](../crates/domain/src/inventory_document/proxmox.rs), [automatische Zuordnung](../crates/server/src/proxmox_links.sql), [Detailansicht](../web/src/proxmox.tsx), [Betrieb](../deploy/proxmox/README.md) | | Proxmox-Host und VM-Zuordnung | [Sammelmodul](../crates/agent-linux/src/inventory/proxmox.rs), [Validierung und Backupbewertung](../crates/domain/src/inventory_document/proxmox.rs), [automatische Zuordnung](../crates/server/src/proxmox_links.sql), [Detailansicht](../web/src/proxmox.tsx), [Betrieb](../deploy/proxmox/README.md) |
+2 -1
View File
@@ -54,7 +54,8 @@ Alle acht Versuche lieferten Exitcode 0. Bei beiden Neustarts wurde die Wiederan
| Gerätetyp in der Übersicht | Spalte „Type“ nach „Hostname“ mit `physical`, `virtual` und `hypervisor`. Erkannte Proxmox-VE-Hosts zeigen `Proxmox VE` als OS. Am 18. November wurde `c599baa` auf dem öffentlichen Server aktiviert. Der Serverrunner bestätigte API, Gateway und öffentlichen API-Dienst mit Binärhash `4f9c8c60…`. Der öffentliche WebUI-Index stimmte mit dem gebauten Bundle überein. Die unveränderten Geräteidentitäten meldeten nach regulärem signierten Update `virtual` auf Linux mit `0.1.0-mvp.7` um 16:45 UTC und Windows mit `0.1.17` um 16:47 UTC. Geräteliste, Details, Mobilansicht mit 390 px und Historie sind in der öffentlichen WebUI geprüft. Beide Pakete sind in Development A und B und als Starter für leere Kataloge veröffentlicht. Die Typen `physical` und `hypervisor` sind mit Testdaten geprüft. Die Feldabnahme auf einem physischen Gerät und einem Proxmox-VE-Host steht aus. [Inventarprojektion](../crates/server/src/devices.rs) · [Geräteansicht](../web/src/devices.tsx) | | Gerätetyp in der Übersicht | Spalte „Type“ nach „Hostname“ mit `physical`, `virtual` und `hypervisor`. Erkannte Proxmox-VE-Hosts zeigen `Proxmox VE` als OS. Am 18. November wurde `c599baa` auf dem öffentlichen Server aktiviert. Der Serverrunner bestätigte API, Gateway und öffentlichen API-Dienst mit Binärhash `4f9c8c60…`. Der öffentliche WebUI-Index stimmte mit dem gebauten Bundle überein. Die unveränderten Geräteidentitäten meldeten nach regulärem signierten Update `virtual` auf Linux mit `0.1.0-mvp.7` um 16:45 UTC und Windows mit `0.1.17` um 16:47 UTC. Geräteliste, Details, Mobilansicht mit 390 px und Historie sind in der öffentlichen WebUI geprüft. Beide Pakete sind in Development A und B und als Starter für leere Kataloge veröffentlicht. Die Typen `physical` und `hypervisor` sind mit Testdaten geprüft. Die Feldabnahme auf einem physischen Gerät und einem Proxmox-VE-Host steht aus. [Inventarprojektion](../crates/server/src/devices.rs) · [Geräteansicht](../web/src/devices.tsx) |
| Hostzuordnung bei VMs | Die WebUI zeigt einen zugeordneten Hypervisor direkt an der VM. Der Browsertest prüfte Zuordnung, Verlinkung, Entfernen und den Hetzner-Platzhalter bei 390 px Breite. In PostgreSQL wurden die Page-Grenze, archivierte Hypervisoren und die Trennung der Kunden geprüft. 80 WebUI-Tests, vier Browsertests und fünf Rust-Gerätetests bestanden. Revision `bcd3bd8` wurde am 18. November um 21:43 UTC mit Schema 43 aktiviert. Der Serverrunner bestätigte die TLS-Healthchecks und der öffentliche Index entsprach dem Build. In der öffentlichen WebUI zeigten zwei vorhandene Hetzner-VMs den Platzhalter auf Desktop und Mobil. Die Auswahl war im Gerätedetail verfügbar. Der Bestand enthielt zum Prüfzeitpunkt keinen registrierten Hypervisor. [Geräteansicht](../web/src/device-hypervisor.tsx) · [Hostsuche](../crates/server/src/hypervisors.sql) | | Hostzuordnung bei VMs | Die WebUI zeigt einen zugeordneten Hypervisor direkt an der VM. Der Browsertest prüfte Zuordnung, Verlinkung, Entfernen und den Hetzner-Platzhalter bei 390 px Breite. In PostgreSQL wurden die Page-Grenze, archivierte Hypervisoren und die Trennung der Kunden geprüft. 80 WebUI-Tests, vier Browsertests und fünf Rust-Gerätetests bestanden. Revision `bcd3bd8` wurde am 18. November um 21:43 UTC mit Schema 43 aktiviert. Der Serverrunner bestätigte die TLS-Healthchecks und der öffentliche Index entsprach dem Build. In der öffentlichen WebUI zeigten zwei vorhandene Hetzner-VMs den Platzhalter auf Desktop und Mobil. Die Auswahl war im Gerätedetail verfügbar. Der Bestand enthielt zum Prüfzeitpunkt keinen registrierten Hypervisor. [Geräteansicht](../web/src/device-hypervisor.tsx) · [Hostsuche](../crates/server/src/hypervisors.sql) |
| Gruppierte Geräteübersicht | Der Bestand zeigt je Hypervisor einen Block mit Host und eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Am 20. November bestanden 87 WebUI-Tests, darunter vier zur Gruppierung (Reihenfolge, Host außerhalb der Seite, Kundentrennung, manuell zugeordneter Host), und die lokale Browsersuite mit dem angepassten Zuordnungstest bei 390 px Breite. Desktop- und Mobildarstellung wurden mit Beispieldaten im Browser angesehen. Eine Sichtprüfung mit persönlicher Sitzung auf dem Entwicklungsserver steht aus. [Gruppierung](../web/src/device-groups.ts) · [Geräteliste](../web/src/devices.tsx) | | Gruppierte Geräteübersicht | Der Bestand zeigt je Hypervisor einen Block mit Host und eingerückten VMs, danach „Hetzner Cloud“, „Physische Geräte“ und „Nicht zugeordnet“. Am 20. November bestanden 87 WebUI-Tests, darunter vier zur Gruppierung (Reihenfolge, Host außerhalb der Seite, Kundentrennung, manuell zugeordneter Host), und die lokale Browsersuite mit dem angepassten Zuordnungstest bei 390 px Breite. Desktop- und Mobildarstellung wurden mit Beispieldaten im Browser angesehen. Eine Sichtprüfung mit persönlicher Sitzung auf dem Entwicklungsserver steht aus. [Gruppierung](../web/src/device-groups.ts) · [Geräteliste](../web/src/devices.tsx) |
| OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. Die Erstaufnahme einer neuen Firewall ist live noch nicht geprüft. 87 WebUI-Tests und die Browsersuite bestanden. [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) | | OPNsense-Aufnahme per HTTPS | Am 21. November wurde Revision `7201b18` aktiviert, das OPNsense-Paket `0.1.0-opnsense.6` mit nativem Worker auf dem Server abgelegt und der öffentliche Ingress um die OPNsense-Pfade ergänzt. Öffentlich: `/install/opnsense.sh` 200, Paketmetadaten und Dateien ohne gültigen Code 401, nicht gelistete Dateinamen 404. Auf der Test-VM `discovery-opnsense` (Kunde `9d730e0a-…`) lud der Befehl das Skript mit `fetch`, prüfte das Paket und aktualisierte die Programmdateien. Danach entsprachen `agent.pyz`, `collect.pyz` und `rmm-opnsense-jobs` den SHA-256 des Servers. Identität, Gerätschlüssel, Job-Bindung und Root-Policy waren unverändert, Agent, Collector und Root-Helper liefen, und die Firewall meldete sich mit neuer Verbindungsgeneration und Version `0.1.0-opnsense.6`. Ein ungültiger Code brach vor jeder Änderung ab. 87 WebUI-Tests und die Browsersuite bestanden. **Erstaufnahme, 21. November:** Eine neue Firewall mit OPNsense 24.7 (FreeBSD 14.1, Kunde `8285325f-…`) wurde aufgenommen, meldete Erfolg, erschien aber nicht in der WebUI. Der im FreeBSD-15-Testgast gelinkte Worker verlangte `FBSD_1.9` und lud dort nicht (`ld-elf.so.1 … version FBSD_1.9 … not found`). Der Agent baute den Kanal deshalb alle 30 Sekunden neu auf, ohne Heartbeat oder Inventur zu senden, und der Installer prüfte nur Version und Verbindungsgeneration. Mit Revision `93429e4` setzt der Agent (`0.1.0-opnsense.7`) die Skriptfähigkeiten eine Stunde aus und sendet weiter Telemetrie. Der Worker wird mit [dev_opnsense_worker.py](../tools/dev_opnsense_worker.py) gegen die pkgbase-Bibliotheken von FreeBSD 14.1 gelinkt (höchstens `FBSD_1.7`), und der Installer prüft das Laden des Workers und wartet auf einen Heartbeat. Belegt: Der neue Worker lud mit `LD_BIND_NOW=1` in `/tmp` der 24.7-Firewall und im Testgast, und der native Worker-Test bestand im Testgast unter `discovery`. Auf `discovery-opnsense` liefen Agent `0.1.0-opnsense.7` und der bisherige Worker mit fortlaufenden Heartbeats bei stabiler Verbindungsgeneration (die Root-Policy dort pinnt den bisherigen Worker-Hash). Um 11:34 UTC lief der öffentliche Installer mit einem neuen Einmalcode desselben Kunden auf der 24.7-Firewall als Aktualisierung (Identität und Bindung blieben, der Code wurde nicht verbraucht) und meldete Erfolg erst nach dem Heartbeat. Danach lief der neue Worker (`4100f1d5…`) unter `discovery`, das Systemlog zeigte keinen Fehler mehr, die Verbindungsgeneration blieb bei 354 und der Server führte Version `0.1.0-opnsense.7` mit `run_script`, fortlaufendem `last_contact_at` und `opnsense.base`-Snapshots der Qualität `valid` (11:34:47, 11:35:47). [Installer](../crates/server/src/bootstrap/opnsense_install.py) · [Paketauslieferung](../crates/server/src/bootstrap/opnsense.rs) |
| OPNsense am Proxmox-Host | Am 21. November ordnete der Server die Firewall `60f2df8d-…` (OPNsense 24.7, Kunde `8285325f-…`) nicht zu, obwohl der Proxmox-Host `a7935577-…` sie als VM 104 mit beiden MACs (`bc:24:11:c4:67:a5`, `bc:24:11:22:bf:5f`) führte. Der Abgleich las nur `linux.base` und `windows.base`. Revision `f3a471c` (deployt als Integrationsstand `d934a4a` mit dem laufenden MCP-Stand `22ffffa`) wertet auch den flachen `opnsense.base`-Snapshot aus und startet den Abgleich nach OPNsense-Inventuren. Ergebnis auf dem Server: `hypervisor_asset_id = a7935577-…`, `hypervisor_source = proxmox`, Audit `device_hypervisor_detected` um 12:09:16 UTC. Der DB-Test prüft zusätzlich eine virtuelle OPNsense (zugeordnet), eine fremde Kunden-OPNsense und eine physische OPNsense (beide nicht zugeordnet); alle 7 Gerätetests bestanden in isoliertem PostgreSQL mit RLS. Die WebUI-Darstellung wurde nicht im Browser angesehen. [Abgleich](../crates/server/src/proxmox_links.sql) |
| Installationsbefehl für Proxmox VE | Proxmox VE 9.2 enthält kein `sudo`. Auf dem Testhost am 21. November geprüft: `curl` und `python3` vorhanden, `sudo` fehlt. Der Linux-Befehl der WebUI brach dort deshalb ab. **Gerät aufnehmen** zeigt bei verfügbarem x86-64-Release zusätzlich den Block „Proxmox VE“ mit demselben Installer ohne `sudo` für eine Root-Shell, mit und ohne `--enable-admin-scripts`. 87 WebUI-Tests und der angepasste Browsertest der Aufnahmebefehle bestanden. [Aufnahme](../web/src/main.tsx) · [Proxmox-Host](../deploy/proxmox/README.md) | | Installationsbefehl für Proxmox VE | Proxmox VE 9.2 enthält kein `sudo`. Auf dem Testhost am 21. November geprüft: `curl` und `python3` vorhanden, `sudo` fehlt. Der Linux-Befehl der WebUI brach dort deshalb ab. **Gerät aufnehmen** zeigt bei verfügbarem x86-64-Release zusätzlich den Block „Proxmox VE“ mit demselben Installer ohne `sudo` für eine Root-Shell, mit und ohne `--enable-admin-scripts`. 87 WebUI-Tests und der angepasste Browsertest der Aufnahmebefehle bestanden. [Aufnahme](../web/src/main.tsx) · [Proxmox-Host](../deploy/proxmox/README.md) |
| Von der Auswahl zur Ausgabe | Die WebUI bindet die ausgewählte Skriptversion, zeigt den Inhalt vor Genehmigung und verlinkt das Ergebnis je Gerät. Ein abgelehnter Antrag erzeugte null Jobs. [Auftragsablauf](evidence/webui-auftragsablauf-20261117.json) · [Ergebnislinks und Entscheidungen](evidence/webui-order-history-20261118.json) Auf OTRS ARM64 wurde der Root-Skript-Helper nachträglich mit dem HTTPS-Installer aktiviert. Die zentrale Geräteregel bindet das berechtigte WebUI-Konto an diese Installation und den signierten Helper. Die öffentliche WebUI-Vorschau akzeptierte Root für OTRS. Die Probe blieb bei einer Vorschau und erzeugte null Anträge, Jobs, Outbox-Einträge und Startgrants. [OTRS-Nachweis](evidence/linux-arm64-otrs-root-helper-20261118.json) | | Von der Auswahl zur Ausgabe | Die WebUI bindet die ausgewählte Skriptversion, zeigt den Inhalt vor Genehmigung und verlinkt das Ergebnis je Gerät. Ein abgelehnter Antrag erzeugte null Jobs. [Auftragsablauf](evidence/webui-auftragsablauf-20261117.json) · [Ergebnislinks und Entscheidungen](evidence/webui-order-history-20261118.json) Auf OTRS ARM64 wurde der Root-Skript-Helper nachträglich mit dem HTTPS-Installer aktiviert. Die zentrale Geräteregel bindet das berechtigte WebUI-Konto an diese Installation und den signierten Helper. Die öffentliche WebUI-Vorschau akzeptierte Root für OTRS. Die Probe blieb bei einer Vorschau und erzeugte null Anträge, Jobs, Outbox-Einträge und Startgrants. [OTRS-Nachweis](evidence/linux-arm64-otrs-root-helper-20261118.json) |
| Frische Installation und periodisches Agentupdate | Beide VMs wurden über HTTPS aufgenommen und übernahmen anschließend ein signiertes Folgepaket mit derselben Geräteidentität. Auf Windows ist der öffentliche GNU-Kanal einschließlich Prüfung des offiziellen Schlüssels belegt. [Linux](evidence/linux-public-installer-update-20261117.json) · [Windows GNU](evidence/windows-gnu-official-vm-20261118.json). ARM64 erweitert denselben HTTPS-Installer mit automatischer Architekturerkennung. Release `0.1.0-arm64.1` ist veröffentlicht und als Starter verfügbar. Auf Ubuntu 22.04.5 ARM64 wurden die öffentlichen Downloads, die Signaturprüfung, die Ablehnung einer veränderten Agentdatei und der native Start aller drei Dateien im Prüfmodus beobachtet. OTRS ist mit Gerätezertifikat aufgenommen und meldet authentisierte Heartbeats. Die erste Kontaktprüfung wartet seit der Korrektur auf das Zertifikat. Der öffentliche Installer lief auf OTRS erneut ohne Traceback und ohne neuen Einmalcode. Der ARM64-Katalogabruf ist bestätigt. Ein späterer Versionswechsel auf ARM64 steht aus. [ARM64-Release](evidence/linux-arm64-installer-20261118.json) · [Geräteaufnahme und Nachtest](evidence/linux-arm64-enrollment-heartbeat-20261118.json) | | Frische Installation und periodisches Agentupdate | Beide VMs wurden über HTTPS aufgenommen und übernahmen anschließend ein signiertes Folgepaket mit derselben Geräteidentität. Auf Windows ist der öffentliche GNU-Kanal einschließlich Prüfung des offiziellen Schlüssels belegt. [Linux](evidence/linux-public-installer-update-20261117.json) · [Windows GNU](evidence/windows-gnu-official-vm-20261118.json). ARM64 erweitert denselben HTTPS-Installer mit automatischer Architekturerkennung. Release `0.1.0-arm64.1` ist veröffentlicht und als Starter verfügbar. Auf Ubuntu 22.04.5 ARM64 wurden die öffentlichen Downloads, die Signaturprüfung, die Ablehnung einer veränderten Agentdatei und der native Start aller drei Dateien im Prüfmodus beobachtet. OTRS ist mit Gerätezertifikat aufgenommen und meldet authentisierte Heartbeats. Die erste Kontaktprüfung wartet seit der Korrektur auf das Zertifikat. Der öffentliche Installer lief auf OTRS erneut ohne Traceback und ohne neuen Einmalcode. Der ARM64-Katalogabruf ist bestätigt. Ein späterer Versionswechsel auf ARM64 steht aus. [ARM64-Release](evidence/linux-arm64-installer-20261118.json) · [Geräteaufnahme und Nachtest](evidence/linux-arm64-enrollment-heartbeat-20261118.json) |
+3 -2
View File
@@ -2,7 +2,8 @@
"""Build the OPNsense agent bundle and place it on the dev server for the HTTPS installer. """Build the OPNsense agent bundle and place it on the dev server for the HTTPS installer.
The bundle is `agent.pyz`, `collect.pyz`, the rc.d script and optionally the native The bundle is `agent.pyz`, `collect.pyz`, the rc.d script and optionally the native
script worker `rmm-opnsense-jobs` (FreeBSD amd64, built natively in the test guest). script worker `rmm-opnsense-jobs` (FreeBSD amd64, built with tools/dev_opnsense_worker.py
against FreeBSD 14.1 so that it also loads on OPNsense 24.x).
It lands in `devstate/mvp-releases/config/opnsense/` next to the Linux bootstrap It lands in `devstate/mvp-releases/config/opnsense/` next to the Linux bootstrap
configuration and is served only against a valid one-time enrollment code. configuration and is served only against a valid one-time enrollment code.
""" """
@@ -68,7 +69,7 @@ def main():
worker = parser.add_mutually_exclusive_group() worker = parser.add_mutually_exclusive_group()
worker.add_argument('--worker', type=Path, help='Native rmm-opnsense-jobs (FreeBSD amd64) to include') worker.add_argument('--worker', type=Path, help='Native rmm-opnsense-jobs (FreeBSD amd64) to include')
worker.add_argument('--worker-from-guest', action='store_true', worker.add_argument('--worker-from-guest', action='store_true',
help='Take the installed rmm-opnsense-jobs from the OPNsense test guest') help='Take the installed rmm-opnsense-jobs from the OPNsense test guest (loads only on the guest release)')
parser.add_argument('--prepare-only', type=Path, metavar='DIR', help='Write the bundle locally, do not upload') parser.add_argument('--prepare-only', type=Path, metavar='DIR', help='Write the bundle locally, do not upload')
args = parser.parse_args() args = parser.parse_args()
version = re.search(r"^VERSION = '([A-Za-z0-9._-]+)'$", (ROOT / 'deploy/opnsense/agent.py').read_text(), re.M)[1] version = re.search(r"^VERSION = '([A-Za-z0-9._-]+)'$", (ROOT / 'deploy/opnsense/agent.py').read_text(), re.M)[1]
+122
View File
@@ -0,0 +1,122 @@
#!/usr/bin/env python3
"""Build the native OPNsense script worker `rmm-opnsense-jobs` for the oldest supported release.
The build runs in the OPNsense test guest (toolchain `/opt/discovery-rust`), but links
against the FreeBSD 14.1 base libraries (OPNsense 24.7) instead of the guest's own
FreeBSD. A worker linked natively on FreeBSD 15 needs `FBSD_1.9` from libc and does
not load on OPNsense 24.x. The sysroot consists of the official pkgbase packages of
14.1 (`pkg.freebsd.org/FreeBSD:14:amd64/base_release_1`), each checked against the
SHA-256 of the repository catalogue, and is kept in `/var/tmp/fbsd141` on the guest.
Usage: python3 tools/dev_opnsense_worker.py OUT_FILE
Then: python3 tools/dev_opnsense_bundle.py --worker OUT_FILE
"""
import argparse
import hashlib
import io
import json
from pathlib import Path
import shlex
import subprocess
import tarfile
import urllib.request
ROOT = Path(__file__).resolve().parents[1]
CREDENTIALS = ROOT / 'credentials'
SSH = ['ssh', '-F', '/dev/null', '-T', '-i', str(CREDENTIALS / 'opnsense-dev-key'),
'-o', 'UserKnownHostsFile=' + str(CREDENTIALS / 'opnsense-dev.known_hosts'),
'-o', 'GlobalKnownHostsFile=/dev/null', '-o', 'StrictHostKeyChecking=yes', '-o', 'BatchMode=yes',
'-o', 'IdentitiesOnly=yes', '-o', 'ConnectTimeout=10', '-o', 'ServerAliveInterval=30', 'root@192.168.247.1']
REPO = 'https://pkg.freebsd.org/FreeBSD:14:amd64/base_release_1'
PACKAGES = {'FreeBSD-clibs', 'FreeBSD-clibs-dev', 'FreeBSD-runtime', 'FreeBSD-runtime-dev',
'FreeBSD-libexecinfo', 'FreeBSD-libexecinfo-dev', 'FreeBSD-libcompiler_rt-dev',
# libprocstat, libmemstat, libdevstat (linked by Rust std on FreeBSD)
'FreeBSD-utilities', 'FreeBSD-utilities-dev'}
SYSROOT = '/var/tmp/fbsd141/root'
SOURCE = '/root/discovery-stage/worker-src'
def packages():
"""(file, sha256) of the 14.1 library packages from the HTTPS repository catalogue."""
with urllib.request.urlopen(REPO + '/packagesite.pkg', timeout=60) as res:
raw = res.read(16 * 1024 * 1024)
# zstd-compressed tar; the system tar knows the format.
site = subprocess.run(['tar', '--zstd', '-xOf', '-', 'packagesite.yaml'], input=raw, check=True,
capture_output=True).stdout.decode()
found = [json.loads(line) for line in site.splitlines() if line.strip()]
found = [(d['repopath'], d['sum']) for d in found if d['name'] in PACKAGES and d['version'].startswith('14.1')]
if len(found) != len(PACKAGES):
raise SystemExit('pkgbase 14.1: nicht alle Bibliothekspakete im Katalog')
return found
def stamp_of(found):
return ' '.join(sorted(name for name, _ in found))
def sysroot(found):
"""Download on the notebook (the guest's own network is unreliable), verify, unpack in the guest."""
stamp = stamp_of(found)
current = subprocess.run([*SSH, 'cat /var/tmp/fbsd141/stamp'], capture_output=True).stdout.decode().strip()
if current == stamp:
return
# Packages carry schg flags (libc, init); the sysroot is plain data without them.
subprocess.run([*SSH, 'sh -s'], check=True, input=(
'set -eu\nif [ -d /var/tmp/fbsd141 ]; then chflags -R noschg /var/tmp/fbsd141; rm -rf /var/tmp/fbsd141; fi\n'
f'mkdir -p {SYSROOT}\n').encode())
for name, digest in found:
with urllib.request.urlopen(REPO + '/' + name, timeout=120) as res:
data = res.read(128 * 1024 * 1024)
if hashlib.sha256(data).hexdigest() != digest:
raise SystemExit(f'{name}: Prüfsumme stimmt nicht mit dem Katalog überein')
target = shlex.quote('/var/tmp/fbsd141/' + name)
subprocess.run([*SSH, f'cat >{target}'], input=data, check=True)
subprocess.run([*SSH, 'sh -s'], check=True, input=(
f'set -eu\n[ "$(sha256 -q {target})" = {digest} ]\n'
f'tar -xf {target} -C {SYSROOT} --no-fflags --exclude "+*" 2>/dev/null || true\nrm {target}\n').encode())
subprocess.run([*SSH, 'sh -s'], check=True, input=(
f'set -eu\n[ -f {SYSROOT}/usr/lib/crt1.o ] && [ -f {SYSROOT}/lib/libc.so.7 ]\n'
f'echo {shlex.quote(stamp)} >/var/tmp/fbsd141/stamp\n').encode())
BUILD = f"""set -eu
cd {SOURCE}
export PATH=/opt/discovery-rust/bin:$PATH CARGO_TARGET_DIR=/var/tmp/opnsense-worker-target
export RUST_LIBC_UNSTABLE_FREEBSD_VERSION=14 CC=clang CFLAGS="--sysroot={SYSROOT}"
export RUSTFLAGS="-C linker=clang -C link-arg=--sysroot={SYSROOT} -C link-arg=-fuse-ld=lld"
cargo build --locked --release -p rmm-opnsense-jobs >&2
bin=$CARGO_TARGET_DIR/release/rmm-opnsense-jobs
if readelf -V "$bin" | grep -q 'FBSD_1\\.9'; then echo 'worker still needs FBSD_1.9' >&2; exit 1; fi
cat "$bin"
"""
def source_tar():
files = subprocess.run(['git', 'ls-files', '-z', '--', 'Cargo.toml', 'Cargo.lock', 'rust-toolchain.toml',
'proto', 'crates'], cwd=ROOT, check=True, capture_output=True).stdout.split(b'\0')
buf = io.BytesIO()
with tarfile.open(fileobj=buf, mode='w') as tar:
for name in filter(None, files):
path = ROOT / name.decode()
if path.is_file():
tar.add(path, arcname=name.decode())
return buf.getvalue()
def main():
parser = argparse.ArgumentParser(description=__doc__, formatter_class=argparse.RawDescriptionHelpFormatter)
parser.add_argument('out', type=Path)
args = parser.parse_args()
sysroot(packages())
subprocess.run([*SSH, f'rm -rf {SOURCE} && mkdir -p {SOURCE}'], check=True)
subprocess.run([*SSH, f'tar -xf - -C {SOURCE}'], input=source_tar(), check=True)
binary = subprocess.run([*SSH, 'sh -s'], input=BUILD.encode(), capture_output=True)
if not binary.stdout.startswith(b'\x7fELF'):
raise SystemExit(binary.stderr.decode()[-2000:])
args.out.write_bytes(binary.stdout)
args.out.chmod(0o755)
print(f'{args.out}: {len(binary.stdout)} bytes, linked against FreeBSD 14.1')
if __name__ == '__main__':
main()