diff --git a/crates/domain/src/inventory_document.rs b/crates/domain/src/inventory_document.rs index f30bfd9..f017f95 100644 --- a/crates/domain/src/inventory_document.rs +++ b/crates/domain/src/inventory_document.rs @@ -99,10 +99,11 @@ pub fn validate_for_scope( serde_json::from_value(item.clone()).map_err(|_| "INVALID_OBSERVATION")?; if !o.scope.starts_with(prefix) || o.scope.len() > 64 - || !o + || !(o .scope .bytes() .all(|c| c.is_ascii_lowercase() || b"._".contains(&c)) + || (scope == "linux.base" && o.scope == "linux.apt.recovery-planning")) || !scopes.insert(o.scope) { return Err("INVALID_OBSERVATION_SCOPE"); @@ -177,4 +178,38 @@ mod tests { v["observations"][0]["scope"] = json!("windows.os"); assert!(validate_for_scope(&serde_json::to_vec(&v).unwrap(), now, "windows.base").is_ok()); } + #[test] + fn exact_linux_recovery_scope_does_not_admit_other_hyphens_or_windows() { + let now = Utc::now(); + let mut v = base(); + v["collection_started_at"] = json!(now); + v["collection_completed_at"] = json!(now); + v["observations"] = json!([{"scope":"linux.apt.recovery-planning","source_id":"root-helper:apt_recovery_planning_v1","observed_at":now,"quality":"valid","completeness":"complete","truncated":false,"error_code":null,"data":{"native_recovery":{"schema_version":1}}}]); + let original = serde_json::to_vec(&v).unwrap(); + assert_eq!(validate(&original, now).unwrap(), v); + for rejected in [ + "linux.apt.other-planning", + "linux.apt.recovery-planning-extra", + "linux.other-scope", + ] { + v["observations"][0]["scope"] = json!(rejected); + assert_eq!( + validate(&serde_json::to_vec(&v).unwrap(), now).unwrap_err(), + "INVALID_OBSERVATION_SCOPE" + ); + } + v["os"] = json!("Windows 11 Pro"); + v["root_available_inodes"] = Value::Null; + for rejected in [ + "linux.apt.recovery-planning", + "windows.apt.recovery-planning", + ] { + v["observations"][0]["scope"] = json!(rejected); + assert_eq!( + validate_for_scope(&serde_json::to_vec(&v).unwrap(), now, "windows.base") + .unwrap_err(), + "INVALID_OBSERVATION_SCOPE" + ); + } + } } diff --git a/deploy/cloud_inventory_replay_evidence.py b/deploy/cloud_inventory_replay_evidence.py new file mode 100644 index 0000000..78171d7 --- /dev/null +++ b/deploy/cloud_inventory_replay_evidence.py @@ -0,0 +1,44 @@ +"""Read preserved inventory identity/hash only; no collection or queue edits.""" + + +def vm_pending(payload): + import sqlite3 + def wire(raw): + result={};parts=[];i=0 + def number(): + nonlocal i + value=shift=0 + while True: + require(i>3;kind=key&7 + if kind==0:value=number() + elif kind==2: + length=number();require(i+length<=len(raw),'bounded protobuf field');value=raw[i:i+length];i+=length + else:raise RuntimeError('unexpected preserved protobuf type') + result[field]=value;parts.append((field,raw[start:i])) + return result,parts + with sqlite3.connect('file:/var/lib/rmm-agent-remote/journal.sqlite?mode=ro',uri=True) as db: + events=[];other=0 + for ident,raw in db.execute('SELECT id,payload FROM job_events'): + require(len(raw)<=1024*1024,'bounded durable message');e,parts=wire(raw) + if 13 not in e:other+=1;continue + snap,_=wire(e[13]);data=json.loads(snap[6]);require(hashlib.sha256(snap[6]).digest()==snap[7],'original data hash') + require(e[3].decode()==ident,'original message identity') + events.append(dict(message_id=ident,agent_id=e[4].decode(),snapshot_id=snap[1].decode(), + observed_at_ms=e[9],sequence=e[8],data_sha256=hashlib.sha256(snap[6]).hexdigest(), + payload_sha256=hashlib.sha256(b''.join(raw for number,raw in parts if number!=6)).hexdigest(), + recovery_scope_present=any(o.get('scope')=='linux.apt.recovery-planning' for o in data.get('observations',[])))) + return dict(events=events,other_unacked=other) + + +def server_stored(payload): + root=Path('/opt/rust-discovery');agent=str(uuid.UUID(payload['agent_id']));message=str(uuid.UUID(payload['message_id'])) + query="SELECT row_to_json(x) FROM (SELECT message_id,snapshot_id,payload_sha256,(extract(epoch FROM observed_at)*1000)::bigint AS observed_at_ms FROM observations WHERE tenant_id='11111111-1111-4111-8111-111111111111' AND agent_id='"+agent+"' AND message_id='"+message+"') x;" + cmd=['docker','compose','--env-file',str(root/'devstate/.env'),'-f',str(root/'deploy/server.compose.yaml'), + 'exec','-T','postgres','psql','-X','-qAt','-v','ON_ERROR_STOP=1','-U','postgres','-d','rmm'] + raw=subprocess.run(cmd,input=query.encode(),capture_output=True,check=True,timeout=15).stdout.strip() + return json.loads(raw) if raw else {} diff --git a/deploy/cloud_runtime_evidence.py b/deploy/cloud_runtime_evidence.py new file mode 100644 index 0000000..69642ab --- /dev/null +++ b/deploy/cloud_runtime_evidence.py @@ -0,0 +1,25 @@ +"""Operational process state for the three project services; no customer scan.""" + + +def service_processes(payload): + result={} + for name in ('rmm-agent-remote.service','rmm-helper-cloud.service','rmm-apt-helper.service'): + values=subprocess.run(['systemctl','show',name,'-p','ActiveState','-p','SubState','-p','MainPID','-p','NRestarts'], + capture_output=True,check=True,timeout=10).stdout.decode() + fields=dict(line.split('=',1) for line in values.splitlines() if '=' in line) + pid=int(fields['MainPID']);processes=[] + # Kernel scheduling metadata only; never command lines, environment, + # descriptors, credentials, arbitrary process memory or customer logs. + if pid: + pending=[pid] + while pending and len(processes)<32: + current=pending.pop(0);root=Path('/proc')/str(current) + if not root.exists():continue + processes.append(dict(pid=current,comm=(root/'comm').read_text().strip(),wchan=(root/'wchan').read_text().strip(), + state=next((s.split(':',1)[1].strip() for s in (root/'status').read_text().splitlines() if s.startswith('State:')),None))) + processes[-1]['threads']=[dict(tid=int(p.name),comm=(p/'comm').read_text().strip(),wchan=(p/'wchan').read_text().strip()) + for p in sorted((root/'task').iterdir())[:32] if p.is_dir()] + children=root/'task'/str(current)/'children' + if children.exists():pending.extend(int(s) for s in children.read_text().split()) + result[name]=dict(service=fields,processes=processes) + return result diff --git a/deploy/cloud_server_upgrade.py b/deploy/cloud_server_upgrade.py index 2947b25..7a41535 100644 --- a/deploy/cloud_server_upgrade.py +++ b/deploy/cloud_server_upgrade.py @@ -51,15 +51,20 @@ def stage(payload): os.replace(next_path, dest) # Build asynchronously. Captured compiler output remains root-private. worker = backup/'build.py' + image_tag='rust-discovery-server:upgrade-'+payload['id'] worker.write_text('''import json,os,subprocess from pathlib import Path os.umask(0o077) root=Path('/opt/rust-discovery'); here=Path(__file__).parent +record=json.loads((here/'source.json').read_text()) with (here/'build.log').open('xb') as log: - result=subprocess.run(['docker','compose','--env-file',str(root/'devstate/.env'),'-f',str(root/'deploy/server.compose.yaml'),'build','migrate'],stdout=log,stderr=subprocess.STDOUT) -(here/'build-result.json').write_text(json.dumps({'exit_code':result.returncode})) + result=subprocess.run(['docker','build','--file',str(root/'deploy/Dockerfile'),'--tag',record['image_tag'],str(root)],stdout=log,stderr=subprocess.STDOUT) +outcome={'exit_code':result.returncode} +if result.returncode==0: + outcome['image_id']=subprocess.run(['docker','image','inspect',record['image_tag'],'--format','{{.Id}}'],capture_output=True,check=True).stdout.decode().strip() +(here/'build-result.json').write_text(json.dumps(outcome)) '''); worker.chmod(0o600) - record = dict(id=payload['id'], source_sha256=payload['sha256'], files=manifest, previous=previous, old_image=old_image, backup=str(backup)) + record = dict(id=payload['id'], source_sha256=payload['sha256'], files=manifest, previous=previous, old_image=old_image, backup=str(backup),image_tag=image_tag) (backup/'source.json').write_text(json.dumps(record)); (backup/'source.json').chmod(0o600) unit = 'rmm-source-build-'+payload['id'] result = subprocess.run(['systemd-run','--unit='+unit,'--property=UMask=0077','--property=WorkingDirectory='+str(root), @@ -72,8 +77,13 @@ def status(payload): root = Path('/opt/rust-discovery'); backup = root/'devstate'/('source-upgrade-'+payload['id']) record = json.loads((backup/'source.json').read_text()) result = backup/'build-result.json' + unit=subprocess.run(['systemctl','show','rmm-source-build-'+payload['id'],'-p','ActiveState','-p','SubState','-p','ExecMainStatus'],capture_output=True,check=True,timeout=10).stdout.decode() + current=subprocess.run(['docker','image','inspect','rust-discovery-server:local','--format','{{.Id}}'],capture_output=True,check=True,timeout=10).stdout.decode().strip() + log=backup/'build.log' return dict(id=payload['id'], finished=result.exists(), exit_code=json.loads(result.read_text())['exit_code'] if result.exists() else None, - source_unchanged=all(hashlib.sha256((root/name).read_bytes()).hexdigest() == sha for name,sha in record['files'].items())) + source_unchanged=all(hashlib.sha256((root/name).read_bytes()).hexdigest() == sha for name,sha in record['files'].items()), + service=dict(line.split('=',1) for line in unit.splitlines() if '=' in line),build_log_bytes=log.stat().st_size if log.exists() else 0, + build_has_separate_image_tag='image_tag' in record,runtime_tag_unchanged=current==record['old_image'] if not (backup/'deploy-result.json').exists() else None) def deploy(payload): @@ -81,7 +91,8 @@ def deploy(payload): import tarfile root = Path('/opt/rust-discovery'); backup = root/'devstate'/('source-upgrade-'+payload['id']) record = json.loads((backup/'source.json').read_text()) - require(json.loads((backup/'build-result.json').read_text())['exit_code'] == 0, 'build must pass') + built=json.loads((backup/'build-result.json').read_text()) + require(built['exit_code'] == 0, 'build must pass') require(all(hashlib.sha256((root/name).read_bytes()).hexdigest() == sha for name,sha in record['files'].items()), 'source drift') require(not (backup/'deploy-result.json').exists(), 'deployment already recorded') if payload.get('closed_policy_sha256'): @@ -113,6 +124,12 @@ def deploy(payload): with os.fdopen(fd, 'wb') as f: f.write(data); f.flush(); os.fsync(f.fileno()); os.fchmod(f.fileno(), 0o644) os.replace(next_path, dest) cmd = ['docker','compose','--env-file',str(root/'devstate/.env'),'-f',str(root/'deploy/server.compose.yaml')] + if 'image_tag' in record: + inspected=subprocess.run(['docker','image','inspect',record['image_tag'],'--format','{{.Id}}'],capture_output=True,check=True,timeout=10).stdout.decode().strip() + require(inspected==built['image_id'] and inspected.startswith('sha256:'),'fixed qualified image required') + # Only this explicit, gated deployment may move the runtime tag. A + # concurrently finishing source build cannot alter running services. + subprocess.run(['docker','tag',inspected,'rust-discovery-server:local'],capture_output=True,check=True,timeout=10) # Existing migration image runs without rebuild; preserves PG volume/PKI. migrate = subprocess.run(cmd+['run','--rm','--no-deps','migrate'], capture_output=True, timeout=25) require(migrate.returncode == 0, 'migration failed') diff --git a/docs/implementation-status.md b/docs/implementation-status.md index 68ae122..8394f4e 100644 --- a/docs/implementation-status.md +++ b/docs/implementation-status.md @@ -1,5 +1,40 @@ # Tatsächlicher Implementierungsstand +## Ursprünglicher Recovery-Inventar-Replay nativ angenommen — 2026-11-13 + +Nach aktiviertem neuen Runtime-Endpunkt erzeugte der Agent korrekt die separate +Recovery-Beobachtung. Der bisherige Inventarvalidator erlaubte in Scopezeichen +nur Kleinbuchstaben, Punkt und Unterstrich; `linux.apt.recovery-planning` +wurde deshalb abgewiesen. Der erhaltene dauerhafte Inventar-Replay steht vor +RootSync und blockierte so den Kanal trotz gesunder, untätiger Helper. Noch +kein Configure-Plan/Antrag/Job erzeugt; zehn Rootverbräuche abgeschlossen, +beide Journale faultfrei. Operative Prozess-/Kernel-Wartezustände ausschließlich +der drei Projektdienste geprüft, keine Kundeninventur oder fremden Logs erhoben. + +Minimal korrigiert: **ausschließlich** dieser exakt definierte Linuxscope +zusätzlich erlaubt. Andere Bindestrichnamen, Suffixe und Windowskontexte bleiben +verweigert. **13 Domaintests,2 gezielte Servertests**, Format und Domain-/Server- +Clippy bestanden. Keine neue allgemeine Scopefreigabe oder Payloadumschreibung. + +Tatsächlich neuer ARM64-Build und bewusstes Deployment bestanden. Danach nahm +der endgültige Server **die ursprüngliche** Inventarnachricht an: gleiche +Message-ID/Snapshot-ID, gleicher normalisierter Envelopehash und dieselbe +Erhebungszeit. Nativer ACK entfernte nur deren unbestätigten Outboxeintrag; +anschließender gewöhnlicher signierter Sync bereit, Verbindungsgeneration73. +Kein Reset, neues Enrollment, ausgetauschter Messzeitpunkt oder Ersatzpayload. +Private Belege `devstate/cloud-apt-recovery/inventory-replay-{before,after}.json`. + +Zudem konkretes Build-/Runtime-Risiko begrenzt: Serverbuilds erhalten jetzt +einen eindeutigen Kandidatentag samt aufgezeichnetem Imagedigest. Erst ein +explizites geprüftes Deployment bewegt den Runtimetag. Nativ geprüft: gesamter +abgeschlossener Build `96063e93-c71f-4cc7-b7e1-8622e26bed9b` ließ den Runtimetag +unverändert; danach bewusste Übernahme desselben aufgezeichneten Digests. +Ein weiterer Kandidatenbuild verändert die laufende Runtime nicht. + +**MVP weiterhin offen:** Wiederherstellungswirkung noch nicht ausgeführt. +Als Nächstes neuer fester Configure-only-Plan, danach separate Upgrade-/Noops +und restliche Offline-/Abbruch-/Transport-/Rebootgates. + ## Neue Configure-only-Runtime nativ qualifiziert; Paketwirkung noch offen — 2026-11-13 Configure-only-Vertrag implementiert und lokal geprüft: Schema4 mit exaktem diff --git a/docs/post-mvp.md b/docs/post-mvp.md index f94022f..f6f16aa 100644 --- a/docs/post-mvp.md +++ b/docs/post-mvp.md @@ -12,9 +12,10 @@ Korrektheitsfehler in einem aktuellen MVP-Pfad bleiben dort sofort relevant. | Breitere Paket-/Updateunterstützung | Aktuelle APT-Abnahme betrifft ausschließlich die beiden gepinnten Testrezepte, nicht beliebige Pakete/Repositories oder OS-/Kernelupdates. | Weitere tatsächlich benötigte Rezepte und Plattformmatrix mit eigener Herkunfts-/Closure-/Nativeabnahme hinzufügen; keine Erweiterung durch frei gewählte URL/Installerargumente. | | Produktionsanmeldung und öffentliche Verwaltung | Explizites dev/test-Profil und sichtbar simulierte UI-Bedienung; Verwaltungszugang über SSH-Tunnel. Externer IdP/öffentliche Produktionsverwaltung nicht abgenommen. | OIDC-/MFA-/Betriebsprofil mit echtem Betreiber und getrennten Nachweisen konfigurieren/abnehmen. Keine öffentliche Dev-Anmeldung. | | Dauerhafter Produktivbetrieb (M7) | Ein dedizierter Cloudserver, getrennte API/Gateway-Rollen, interne DB; Wiederanläufe ohne Historienreset belegt. | HA, getestete Backups/zentraler Restore, vereinbarte RTO/RPO, externe Plattformüberwachung, signierte Agentupdates und getrennt gesicherter Auditbestand. Grundlegende aktuelle Wiederholungssperren bleiben schon im MVP Pflicht. | -| Gleichzeitiger Build und Deployment | Der Entwicklungsbuild verwendet einen veränderlichen lokalen Imagetag. Ein späterer Compose-Neustart könnte einen inzwischen fertig gebauten Stand übernehmen. Bei der nativen Zustellungsabnahme blieb der Build bis zum Abschluss unfertig; UI-/Runtimeänderungen wurden koordiniert. | Buildartefakte mit eindeutigen Tags/Digests und gebundenem Deploymentbeleg führen. Bis dahin Imagebuild-Abschluss und Runtimeänderungen strikt serialisieren; einen Build nicht allein wegen fehlendem explizitem Deploykommando als vollständig wirkungslos behandeln. | +| Gleichzeitiger Build und Deployment | Entdeckt beim Zustellungstest und inzwischen im aktuellen Upgradepfad behoben: eindeutiger Kandidatentag + aufgezeichneter Digest; nur explizites geprüftes Deploy bewegt den Runtimetag. Abgeschlossener nativer Build ließ Runtime unverändert. Historische Buildrunner bleiben getrennt zu prüfen. | Verfahren später auf alle Release-/Rollbacks-/CI-Pfade übertragen. Historische mutable Runner bis dahin nur ausdrücklich koordiniert verwenden. | | Monitoringausbau (M6a) | Präsenz, Quellen-/Datenalter und unbekannte Gesundheit werden getrennt dargestellt. | Sollservice-/Funktionschecks, Alarmdauer/Hysterese, Vorfälle und produktiver Metrikpfad samt nativen AT-28-Nachweisen; keine erfundenen Patchdaten. | | Langzeitjournale und Kompaktierung | Verbrauchs-/Versuchstombstones werden erhalten; volle/inkonsistente Journale sperren neue Wirkungen. | Dokumentierte beidseitige Kompaktierung und Kapazitätsplanung; niemals stille Löschung von Unknown oder unbestätigten Ergebnissen. | +| Dauerhaft ungültiges passives Inventar vor Reconnect-Sync | Der neue Recovery-Scope wurde zunächst vom zentralen Zeichenvalidator abgewiesen. Das unverändert persistierte Inventar wurde vor dem Sync erneut gesendet und blockierte so den Kanal; der unmittelbare MVP-Fix erlaubt ausschließlich diesen bekannten Linux-Scope. | Einen expliziten Umgang mit dauerhaft abgewiesener passiver Telemetrie untersuchen, der Originalbytes, Nachrichten-ID, Herkunft und Ablehnungsbeleg erhält und keine Bestätigung erfindet. Job-/Ergebnisjournale und unbekannte Wirkungen dürfen dabei niemals übersprungen werden. | | Weitere Plattformen / Skalierung | Ubuntu 24.04 x86-64 als Linux-Testclient; ARM64-Serverbuild ist kein ARM64-Agentnachweis. Nur eine tatsächliche Linux-Zielmaschine im aktuellen Aufbau. | Native Agentmatrix und realistische Last-/Mehrgeräteabnahmen erst zur vereinbarten Ausbaustufe erweitern; keine erfundenen Parallelitätszahlen. | | Proxmox/PBS/Cluster/Backups (M6b) | Kein Hypervisorzugang für eigenständige Gastagenten nötig; bewusst nicht Teil des Linux-MVP. | Separater späterer Integrationsauftrag mit eigenen ACL-/Discovery-/Backup-/Clusterabnahmen. | | Terminal/Relay/Business Services | Spätere Architekturverträge; kein Auftrag für eine Desktop-Engine. | Erst M7/M8 und eigener Umfang. RustDesk bleibt aus dieser Umsetzung ausgeschlossen und wird auch danach nicht automatisch begonnen. |