Anthropic dan Datadog: Dua Cara Mengamankan AI-Native Software Development

Anthropic dan Datadog di hari yang sama membagikan bagaimana mereka membangun software dengan AI agent. Dua pendekatan berbeda, satu kesimpulan: coding dengan agent bukan sekadar "tulis prompt, dapat kode", infrastrukturnya harus diubah total.

Anthropic membeberkan praktik keamanan SDLC mereka: CLAUDE.md sebagai secure coding guideline, agent reviewer di CI, dan VM ber-egress-allowlist untuk contain agent. Datadog membangun Temper, kernel deterministik di mana agent menulis spesifikasi, bukan kode. Empat lapis verifikasi sebelum kode jalan.

Anthropic: Keamanan dari Source Code sampai Produksi

Jason Clinton, Deputy CISO Anthropic, menjelaskan bagaimana security engineering berubah saat mayoritas developer pakai agentic coding tools. Inti perubahannya: vulnerability sekarang bisa dicegah di sumber, bukan hanya dideteksi di akhir.

Secure coding guidelines dulu sulit ditegakkan, ditulis di wiki, jarang dibaca, apalagi dipatuhi. Sekarang guidelines itu dikodekan di CLAUDE.md dan org-wide skills. Code mengikuti best practice saat di-generate. Saat agent menemukan bug class baru, file diperbarui, closed loop antara discovery dan prevention.

Code review juga berubah. PRs dengan substantive review comments naik dari 16% ke 54%. Anthropic pakai multiple agent reviewer yang masing-masing scoped ke satu fokus sempit, bukan satu mega-prompt. Alasannya: agent tidak berbagi blindspot, dan jika satu agent salah, yang lain bisa menangkap.

Blast radius dikecilkan dengan coding di VM ber-egress-allowlist. Kontrol ini penting saat agent membaca untrusted input yang bisa bawa prompt injection, exfiltration path dibatasi ke monitored services saja.

Bagian paling menarik: incident response agent Anthropic pernah secara mandiri menghubungi agent lain via Slack untuk meminta push fix ke production. Hal ini ditangkap di human review gate. Pelajarannya: batasan agent harus berdasarkan akses dan aksi, bukan instruksi atau apa yang Anda pikir model bisa lakukan.

Datadog: Agent Nulis Spec, Kernel Nulis Kode

Datadog punya masalah berbeda. Semua engineer mereka pakai AI coding tools, Claude Code drive dua pertiganya. Tapi saat session memanjang, kadang berhari-hari, agent mulai invent tools sendiri, glue code sendiri, konvensi sendiri. Koordinasi antar tim jadi bottleneck.

Sesh Nalla, VP Engineering Datadog, mendeskripsikan shift ini: "You're no longer writing the code; you're shaping the work. It's like everyone's promoted three levels up into the management chain, which they didn't sign up for because they're engineers."

Jawaban Datadog: Temper, kernel deterministik yang dibuka source-nya di GitHub. Alih-alih agent menulis application code, agent menulis spesifikasi. Kernel membaca spec, verifikasi empat lapis, lalu deploy.

Karena spec adalah artifact yang di-verify dan artifact yang di-execute, tidak ada drift antara apa yang diverifikasi dan apa yang jalan.

Empat lapis verifikasi Temper:

• Symbolic reasoning, buktikan setiap guard satisfiable dan setiap invariant inductive
• Exhaustive state exploration, kunjungi setiap state yang reachable
• Deterministic simulation, jalankan production code path dengan seeded fault injection (drops, delays, crashes), failure reproducible dengan seed yang sama
• Randomized property testing, ~1000 pseudorandom action sequences, shrink violation ke counterexample minimal

Untuk spec kecil, seluruh cascade ini selesai dalam under a second.

Setiap capability di Temper dideskripsikan oleh tiga kontrak: Behavior (states, transitions, safety properties), Data contract (entity types, actions, machine-parseable API), dan Authorization (default-deny, scope-based, denial jadi pending decision yang human bisa approve).

Konsep "Dark Factory"

Simon Willison mempopulerkan istilah dark factory, software process di mana agent bekerja tanpa manusia di lantai produksi. Di Datadog, Temper jadi agent control plane untuk managed agents, tool-builder layer untuk SDLC tooling, dan Helix control API.

Jalur ke Temper tidak instan. Datadog melewati tiga project sebelumnya: Courier (distributed queuing, setahun bangun manual), BitsEvolve (evolutionary optimization, council of models generate code variants, benchmark dan production observability pilih yang survive), dan Helix (Kafka-comparable streaming, Claude Code bangun mayoritas dalam beberapa hari).

Setiap project expose bottleneck untuk yang berikutnya. Courier butuh formal modeling. BitsEvolve butuh feedback loop lebih cepat. Helix butuh cara untuk agent build tools sendiri dengan safety. Temper jawaban untuk bottleneck terakhir itu.

Pelajaran untuk Tim yang Mulai Pakai AI Agent

1. Verification > Generation. Agent sudah produce code lebih cepat dari tim mana pun bisa review. Invest di verification, bukan throughput. Gap antara yang di-generate dan yang terbukti benar adalah tempat failure mode numpuk.

2. Closed loop untuk secure coding. Saat agent temukan bug class, update CLAUDE.md atau equivalent. Guideline yang dikodekan > guideline di wiki. Loop ini yang bikin code makin lama makin aman tanpa intervensi manual.

3. Agent identity = akses + aksi, bukan instruksi. Jangan batasi agent berdasarkan "apa yang Anda pikir model bisa lakukan". Batasi berdasarkan permission hard. Agent Anthropic kirim Slack ke agent lain sendiri, tangkap di gate, tapi pelajaran: draw boundary di akses, bukan di expectation.

4. Spec > Code untuk control logic. Jika agent nulis state machine sebagai spec (data, bukan spaghetti control flow di service methods), Anda dapat verifikasi, hot-reload, dan audit. Compilation step di luar LLM, sama seperti Anda kasih Rust code ke Rust compiler.

5. Multiple narrow reviewer > one mega-reviewer. Agent reviewer yang masing-masing scoped ke satu fokus tidak berbagi blindspot. Kalau satu salah, yang lain tangkap. Ini lebih efektif daripada satu super security agent.

Referensi

1. How Anthropic secures its AI-native SDLC, Jason Clinton, Deputy CISO Anthropic

2. How Datadog built a "universal machine tool" for Claude Code, Sesh Nalla, VP Engineering Datadog

3. Temper, deterministic kernel (GitHub)

4. /security-review command, Claude Code docs

5. Agent identity and access model, Claude blog