AI & Open Source Daily 21 November 2026: TrnRT, Omnara, NeumAI, LSP-AI, Tamserve
Hari ini lima proyek open-source menarik: TrnRT (inference Trainium), Omnara (agent platform self-hosted), NeumAI (RAG pipeline), LSP-AI (coding assistant LSP), dan Tamserve (multi-camera tracking SAM 2). Semua Apache 2.0/MIT.
Hari ini penuh proyek open-source yang menarik, dari inference engine untuk AWS Trainium, platform agent self-hosted, sampai RAG pipeline skala besar dan LSP untuk coding assistant lokal. Semuanya Apache 2.0 atau MIT, siap dipakai tanpa vendor lock-in.
TrnRT — Inference Engine Open-Source untuk AWS Trainium
Dari RunanywhereAI/trnrt — inference engine pertama yang production-ready untuk LLM di AWS Trainium. Dapet 1.6k stars dalam waktu singkat. Arsitekturnya dibangun di atas AWS Neuron SDK dengan NKI (Neuron Kernel Interface) megakernels custom: setiap layer half fuse KDA attention, DSA layer, mHC, dan MoE FFN jadi satu kernel. Hasilnya 3.57M tokens/menit di satu trn2.48xlarge (AgentX benchmark, batch 12). Latency decode 24ms vs 32.2ms baseline. Biaya $0.040/M tokens di spot price, $0.167 di capacity block.
Bedanya dari vLLM/TGI yang target NVIDIA CUDA, TrnRT dibangun spesifik untuk Trainium NKI. Berbeda dari AWS NeuronX (proprietary), TrnRT Apache 2.0 open source. Berbeda dari llama.cpp generic, pakai hardware-specific megakernels untuk 3x+ throughput improvement. Pertama yang support 1M-token context di Trainium.
Status: Rilis — open source (Apache 2.0).
Omnara — Alternatif Self-Hosted untuk Claude Managed Agents
Dari omnara-ai/omnara — platform managed agent open-source yang jalan di model dan machine apapun, dengan tools, secrets, permissions, dan streaming built-in. 3.4k stars dalam ~4 bulan. Backend Go, frontend TypeScript. Agent jalan di managed sandbox pools (Docker-based). Support multi-provider: OpenRouter, Anthropic, OpenAI, local. Arsitekturnya pisah control plane (Omnara) dari execution plane (sandboxes), enable hybrid cloud/on-prem.
Ini kompetitor langsung open-source dari Anthropic Claude Managed Agents dan OpenAI Agents API — yang keduanya proprietary dan cloud-locked. Omnara jalan di infra sendiri dengan full data control. Apache 2.0 = no vendor lock-in. Berbeda dari LangGraph (orchestration library), Omnara provide managed infrastructure (sandboxes, auth, secrets). Berbeda dari AutoGPT/AgentGPT (demo agents), Omnara production-grade dengan multi-tenancy, RBAC, observability.
Status: Rilis — open source (Apache 2.0).
NeumAI — Framework RAG Skala Besar untuk Sinkronisasi Vector Embedding
Dari NeumTry/NeumAI — data platform untuk build dan sync vector embeddings skala besar untuk RAG. 868 stars. Built-in connectors untuk data sources (S3, databases, APIs), embedding models (OpenAI, Cohere, HuggingFace, local), dan vector DBs (Pinecone, Weaviate, Qdrant, Milvus, Chroma). Handle miliaran data points dengan arsitektur terdistribusi.
Pipeline-based: source → embed → sink. Tiap stage parallelizable dengan chunking, loading, selection strategies yang configurable. Real-time sync via delta syncs (hanya data baru/berubah). Metadata tracking enable hybrid search (vector + metadata filters). Distributed execution via Ray atau local multiprocessing. Python SDK dengan deklarative pipeline definition.
RAG jadi standard tapi scaling embedding pipeline masih custom engineering. NeumAI memproduksikan full pipeline: ingestion, chunking, embedding, sync, retrieval — dengan connectors untuk seluruh ecosystem. YC S23, production customers. Isi gap antara vector DBs dan data engineering.
Berbeda dari LlamaIndex/LangChain (orchestration libraries), NeumAI fokus purely pada data pipeline layer dengan production-grade sync dan scale. Berbeda dari Airbyte/Fivetran (general ETL), NeumAI RAG-native dengan embedding-aware chunking dan vector DB optimization. Berbeda dari custom scripts, handle incremental sync, metadata, hybrid search out of the box.
Status: Rilis — open source (Apache 2.0).
LSP-AI — Language Server Open-Source untuk AI Code Assistance
Dari SilasMarvin/lsp-ai — implementasi Language Server Protocol open-source yang jadi backend untuk AI-powered code assistance. 3.2k stars. Jalan lokal, integrate dengan editor LSP-compatible (VS Code, Neovim, Helix, Emacs), provide code completion, inline suggestions, chat — semua powered by local atau remote LLMs. Desain untuk assist, bukan replace engineer.
Rust-based LSP server. Komunikasi dengan editor via standard LSP (JSON-RPC). Pluggable backend: support Ollama (local), OpenAI-compatible APIs, custom HTTP endpoints. Fitur: code completion (FIM), inline edits, chat panel, code explanation, test generation. Context-aware: index workspace untuk relevant context retrieval.
Sebagian besar AI coding assistant cloud SaaS (GitHub Copilot, Cursor, Codeium) atau editor-specific plugins. LSP-AI editor-agnostic via LSP — jalan di VS Code, Neovim, Helix, Emacs, Zed. Fully local dengan Ollama = zero data keluar machine. Active development, Apache 2.0.
Berbeda dari Copilot (cloud, proprietary), LSP-AI local-first dan open source. Berbeda dari Continue.dev (VS Code extension), LSP-AI jalan di any LSP editor. Berbeda dari Cody (Sourcegraph), no indexing service required — purely local. Lebih dekat ke Aider tapi sebagai LSP server bukan CLI.
Status: Rilis — open source (Apache 2.0).
Tamserve — Real-Time Multi-Camera Object Tracking dengan SAM 2
Dari aryamandarda/tamserve — enable live, multi-camera object tracking pakai SAM 3, SAM 2, dan EdgeTAM — semua di satu GPU atau distributed across many. 262 stars. Satu model per GPU serve setiap kamera: 4x less GPU memory dari running separate instances, akurasi sama. Built untuk real-time video analytics at scale.
Python service dengan shared model inference across camera streams. Pakai SAM 2 streaming video capabilities dengan prompt caching. Multi-GPU support via model sharding atau replica-per-GPU. REST/gRPC API untuk camera management dan track queries. Integrate dengan existing video infra (RTSP, WebRTC). EdgeTAM variant untuk edge deployment.
Video analytics at scale tradisional butuh satu model instance per kamera — GPU memory meledak. Shared-model architecture Tamserve ubah ekonomis: 100 kamera di 4 GPU bukan 100. First open-source system yang lakuin ini dengan SAM 2 streaming architecture. 123 HN points di launch day.
Berbeda dari DeepSORT/ByteTrack (tracking only, no segmentation), Tamserve pakai SAM untuk segmentation + tracking. Berbeda dari NVIDIA DeepStream (proprietary, complex), Tamserve Python-native dan open. Berbeda dari running SAM per-camera, shared-model potong GPU memory 4x. First yang apply SAM 2 streaming ke multi-camera production workloads.
Status: Rilis — open source (MIT).
Referensi
1. TrnRT — Inference Engine untuk AWS Trainium
2. Omnara — Self-Hostable Managed Agent Platform
3. NeumAI — Large-Scale RAG Framework
