Tài liệu này tổng hợp các câu hỏi mà CTO và team Engineering của khách hàng thường đặt ra khi đánh giá phương án AI Agent của OKAXI. Trả lời được biên soạn từ kinh nghiệm thực chiến trên dự án retail và contact center đang vận hành.
Chatbot truyền thống chỉ phản hồi text theo template hoặc rule cứng. AI Agent của OKAXI có ba khả năng vượt ngưỡng chatbot. Một là tự lập luận multi-step trước khi đưa ra hành động. Hai là tự gọi tool hoặc API bên ngoài để lấy dữ liệu thời gian thực hoặc thực hiện thao tác. Ba là tự đóng vòng workflow business mà không cần con người can thiệp tại mỗi bước.
Có. OKAXI build tool registry cho mỗi Agent. Mỗi tool là một function với schema JSON Schema rõ ràng, chỉ định input và output. Agent tự chọn tool phù hợp dựa trên ngữ cảnh và mục tiêu hiện tại, sau đó gọi function, đọc kết quả và quyết định bước tiếp theo. Tool registry bao gồm REST API client, database query, file system access và external SaaS API.
Agent vận hành theo vòng lặp Observe Think Act. Observe đọc state hiện tại của workflow và context window. Think gọi LLM để reasoning về bước tiếp theo, kèm theo danh sách tool khả dụng. Act thực thi tool hoặc trả lời kết quả cuối cùng. Vòng lặp dừng khi đạt mục tiêu hoặc đạt giới hạn iteration đã định trước.
OKAXI dùng chuẩn function-calling chung của OpenAI, Anthropic và Google. Mỗi function có schema JSON định nghĩa name, description, parameters. Agent prompt bao gồm danh sách function khả dụng. LLM phản hồi structured JSON chỉ định function nào cần gọi với arguments cụ thể. Backend nhận JSON, validate schema, thực thi function tương ứng và đưa kết quả về lại context window cho turn kế tiếp.
OKAXI thiết kế workflow theo dạng directed acyclic graph (DAG). Mỗi node là một bước reasoning hoặc một action. Agent có thể nhảy giữa các node theo điều kiện runtime. Trạng thái workflow được persist xuống Redis hoặc PostgreSQL để Agent có thể resume sau khi gián đoạn. Long-running workflow vẫn audit được từng quyết định trung gian.
OKAXI expose Agent qua REST endpoint hoặc gRPC interface. Microservices hiện hữu publish event lên Kafka khi cần Agent xử lý. Một consumer dedicated nhận event, gọi Agent runtime, thực thi vòng lặp Observe Think Act, sau đó publish kết quả ngược lại lên topic khác. Microservices core không cần biết về sự tồn tại của LLM bên trong.
Có. OKAXI dựng một Sidecar service đặt cạnh Monolith. Monolith chỉ cần gọi REST API tới Sidecar khi cần invoke Agent. Sidecar chứa toàn bộ logic LLM, tool calling và workflow orchestration. Cách tiếp cận này giữ Monolith codebase nguyên vẹn, không phải refactor business logic core.
Kafka là backbone event-driven cho Agent infrastructure. Có bốn vai trò chính. Một là buffer giữa producer và Agent consumer, tránh overload khi traffic burst. Hai là persist event để Agent có thể replay khi bị restart. Ba là fanout cùng một event tới nhiều Agent với chức năng khác nhau. Bốn là decoupling business service khỏi Agent cụ thể nào sẽ xử lý event.
MCP Server là lớp cầu nối giữa LLM client và data systems của doanh nghiệp. Server expose các resource và tool theo chuẩn MCP. LLM client gửi MCP request tới server, server đọc dữ liệu từ database, file system, hoặc API nội bộ và trả về response chuẩn JSON. MCP cho phép Agent đọc dữ liệu doanh nghiệp mà không cần dán full content vào prompt, tiết kiệm token và giữ access control chặt.
Không. OKAXI áp dụng strangler pattern và sidecar pattern để tránh modify code core. Tất cả Agent logic sống ở tầng integration mới, được kích hoạt qua event hoặc REST endpoint. Khi Agent fail hoặc cần rollback, business core vẫn chạy bình thường nhờ circuit breaker và fallback path. Production deployment dùng feature flag để bật tắt Agent feature mà không cần redeploy core.
OKAXI áp dụng năm chiến thuật. Một là prompt template tối thiểu, loại bỏ instruction redundant. Hai là context window pruning, chỉ giữ N turn gần nhất. Ba là summarization cho long-running session, replace lịch sử chi tiết bằng summary ngắn. Bốn là tool description compression dùng schema reference thay vì paste full doc. Năm là model routing, gửi task đơn giản tới model nhỏ và task phức tạp tới model lớn.
OKAXI dùng prompt caching native từ Anthropic và OpenAI khi có sẵn. Common system prompt và tool definition được mark cacheable. Provider cache prefix tới 1 giờ, mỗi cache hit tiết kiệm 90% input token cost. OKAXI cũng tự build cache layer phía client cho frequent prompt qua Redis. Hai lớp cache cộng dồn cắt giảm chi phí 60% tới 80% cho workload lặp lại.
OKAXI thiết lập quota theo Agent và theo workspace khách hàng. Mỗi request đo token usage trước khi gửi. Khi đạt 80% quota tháng, hệ thống switch sang model nhỏ hơn hoặc reject task không khẩn cấp. Dashboard real-time hiển thị chi phí theo Agent, theo task type và theo customer. Alert trigger khi cost vượt threshold cấu hình.
Có. OKAXI áp dụng model routing dựa trên task complexity. Task phân loại đơn giản như intent classification hoặc sentiment chạy trên model nhỏ như Claude Haiku hoặc GPT-4o-mini. Task reasoning phức tạp như multi-step planning hoặc code generation chạy trên Claude Sonnet hoặc GPT-4o. Task heavy reasoning hoặc long context chạy trên Claude Opus hoặc o1. Router quyết định runtime dựa trên signal từ task metadata.
OKAXI thiết kế Agent theo ba tier latency. Real-time tier (chatbot front-line) cần p95 dưới 3 giây. Near-real-time tier (ticket routing, classification) cần p95 dưới 10 giây. Batch tier (báo cáo, summarization khối lượng lớn) chấp nhận p95 dưới 60 giây. Mỗi tier dùng model size và caching strategy khác nhau để đạt target tương ứng.
Mặc định, OKAXI chỉ gửi dữ liệu cần thiết cho LLM provider qua MCP và cấu hình data masking. Field nhạy cảm như số CCCD, số thẻ tín dụng, thông tin nhân sự cá nhân được redact hoặc tokenize trước khi đưa vào prompt. Hợp đồng với OpenAI và Anthropic đều có điều khoản data retention zero cho enterprise tier. Đối với khách hàng yêu cầu nghiêm ngặt hơn, OKAXI triển khai on-premise LLM thay vì gọi cloud provider.
OKAXI dựng vector store riêng cho từng khách hàng. Embedding được sinh ra qua model self-hosted hoặc provider có data residency rõ ràng. Vector store cách ly hoàn toàn giữa tenant, không bao giờ shared embedding cross-customer. Retrieval pipeline chạy trong VPC riêng của khách hàng. LLM call chỉ nhận chunk text relevant đã retrieve, không bao giờ thấy toàn bộ corpus.
Có. OKAXI triển khai self-hosted LLM dùng Llama, Mistral, hoặc Qwen tùy hardware khách hàng. Inference stack chạy trên vLLM hoặc TGI để đạt throughput sản xuất. Model fine-tuning thực hiện trên data nội bộ của khách hàng, không bao giờ rời khỏi VPC. On-premise phù hợp với khách hàng có quy định data residency hoặc compliance như HIPAA, GDPR Article 9, hoặc Luật An ninh mạng Việt Nam.
AI Gateway là proxy layer đặt giữa application và LLM provider. Có bốn chức năng chính. Một là PII detection và masking trên outbound prompt. Hai là policy enforcement chặn prompt vi phạm content policy. Ba là rate limiting và quota theo tenant. Bốn là audit logging mọi request kèm response, lưu trên storage encrypted của khách hàng. Gateway chạy trong VPC khách hàng, không có ngoại lệ.
Mỗi Agent request có một correlation ID xuyên suốt từ event Kafka qua tool call tới response. Log bao gồm prompt, tool call sequence, response cuối cùng, latency và cost. Log lưu trên storage immutable với retention chính sách 7 năm cho audit compliance. Khách hàng có quyền truy vấn log qua dashboard hoặc export ra SIEM nội bộ. OKAXI hỗ trợ format chuẩn OpenTelemetry và CloudEvents.
