AI Agent Engineering 03

Slide

Đánh giá Agent

<h3>Evaluation Harness</h3><ul><li>Golden Datasets</li><li>LLM-as-a-Judge</li><li>Human Feedback</li><li>A/B Testing</li><li>Regression Testing</li><li>RAG Evaluation</li><li>Hallucination Detection</li></ul>Lab<ul><li>Build Evaluation Pipeline</li></ul>

Evaluation Harness

Nội dung:<ul><li>LLM Fundamentals</li><li>Transformer &amp; Attention</li><li>Prompt Engineering</li><li>Tool Calling</li><li>MCP (Model Context Protocol)</li><li>AI Agent Landscape</li></ul><hr><ul><li>Lab: Ví dụ điển hình về Agentic: Claude Code</li></ul>

Nền tảng Agentic AI + Framework Harness

<h3>Context Harness</h3><ul><li>RAG Architecture</li><li>Chunking Strategies</li><li>Embedding Models</li><li>Reranking</li><li>Hybrid Search</li><li>Agent Memory</li><li>Context Compression</li><li>Long Context Optimization</li></ul>Lab<ul><li>Xây Enterprise RAG</li><li>Multi-source Knowledge Base</li></ul>

Context Harness - Nền tảng RAG

<ul><li>Docker là gì?</li><li>Phân biệt image và container</li><li>Cài đặt Docker</li><li>Xây dựng Docker Image và chạy docker Container</li><li>Docker container</li></ul>

[Bổ trợ] Docker + Cloud

<ul><li>Lập trình reasoning</li><li>Lập trình gọi tools</li><li>Lập trình truy xuất memory</li></ul>

[Live] Context Harness - Thực hành lập trình - Lập trình đầy đủ 1 agent

<h3>Tool Harness</h3><ul><li>Function Calling</li><li>MCP Servers</li><li>API Integration</li><li>Tool Registry</li><li>Least Privilege Design</li><li>Retry Mechanisms</li><li>Error Recovery</li><li>Audit Logging</li></ul>Lab<ul><li>CRM Agent</li><li>ERP Agent</li><li>Database Agent</li></ul>

Tool Harness

Bài tập lớn 1 - Lập trình Drive Agent

Demo Day

<h3>Orchestration Harness</h3><ul><li>Agent Planning</li><li>DAG Workflows</li><li>State Machines</li><li>LangGraph</li><li>Multi-Agent Systems</li><li>Routing Strategies</li><li>Fallback Models</li><li>Parallel Execution</li></ul>Lab<ul><li>Research Agent</li><li>Customer Service Agent</li></ul>

Orchestration Harness

Xây dựng Plugin trên ChatGPT/Claude sử dụng Multiagens + MCP

<h3>AgentOps Harness</h3><ul><li>Monitoring</li><li>Tracing</li><li>Cost Tracking</li><li>Latency Optimization</li><li>Accuracy Metrics</li><li>Drift Detection</li><li>Observability</li></ul>Tools:<ul><li>LangSmith</li><li>OpenTelemetry</li><li>Phoenix</li><li>Datadog</li></ul>

AgentOps Harness

<h3>Security Harness</h3><ul><li>Prompt Injection</li><li>Jailbreak Defense</li><li>Data Leakage Prevention</li><li>PII Protection</li><li>Access Control</li><li>Credential Management</li><li>Secure Tool Access</li></ul>Lab<ul><li>Attack &amp; Defend AI Agents</li></ul>

Security Harness

<h3>Governance Harness</h3><ul><li>Audit Trail</li><li>Explainability</li><li>Approval Workflows</li><li>Human-in-the-loop</li><li>AI Policies</li><li>Risk Management</li><li>Compliance Frameworks</li></ul>Lab<ul><li>AI Governance Dashboard</li></ul>

Governance Harness

Xây dựng một hệ thống hoàn chỉnh gồm:<ul><li>Knowledge Base</li><li>RAG Pipeline</li><li>AI Agents</li><li>Tool Calling</li><li>Workflow Engine</li><li>Evaluation System</li><li>Security Layer</li><li>Governance Layer</li><li>Monitoring Layer</li></ul>

Danh sách chủ đề

Evaluation Harness

Evaluation Harness

1. Đánh giá Agent

1.1. Slide

Bài học