What is the Model Context Protocol (MCP) and how does it relate to AI agents?

The Model Context Protocol (MCP) is a framework designed to empower large language model (LLM) agents by providing them with access to potentially hundreds of tools, enabling them to solve complex real-world tasks. It defines a standardized way for agents to interact with external systems and data sources, transforming how AI agents can leverage deterministic software. Rather than agents relying solely on their internal knowledge, MCP allows them to use specialized tools, much like a human uses various applications or references to complete tasks, thus significantly expanding their capabilities and effectiveness across diverse domains.

Why is designing tools specifically for non-deterministic AI agents different from traditional software development?

Traditional software development typically involves creating contracts between deterministic systems, where a given input always yields the same predictable output. AI agents, however, are non-deterministic, meaning their responses can vary even with identical starting conditions. This fundamental difference requires rethinking tool design. Instead of assuming precise, static interactions, tools for AI agents must be robust enough to handle varied agentic reasoning, potential misunderstandings, or even hallucinations. The goal is to make tools 'ergonomic' for agents, facilitating their diverse problem-solving strategies, which often results in surprisingly intuitive tools for human users too.

What are the critical steps in evaluating the performance of AI agent tools?

Evaluating AI agent tools involves a systematic approach starting with generating a diverse set of real-world evaluation tasks. These tasks should be complex enough to stress-test tools, potentially requiring multiple tool calls. Next, the evaluation is run programmatically, typically using agentic loops that simulate how an agent would interact with the tools. Key metrics collected include accuracy, total runtime, number of tool calls, token consumption, and tool errors. Finally, analyzing results involves having agents provide reasoning and feedback, reviewing raw transcripts, and identifying patterns in tool usage or errors to pinpoint areas for improvement in tool descriptions, schemas, or implementations.

How can AI agents like Claude optimize their own tools?

Anthropic demonstrates that AI agents, particularly models like Claude Code, can play a pivotal role in optimizing the very tools they use. This is achieved by feeding the agent transcripts and results from tool evaluations. Claude can then analyze these interactions, identify inefficiencies, inconsistencies, or areas where tool descriptions are unclear, and suggest refactorings. For instance, it can ensure that tool implementations and descriptions remain self-consistent after changes or recommend adjustments to parameters for better token efficiency. This collaborative approach leverages the agent's analytical capabilities to continuously improve the quality and ergonomics of its toolset, leading to enhanced performance.

What are the key principles for writing high-quality tools for AI agents?

Several core principles guide the creation of effective tools for AI agents. Firstly, judiciously choosing which tools to implement (and which to omit) is crucial for agent clarity and efficiency. Secondly, namespacing tools clearly defines their functional boundaries, reducing ambiguity for the agent. Thirdly, tools should return meaningful and concise context to agents, aiding their decision-making. Fourthly, optimizing tool responses for token efficiency is vital for managing costs and processing speed in LLM interactions. Lastly, meticulous prompt-engineering of tool descriptions and specifications ensures agents accurately understand and utilize each tool's purpose and capabilities, minimizing errors and maximizing effectiveness.

เครื่องมือของเอเจนต์: เพิ่มประสิทธิภาพ AI ด้วยการปรับแต่ง Claude

บทบาทสำคัญของเครื่องมือในประสิทธิภาพของเอเจนต์ AI

ในภูมิทัศน์ของ AI ที่พัฒนาอย่างรวดเร็ว ประสิทธิภาพของเอเจนต์อัจฉริยะขึ้นอยู่กับคุณภาพและประโยชน์ใช้สอยของเครื่องมือที่ใช้เป็นสำคัญ เมื่อแบบจำลองปัญญาประดิษฐ์มีความสามารถมากขึ้น ทำให้สามารถทำงานที่ซับซ้อนหลายขั้นตอนได้ วิธีที่พวกเขาโต้ตอบกับระบบภายนอก – ผ่าน "เครื่องมือ" – จึงมีความสำคัญอย่างยิ่ง Anthropic ซึ่งเป็นผู้นำด้านการวิจัยและพัฒนา AI ได้แบ่งปันข้อมูลเชิงลึกที่สำคัญเกี่ยวกับวิธีสร้าง ประเมิน และแม้กระทั่งปรับแต่งเครื่องมือเหล่านี้ เพื่อเพิ่มประสิทธิภาพของเอเจนต์ได้อย่างมาก

หัวใจสำคัญของแนวทางนี้คือ Model Context Protocol (MCP) ซึ่งเป็นระบบที่ออกแบบมาเพื่อเสริมสร้างศักยภาพของเอเจนต์แบบจำลองภาษาขนาดใหญ่ (LLM) ด้วยการเข้าถึงฟังก์ชันการทำงานที่หลากหลาย อย่างไรก็ตาม การจัดหาเครื่องมือเพียงอย่างเดียวไม่เพียงพอ พวกเขาจะต้องมีประสิทธิภาพสูงสุด บทความนี้จะเจาะลึกเทคนิคที่ Anthropic ได้รับการพิสูจน์แล้วในการปรับปรุงระบบ AI เชิงเอเจนต์ โดยเน้นว่าแบบจำลอง AI อย่าง Claude สามารถร่วมกันปรับปรุงชุดเครื่องมือของตนเองได้อย่างไร การเดินทางจากแนวคิดเริ่มต้นสู่เครื่องมือที่ได้รับการปรับแต่งเกี่ยวข้องกับการสร้างต้นแบบ การประเมินที่เข้มงวด และวงจรข้อเสนอแนะร่วมกับตัวเอเจนต์เอง

ทำความเข้าใจเครื่องมือเอเจนต์ AI: กระบวนทัศน์ใหม่สำหรับซอฟต์แวร์

โดยปกติแล้ว การพัฒนาซอฟต์แวร์จะดำเนินการตามหลักการที่กำหนดไว้: เมื่ออินพุตเดียวกัน ฟังก์ชันจะให้ผลลัพธ์เดียวกันเสมอ ลองพิจารณาการเรียกใช้ getWeather("NYC") ง่ายๆ; มันจะดึงข้อมูลสภาพอากาศของนิวยอร์กซิตี้อย่างสม่ำเสมอในลักษณะเดียวกัน อย่างไรก็ตาม เอเจนต์ AI เช่น Claude ของ Anthropic ทำงานเป็นระบบที่ ไม่แน่นอน ซึ่งหมายความว่าการตอบสนองของพวกเขาสามารถแตกต่างกันได้แม้ภายใต้เงื่อนไขเริ่มต้นที่เหมือนกัน

ความแตกต่างพื้นฐานนี้จำเป็นต้องมีการเปลี่ยนแปลงกระบวนทัศน์เมื่อออกแบบซอฟต์แวร์สำหรับเอเจนต์ เครื่องมือสำหรับเอเจนต์ AI ไม่ใช่แค่ฟังก์ชันหรือ API สำหรับนักพัฒนารายอื่นเท่านั้น แต่เป็นอินเทอร์เฟซที่ออกแบบมาสำหรับเอนทิตีที่ชาญฉลาด แต่บางครั้งก็คาดเดาไม่ได้ เมื่อผู้ใช้ถามว่า "วันนี้ฉันควรพกร่มไหม?" เอเจนต์อาจเรียกใช้เครื่องมือสภาพอากาศ ใช้ความรู้ทั่วไป หรือแม้แต่ขอคำชี้แจงเกี่ยวกับสถานที่ บางครั้ง เอเจนต์อาจหลอน (hallucinate) หรือไม่เข้าใจวิธีใช้เครื่องมืออย่างถูกต้อง

ดังนั้น เป้าหมายคือการเพิ่ม "พื้นที่ผิว" ที่เอเจนต์สามารถมีประสิทธิภาพได้ ซึ่งหมายถึงการสร้างเครื่องมือที่ไม่เพียงแต่แข็งแกร่งเท่านั้น แต่ยัง "ถูกหลักสรีรศาสตร์" สำหรับเอเจนต์ที่จะใช้ด้วย ที่น่าสนใจคือ ประสบการณ์ของ Anthropic แสดงให้เห็นว่าเครื่องมือที่ออกแบบโดยคำนึงถึงลักษณะที่ไม่แน่นอนของเอเจนต์มักจะใช้งานง่ายอย่างน่าประหลาดใจสำหรับมนุษย์ด้วยเช่นกัน มุมมองนี้ในการพัฒนาเครื่องมือเป็นกุญแจสำคัญในการปลดล็อกศักยภาพสูงสุดของโมเดลที่ซับซ้อน เช่น Claude Opus หรือ Claude Sonnet ในแอปพลิเคชันในโลกแห่งความเป็นจริง

การพัฒนาเครื่องมือ AI ที่มีประสิทธิภาพ: จากต้นแบบสู่การเพิ่มประสิทธิภาพ

การเดินทางของการสร้างเครื่องมือเอเจนต์ AI ที่มีประสิทธิภาพเป็นกระบวนการซ้ำๆ ของการสร้าง การทดสอบ และการปรับปรุง Anthropic เน้นแนวทางปฏิบัติจริง โดยเริ่มต้นด้วยการสร้างต้นแบบอย่างรวดเร็ว จากนั้นจึงย้ายไปสู่การประเมินที่ครอบคลุม

การสร้างต้นแบบอย่างรวดเร็ว

การคาดการณ์ว่าเอเจนต์จะโต้ตอบกับเครื่องมืออย่างไรอาจเป็นเรื่องที่ท้าทายหากไม่มีประสบการณ์จริง ขั้นตอนแรกเกี่ยวข้องกับการสร้างต้นแบบอย่างรวดเร็ว หากนักพัฒนากำลังใช้เอเจนต์อย่าง Claude Code สำหรับการสร้างเครื่องมือ การจัดทำเอกสารที่มีโครงสร้างที่ดีสำหรับไลบรารีซอฟต์แวร์ API หรือ SDKs (รวมถึง MCP SDK) ที่อยู่เบื้องหลังนั้นเป็นสิ่งสำคัญ ไฟล์ 'llms.txt' แบบแบน ซึ่งมักพบในเว็บไซต์เอกสารอย่างเป็นทางการ เป็นมิตรกับ LLM เป็นพิเศษ

ต้นแบบเหล่านี้สามารถถูกห่อหุ้มในเซิร์ฟเวอร์ MCP ภายในเครื่อง หรือส่วนขยายเดสก์ท็อป (DXT) เพื่ออำนวยความสะดวกในการทดสอบภายในเครื่องใน Claude Code หรือแอปพลิเคชัน Claude Desktop สำหรับการทดสอบด้วยโปรแกรม เครื่องมือยังสามารถส่งผ่านโดยตรงไปยังการเรียก API ของ Anthropic ได้อีกด้วย ในระยะเริ่มต้นนี้ นักพัฒนาได้รับการสนับสนุนให้ทดสอบเครื่องมือด้วยตนเอง รวบรวมความคิดเห็นจากผู้ใช้ และสร้างความเข้าใจเกี่ยวกับกรณีการใช้งานที่คาดหวังและคำสั่งที่เครื่องมือตั้งใจจะจัดการ

การดำเนินการประเมินที่ครอบคลุม

เมื่อต้นแบบทำงานได้ ขั้นตอนสำคัญถัดไปคือการวัดว่าเอเจนต์ใช้เครื่องมือเหล่านี้อย่างมีประสิทธิภาพเพียงใดผ่านการประเมินที่เป็นระบบ ซึ่งเกี่ยวข้องกับการสร้างงานประเมินจำนวนมากที่อิงตามสถานการณ์จริง

การสร้างงานประเมิน

งานประเมินควรได้รับแรงบันดาลใจจากคำถามของผู้ใช้จริงและใช้แหล่งข้อมูลที่สมจริง สิ่งสำคัญคือต้องหลีกเลี่ยงสภาพแวดล้อม "แซนด์บ็อกซ์" ที่เรียบง่ายซึ่งไม่สามารถทดสอบความซับซ้อนของเครื่องมือได้อย่างเพียงพอ งานประเมินที่แข็งแกร่งมักจะต้องให้เอเจนต์เรียกใช้เครื่องมือหลายครั้งเพื่อให้ได้วิธีแก้ปัญหา

ประเภทงาน	ตัวอย่างที่ดี	ตัวอย่างที่ไม่ดี
การนัดหมายประชุม	"นัดประชุมกับเจนสัปดาห์หน้าเพื่อหารือเกี่ยวกับโปรเจกต์ Acme Corp ล่าสุดของเรา แนบโน้ตจากการประชุมวางแผนโปรเจกต์ครั้งล่าสุดของเราและจองห้องประชุม"	"นัดประชุมกับ jane@acme.corp สัปดาห์หน้า"
บริการลูกค้า	"ลูกค้า ID 9182 รายงานว่าถูกเรียกเก็บเงินสามครั้งสำหรับการพยายามซื้อเพียงครั้งเดียว ค้นหารายการบันทึกที่เกี่ยวข้องทั้งหมดและตรวจสอบว่ามีลูกค้ารายอื่นได้รับผลกระทบจากปัญหาเดียวกันนี้หรือไม่"	"ค้นหาในบันทึกการชำระเงินสำหรับ 'purchase_complete' และ 'customer_id=9182'"
การวิเคราะห์การรักษาลูกค้า	"ลูกค้าชื่อ Sarah Chen เพิ่งส่งคำขอยกเลิก เตรียมข้อเสนอการรักษาลูกค้า กำหนด: (1) ทำไมพวกเขาถึงยกเลิก, (2) ข้อเสนอการรักษาลูกค้าใดจะน่าสนใจที่สุด, และ (3) ปัจจัยเสี่ยงใดที่เราควรทราบก่อนเสนอ"	"ค้นหาคำขอยกเลิกโดยลูกค้า ID 45892"

แต่ละคำสั่งควรจับคู่กับการตอบสนองหรือผลลัพธ์ที่สามารถตรวจสอบได้ ตัวตรวจสอบสามารถเป็นได้ตั้งแต่การเปรียบเทียบสตริงง่ายๆ ไปจนถึงการประเมินขั้นสูงที่ให้เอเจนต์เป็นผู้ตัดสินการตอบสนอง สิ่งสำคัญคือต้องหลีกเลี่ยงตัวตรวจสอบที่เข้มงวดเกินไปซึ่งอาจปฏิเสธการตอบสนองที่ถูกต้องเนื่องจากความแตกต่างของการจัดรูปแบบเล็กน้อย นักพัฒนาสามารถระบุการเรียกใช้เครื่องมือที่คาดหวังได้ แต่ควรทำอย่างระมัดระวังเพื่อหลีกเลี่ยงการกำหนดมากเกินไปหรือการปรับให้เหมาะสมกับกลยุทธ์เฉพาะ เนื่องจากเอเจนต์อาจพบเส้นทางที่ถูกต้องหลายเส้นทางในการแก้ปัญหา

สิ่งนี้หมายถึงการพิจารณาประเด็นต่อไปนี้

กรณีการใช้งานคืออะไร? เอเจนต์ จำเป็นต้องใช้ เครื่องมืออะไรบ้างในการทำงานให้สำเร็จ? บ่อยครั้งที่มีเครื่องมือที่เป็นไปได้มากมาย แต่มีเพียงไม่กี่อย่างเท่านั้นที่จำเป็นอย่างแท้จริง
รูปแบบความล้มเหลวที่พบบ่อยคืออะไร? เอเจนต์อาจใช้เครื่องมือผิดวิธีได้อย่างไร? หรือตัวเครื่องมือเองอาจเสียหายได้อย่างไร?
เอเจนต์จะเข้าถึงข้อมูลประเภทใดได้บ้าง? เป็นข้อมูลที่มีโครงสร้างหรือไม่? ไม่มีโครงสร้าง? เอเจนต์สามารถสอบถามข้อมูลได้หรือไม่? หรือจำเป็นต้องค้นหาผ่านข้อมูล?
เครื่องมือนี้ทำงานร่วมกับเครื่องมืออื่นอย่างไร? เอเจนต์จะต้องเชื่อมโยงการเรียกใช้ (chain calls) เข้าด้วยกันหรือไม่? การไหลของข้อมูลเชิงตรรกะเป็นอย่างไร?

โดยทั่วไปแล้ว การเริ่มต้นด้วยชุดเครื่องมือที่มีประสิทธิภาพเพียงเล็กน้อยจะดีกว่าการมีรายการฟังก์ชันพิเศษที่ครอบคลุม เป้าหมายคือการเพิ่มประสิทธิภาพของเอเจนต์ให้สูงสุด และลดโอกาสที่จะเกิดการรับรู้ข้อมูลที่มากเกินไปหรือการใช้งานที่ไม่ถูกต้อง

การดำเนินการประเมินด้วยโปรแกรม

Anthropic แนะนำให้ดำเนินการประเมินด้วยโปรแกรมโดยใช้การเรียกใช้ LLM API โดยตรงภายในลูปเชิงเอเจนต์ (agentic loops) อย่างง่าย (เช่น ลูป while ที่สลับระหว่าง LLM API และการเรียกใช้เครื่องมือ) เอเจนต์ประเมินแต่ละตัวจะได้รับคำสั่งงานเดียวและเครื่องมือต่างๆ ในคำสั่งระบบสำหรับเอเจนต์เหล่านี้ เป็นประโยชน์ที่จะสั่งให้พวกเขาส่งออกบล็อกการตอบสนองที่มีโครงสร้าง (สำหรับการตรวจสอบ) บล็อกการให้เหตุผล และบล็อกข้อเสนอแนะ ก่อน บล็อกการเรียกใช้เครื่องมือและการตอบสนอง สิ่งนี้ส่งเสริมพฤติกรรมการคิดแบบเป็นขั้นเป็นตอน (CoT) ซึ่งช่วยเพิ่มประสิทธิภาพความฉลาดของ LLM คุณสมบัติ "interleaved thinking" ของ Claude มอบฟังก์ชันการทำงานที่คล้ายกันออกนอกกรอบ ซึ่งให้ข้อมูลเชิงลึกว่าเหตุใดเอเจนต์จึงเลือกเครื่องมือที่เฉพาะเจาะจง

นอกเหนือจากความแม่นยำระดับสูงสุด การรวบรวมตัวชี้วัด เช่น ระยะเวลาการทำงานทั้งหมด จำนวนการเรียกใช้เครื่องมือ การใช้โทเค็น และข้อผิดพลาดของเครื่องมือเป็นสิ่งสำคัญ การติดตามการเรียกใช้เครื่องมือสามารถเปิดเผยขั้นตอนการทำงานของเอเจนต์ที่พบบ่อย ซึ่งชี้ให้เห็นโอกาสในการรวมหรือปรับปรุงเครื่องมือ

การเพิ่มประสิทธิภาพเครื่องมือด้วย AI: แนวทางความร่วมมือของ Claude

การวิเคราะห์ผลการประเมินเป็นขั้นตอนที่สำคัญ เอเจนต์เองก็สามารถเป็นพันธมิตรที่มีคุณค่าในกระบวนการนี้ โดยการระบุปัญหาและให้ข้อเสนอแนะ อย่างไรก็ตาม ข้อเสนอแนะของพวกเขาไม่ชัดเจนเสมอไป สิ่งที่พวกเขา ละไว้ อาจบอกได้มากเท่ากับสิ่งที่พวกเขา รวมเข้ามา นักพัฒนาควรพิจารณาการใช้เหตุผลของเอเจนต์ (CoT) ทบทวนบันทึกข้อมูลดิบ (รวมถึงการเรียกใช้เครื่องมือและการตอบสนอง) และวิเคราะห์ตัวชี้วัดการเรียกใช้เครื่องมือ ตัวอย่างเช่น การเรียกใช้เครื่องมือซ้ำซ้อนอาจส่งสัญญาณถึงความจำเป็นในการปรับการแบ่งหน้าหรือขีดจำกัดโทเค็น ในขณะที่ข้อผิดพลาดบ่อยครั้งเนื่องจากพารามิเตอร์ไม่ถูกต้องอาจบ่งชี้ถึงคำอธิบายเครื่องมือที่ไม่ชัดเจน

ตัวอย่างที่โดดเด่นจาก Anthropic เกี่ยวข้องกับเครื่องมือค้นหาเว็บของ Claude ซึ่งมันได้ผนวก '2025' เข้ากับคำค้นหาโดยไม่จำเป็น ทำให้ผลลัพธ์มีอคติ การปรับปรุงคำอธิบายเครื่องมือเป็นกุญแจสำคัญในการนำ Claude ไปในทิศทางที่ถูกต้อง

ลักษณะที่สร้างสรรค์ที่สุดของวิธีการของ Anthropic คือความสามารถในการให้เอเจนต์วิเคราะห์ผลลัพธ์ ของตนเอง และปรับปรุงเครื่องมือของพวกเขา ด้วยการรวมบันทึกข้อมูลการประเมินเข้าด้วยกันและป้อนข้อมูลเหล่านั้นลงใน Claude Code นักพัฒนาสามารถใช้ประโยชน์จากความเชี่ยวชาญของ Claude ในการวิเคราะห์การโต้ตอบที่ซับซ้อนและการปรับโครงสร้างเครื่องมือ Claude มีความเป็นเลิศในการสร้างความมั่นใจในความสอดคล้องกันระหว่างการใช้งานและคำอธิบายเครื่องมือ แม้จะมีการเปลี่ยนแปลงมากมาย วงจรข้อเสนอแนะที่มีประสิทธิภาพนี้หมายความว่าคำแนะนำส่วนใหญ่ของ Anthropic ในการพัฒนาเครื่องมือได้ถูกสร้างและปรับปรุงผ่านกระบวนการเพิ่มประสิทธิภาพที่ได้รับความช่วยเหลือจากเอเจนต์นี้ ซึ่งสะท้อนถึงแนวโน้มที่เพิ่มขึ้นของ agentic workflows ในการพัฒนาซอฟต์แวร์

หลักการสำคัญในการพัฒนาเครื่องมือเอเจนต์คุณภาพสูง

จากการทดลองอย่างกว้างขวางและการเพิ่มประสิทธิภาพโดยเอเจนต์ Anthropic ได้ระบุหลักการสำคัญหลายประการสำหรับการสร้างเครื่องมือคุณภาพสูงสำหรับเอเจนต์ AI:

การเลือกเครื่องมือเชิงกลยุทธ์: เลือกอย่างชาญฉลาดว่าจะใช้เครื่องมือใด และที่สำคัญกว่านั้นคือไม่ใช้เครื่องมือใด การใช้เครื่องมือที่ไม่จำเป็นมากเกินไปอาจนำไปสู่ความสับสนและความไร้ประสิทธิภาพของเอเจนต์
การจัดหมวดหมู่ที่ชัดเจน: กำหนดขอบเขตและฟังก์ชันการทำงานที่ชัดเจนสำหรับเครื่องมือแต่ละชนิดผ่านการจัดหมวดหมู่ที่มีประสิทธิภาพ ซึ่งช่วยให้เอเจนต์เข้าใจขอบเขตและวัตถุประสงค์ที่แน่นอนของความสามารถแต่ละอย่าง
การส่งคืนบริบทที่มีความหมาย: เครื่องมือควรมอบบริบทที่กระชับและเกี่ยวข้องให้แก่เอเจนต์ ซึ่งช่วยให้ตัดสินใจได้อย่างมีข้อมูลโดยไม่มีข้อมูลที่เยิ่นเย้อหรือไม่เกี่ยวข้อง
การเพิ่มประสิทธิภาพการใช้โทเค็น: เพิ่มประสิทธิภาพการตอบสนองของเครื่องมือให้ใช้โทเค็นได้อย่างมีประสิทธิภาพ ในการโต้ตอบของ LLM ทุกโทเค็นมีความสำคัญต่อทั้งต้นทุนและความเร็วในการประมวลผล
การทำ Prompt Engineering ที่แม่นยำ: ทำ Prompt Engineering คำอธิบายและข้อกำหนดของเครื่องมืออย่างพิถีพิถัน คำแนะนำที่ชัดเจนและไม่กำกวมเป็นสิ่งสำคัญสำหรับเอเจนต์ในการตีความและใช้ประโยชน์จากเครื่องมือได้อย่างถูกต้อง

ด้วยการยึดมั่นในหลักการเหล่านี้และเปิดรับวงจรการพัฒนาแบบวนซ้ำที่ได้รับความช่วยเหลือจากเอเจนต์ นักพัฒนาสามารถสร้างเครื่องมือที่แข็งแกร่ง มีประสิทธิภาพ และมีประสิทธิผลสูง ซึ่งช่วยเพิ่มประสิทธิภาพและความสามารถของเอเจนต์ AI ได้อย่างมาก ผลักดันขีดจำกัดของสิ่งที่ระบบอัจฉริยะเหล่านี้สามารถทำได้