บริการ / AI

ปัญญาประดิษฐ์ที่ไปถึง Production จริง

เราสร้างแอปพลิเคชัน LLM ระบบ retrieval และ ML pipeline ที่รับมือทราฟฟิกจริงได้ มี instrumentation มีการประเมินผล และมีการดูแลระบบ เดโมทำง่าย แต่เราส่งมอบเวอร์ชันที่ใช้งานได้จริง

แนวทางของเรา

Eval ก่อนฟีเจอร์

โปรเจกต์ AI ส่วนใหญ่สะดุดเพราะไม่มีใครบอกได้ว่าระบบดีขึ้นหรือไม่ เราเริ่มจากผลลัพธ์ที่วัดได้ สร้าง evaluation harness ก่อน แล้วจึงส่งมอบฟีเจอร์ตามเกณฑ์นั้น Retrieval, agent และ fine-tuning เป็นเพียงวิธีการ ส่วน eval คือข้อตกลงที่เรายึดถือ

  1. 01กำหนดผลลัพธ์และ eval ก่อนเขียนโค้ดโมเดลบรรทัดแรก
  2. 02ใช้ retrieval และ grounding เหนือการ generate ล้วน ๆ
  3. 03มีคนร่วมตรวจสอบ (human-in-the-loop) ในจุดที่ความเสี่ยงสูง
  4. 04งบต้นทุนและ latency เป็นเรื่องหลักตั้งแต่ต้น

ความสามารถ

สิ่งที่เราสร้าง

  • แอปพลิเคชัน LLM และ agent

    ผู้ช่วยและ agent ที่มีงบประมาณ allowlist และมีคนร่วมตรวจสอบในจุดสำคัญ

  • Retrieval-augmented generation

    คำตอบอ้างอิงจากเอกสารของคุณ ทุกข้อความระบุแหล่งที่มาได้

  • การค้นหาเชิงความหมายและแบบ Hybrid

    Hybrid retrieval พร้อม reranker แสดงข้อความที่ให้คะแนนแล้วก่อนเริ่มสร้างคำตอบ

  • Document intelligence

    ค่าความเชื่อมั่นรายฟิลด์ในทุกการดึงข้อมูล คะแนนต่ำจะถูกหยุดไว้ตรวจสอบ ส่วนที่เหลือผ่านต่อโดยอัตโนมัติ

  • คอมพิวเตอร์วิชัน

    โมเดลที่อ่านภาพและวิดีโอ ตั้งแต่การจำแนกและตรวจจับวัตถุ ไปจนถึง OCR บนเอกสารสแกน

  • ML pipeline และการเทรนโมเดล

    การเทรนตั้งแต่ ingest ไปจนถึง canary deploy โดยมี eval เป็นด่านที่ต้องผ่านก่อนขึ้นสู่ production

  • MLOps และ evaluation harness

    Golden set, regression gate ใน CI และ online eval แบบสุ่มตัวอย่างทุกวัน

  • Model serving และ inference

    Inference ระดับ production ที่วัดต้นทุน latency และคุณภาพได้ตั้งแต่วันแรก

จากการใช้งานจริง

อีกสี่หน้าจอจากผลงาน

หน้าจอผลิตภัณฑ์จริง แสดงด้วยข้อมูลเดโม

Retrieval ก่อน generation — hybrid search บนสัญญา 12,408 chunk ได้ข้อความอ้างอิงสี่ส่วน และคำตอบที่ทั้งห้าข้อกล่าวอ้างระบุแหล่งที่มาได้
การเทรนรอบกลางคืน #412 — เจ็ดขั้นตอน มี eval gate ที่ต้องผ่าน 8/8 ก่อนขึ้น canary และงบต้นทุน latency และต่อการเรียกอยู่ที่ 70% ทั้งสามรายการ
ขั้นตอน Operate — drift อยู่ต่ำกว่าเกณฑ์แจ้งเตือน 0.40 ต้นทุน €0.0042 ต่อการเรียก จากงบ €0.0060 และ online eval แบบสุ่มตัวอย่าง 240 รายการต่อวัน
มีคนร่วมตรวจสอบในจุดที่สำคัญ — ทุกรายการที่ความเชื่อมั่นต่ำกว่า 0.85 จะหยุดที่นี่ ส่วนอีก 92% ผ่านต่อโดยอัตโนมัติ

วิธีทำงานของเรา

จากพรอมต์สู่โมเดลที่ใช้งานจริง

  1. 01

    Frame

    เรากำหนดผลลัพธ์ eval ที่ใช้วัด และส่วนเล็กที่สุดที่คุ้มค่าจะส่งมอบก่อน

  2. 02

    Ground

    Retrieval, data pipeline และ guardrail เพื่อให้โมเดลตอบจากข้อมูลจริงของคุณ

  3. 03

    Ship

    Inference ระดับ production ที่วัดต้นทุน latency และคุณภาพได้ตั้งแต่วันแรก

  4. 04

    Operate

    เราเฝ้าดู eval บน production และเสริมความแข็งแกร่งรับมือ drift จากนั้นส่งมอบหรือดูแลระบบร่วมกับคุณ

ผลงาน

สิ่งที่งานของเรามอบให้

ตัวเลขจากระบบ AI ที่เรารันบน production อยู่ในขณะนี้

1M+

เอกสารที่ประมวลผลแล้ว

92%

Straight-through processing

8

Eval suite ใน CI

24/7

Inference ที่ดูแล

มีระบบ AI ที่อยากสร้างไหม

บอกเราว่าต้องการขยับผลลัพธ์ใด แล้วเราจะกลับมาพร้อม eval สถาปัตยกรรม และแผนงาน