Catastrophic Forgetting และ Hallucination เป็นปัญหาที่เกิดขึ้นในปัญญาประดิษฐ์ (AI) มันคืออะไร แล้วกระทบอย่างไร แก้ไข หลึกเลี่ยงอย่างไร

จากบทความก่อนหน้านี้ () เราได้พูดถึง “ผลเปรียบเทียบ AI RAG, LoRA และ Fine-Tuning: วิธีไหนเหมาะกับงานของคุณ? และได้นำเสนอว่า การ Fine-Tuning : ใช้ทรัพยากรเยอะ (ทั้งเวลาและพลังงาน) เสี่ยงเกิด “catastrophic forgetting และ Hallucination” เรามาขยายผลในบทความนี้กัน

ว่าด้วย Catastrophic Forgetting และ Hallucination

ซึ่งจริงอยู่ พลังความสามารถของโมเดลภาษาขนาดใหญ่ในการประมวลผลภาษาธรรมชาตินั้น สร้าง AI ให้เราได้รู้จักหลายเจ้า หลายโมเดล และถึงแม้ว่าโมเดลเหล่านี้จะมีประสิทธิภาพที่โดดเด่น แต่ก็ไม่ใช่ว่า จะไม่มีปัญหาในความสามารถนั้น ไม่ได้ปราศจากความท้าทาย (มีการพูดถึงปัญหา ถึง 7 ข้อในบทความอ้างอิง) ซึ่งเราจะยกมาเพียงปัญหาหลักสองประการที่จะกล่าวนี้ ได้แก่ การลืมที่ร้ายแรงมหันต์ และภาพหลอน บทความนี้จะแนะนำแนวคิดพร้อมข้อมูลเชิงเทคนิค ผลกระทบ และวิธีแก้ไข

เมื่อ AI งง กับ Catastrophic Forgetting และ Hallucination

รู้จัก Catastrophic Forgetting และ Hallucination

Catastrophic Forgetting คืออะไร

📌Catastrophic Forgetting (การหลงลืมแบบมหันต์)

Catastrophic Forgetting หรือ การหลงลืมแบบมหันต์ เป็นปัญหาที่เกิดขึ้นใน โมเดลปัญญาประดิษฐ์ (AI) และ Deep Learning เมื่อโมเดลได้รับการฝึกด้วยข้อมูลชุดใหม่ แล้ว ลืม ความรู้หรือทักษะที่เคยเรียนรู้จากข้อมูลชุดเก่า

📌 เกิดจากอะไร?

Catastrophic Forgetting มักเกิดขึ้นใน Sequential Learning (การเรียนรู้แบบต่อเนื่อง) เพราะโมเดลถูกปรับค่าตามข้อมูลใหม่ โดยไม่สามารถรักษาความรู้เก่าไว้ ได้ดีพอ ซึ่งเกิดจากปัจจัยหลักๆ ดังนี้:

1. การเปลี่ยนแปลงของน้ำหนัก (Weights) ในโมเดล
   • เมื่อเรียนรู้ข้อมูลใหม่ น้ำหนักของโมเดลจะถูกอัปเดต
   • แต่น้ำหนักที่เกี่ยวข้องกับข้อมูลเก่าอาจถูกเปลี่ยนไปจนสูญเสียความสามารถเดิม
2. ไม่มีการจัดเก็บความรู้เก่าอย่างเป็นระบบ
   • Deep Learning ทั่วไป ไม่ได้มีหน่วยความจำแยก เพื่อเก็บข้อมูลเก่า
   • ต่างจากสมองมนุษย์ที่สามารถจำและใช้ความรู้เก่าได้แม้จะเรียนรู้สิ่งใหม่
3. ไม่มีการทบทวนข้อมูลเก่า
   • การฝึกโมเดลมักทำเป็นลำดับ (Sequential) โดยไม่มีการนำข้อมูลเก่ากลับมาทบทวน
   • ทำให้โมเดล “จำ” ได้เพียงข้อมูลล่าสุด

📌 สาเหตุของ Catastrophic Forgetting

Catastrophic Forgetting มักเกิดขึ้นใน Sequential Learning (การเรียนรู้แบบต่อเนื่อง) เพราะโมเดลถูกปรับค่าตามข้อมูลใหม่ โดยไม่สามารถรักษาความรู้เก่าไว้ ได้ดีพอ ซึ่งเกิดจากปัจจัยหลักๆ ดังนี้:

1. การเปลี่ยนแปลงของน้ำหนัก (Weights) ในโมเดล
   • เมื่อเรียนรู้ข้อมูลใหม่ น้ำหนักของโมเดลจะถูกอัปเดต
   • แต่น้ำหนักที่เกี่ยวข้องกับข้อมูลเก่าอาจถูกเปลี่ยนไปจนสูญเสียความสามารถเดิม
2. ไม่มีการจัดเก็บความรู้เก่าอย่างเป็นระบบ
   • Deep Learning ทั่วไป ไม่ได้มีหน่วยความจำแยก เพื่อเก็บข้อมูลเก่า
   • ต่างจากสมองมนุษย์ที่สามารถจำและใช้ความรู้เก่าได้แม้จะเรียนรู้สิ่งใหม่
3. ไม่มีการทบทวนข้อมูลเก่า
   • การฝึกโมเดลมักทำเป็นลำดับ (Sequential) โดยไม่มีการนำข้อมูลเก่ากลับมาทบทวน
   • ทำให้โมเดล “จำ” ได้เพียงข้อมูลล่าสุด

ที่มา : https://unfoldai.com/catastrophic-forgetting-llms/

📌 แนวทางแก้ไข

แม้ว่าปัญหานี้จะเป็นอุปสรรคใหญ่ แต่สามารถแก้ไขได้ด้วยวิธีการเหล่านี้:

✅ 1. Replay Mechanism (การทบทวนข้อมูลเก่า)

• ให้โมเดล เรียนรู้ข้อมูลเก่าและใหม่ไปพร้อมกัน โดยใช้ Memory Buffer
• เช่น เทคนิค Experience Replay ใน Reinforcement Learning

✅ 2. Regularization Methods (การป้องกันการเปลี่ยนแปลงน้ำหนักมากเกินไป)

• ใช้วิธีเช่น Elastic Weight Consolidation (EWC) ที่ช่วยล็อคหรือลดการเปลี่ยนแปลงของน้ำหนักที่เกี่ยวข้องกับข้อมูลเก่า

✅ 3. Knowledge Distillation (ถ่ายทอดความรู้จากโมเดลเก่าไปใหม่)

• ใช้ โมเดลเก่า (Teacher Model) ช่วยสอน โมเดลใหม่ (Student Model)
• ทำให้โมเดลใหม่เรียนรู้ข้อมูลใหม่ โดยไม่ลืมข้อมูลเก่า

✅ 4. Progressive Neural Networks (เพิ่มโครงข่ายประสาทใหม่)

• สร้าง โมเดลใหม่แยกออกมา แต่ให้เชื่อมต่อกับโมเดลเก่า
• ป้องกันการเปลี่ยนน้ำหนักของโมเดลเก่า

Catastrophic Forgetting เกี่ยวข้องกับ Deep Learning อย่างไร?

เรา (น่าจะ) ทราบกันดีมาพักหนึ่งแล้วว่า Gen AI ถูกสร้างมาจากเทคนิคการเรียนรู้ของเครื่องจักร์ ที่ชื่อว่า “Deep Learning” และปัญหานี้ ก็มาจากเทคนิคนี้นั่นเอง

Deep Learning อาศัย Artificial Neural Networks (โครงข่ายประสาทเทียม) ซึ่งเรียนรู้ผ่านการปรับค่า น้ำหนัก (weights) และอคติ (biases) ของโมเดล เมื่อมีข้อมูลใหม่เข้ามา โมเดลจะ อัปเดตน้ำหนักใหม่ เพื่อให้เหมาะสมกับข้อมูลล่าสุด แต่การอัปเดตนี้อาจทำให้น้ำหนักที่เกี่ยวข้องกับข้อมูลเก่าถูกเปลี่ยนแปลงจนสูญเสียไป

📌 สาเหตุหลักที่ทำให้ Deep Learning เกิด Catastrophic Forgetting

1. ไม่มีหน่วยความจำถาวร (Lack of Persistent Memory)
   • โมเดล Deep Learning ทั่วไป ไม่มีการบันทึกความรู้เก่า ไว้แบบแยกส่วน
   • ต่างจากมนุษย์ที่สามารถเก็บและเรียกคืนข้อมูลเก่าได้แม้จะได้รับข้อมูลใหม่
2. การอัปเดตแบบ Stochastic Gradient Descent (SGD)
   • Deep Learning มักใช้ SGD ในการปรับปรุงน้ำหนักของโมเดล
   • เมื่อโมเดลถูกฝึกด้วยข้อมูลใหม่ น้ำหนักเก่าถูกปรับเปลี่ยน ทำให้สูญเสียความรู้เดิม
3. การเรียนรู้แบบต่อเนื่อง (Continual Learning)
   • หากโมเดลไม่ได้รับข้อมูลเก่ามาทบทวนขณะฝึกข้อมูลใหม่ จะทำให้ข้อมูลเก่าถูกลืม
   • การฝึกแบบ Batch Learning ที่ไม่ทบทวนข้อมูลเก่า ยิ่งทำให้ Forgetting รุนแรงขึ้น

การลืมนี้ ไม่ได้เกิดขึ้นกับ AI ( ณ ปัจจุบัน) เท่านั้น หากแต่เกิดขึ้นกับมนุษย์ด้วย เช่น เราแทบลืมหมดแล้ว ว่าเพื่อนสมัย ป.1 ชื่ออะไรบ้าง แต่เราจะจำได้อีกครั้งเมื่อเราเปิด “หนังสือรุ่น” (จด) หรือได้พบกันอีกครั้งในงานเลี้ยงรุ่น (จำ)

Hallucination ใน AI คืออะไร?

Hallucination ใน AI หมายถึง การที่โมเดลสร้างคำตอบที่ไม่ถูกต้อง, ไม่มีมูลความจริง หรือเป็นข้อมูลที่แต่งขึ้นมาเอง แม้ว่าคำตอบนั้นจะดูสมเหตุสมผลก็ตาม

📌 ตัวอย่าง

• ถาม: “ประเทศไทยมีรถไฟความเร็วสูงกี่สาย?”
• AI ตอบ: “ประเทศไทยมีรถไฟความเร็วสูง 3 สาย ได้แก่ กรุงเทพฯ-เชียงใหม่, กรุงเทพฯ-ภูเก็ต และ กรุงเทพฯ-อุบลราชธานี” (❌ ผิด เพราะไม่มีโครงการกรุงเทพฯ-ภูเก็ต หรืออุบลฯ ในปัจจุบัน)
• AI Chatbot อ้างอิงงานวิจัยที่ไม่มีอยู่จริง
• Google Translate สร้างคำแปลที่ผิดจากต้นฉบับ แต่ฟังดูสมเหตุสมผล
• AI สรุปบทความผิดจากต้นฉบับ เช่น สรุปว่าตัวละครหนึ่งเสียชีวิต ทั้งที่ยังมีชีวิตอยู่
• Generative Models – AI วาดภาพหรือสร้างวิดีโอที่ผิดเพี้ยน

---

ที่มาของ Hallucination ใน AI

1. โมเดลพยายามคาดเดาข้อมูล
   • LLM (เช่น GPT-4, Claude, Mistral) สร้างคำตอบโดยใช้ Pattern Matching บนข้อมูลที่ฝึกมา ซึ่งอาจไม่มีข้อมูลที่ถูกต้องตรงๆ
   • เมื่อไม่มีข้อมูลที่แน่นอน AI อาจเดาหรือแต่งเรื่องขึ้น
2. ใช้ข้อมูลไม่ครบถ้วน
   • หากข้อมูลที่ดึงมาไม่ตรงกับคำถาม AI อาจสร้างคำตอบที่ไม่ถูกต้องเพื่อให้ดูสมบูรณ์
   • เช่น ระบบ RAG ดึงข้อมูลผิด หรือไม่มีข้อมูลเกี่ยวข้องเลย
3. Bias จากข้อมูลที่ใช้ฝึก
   • หากข้อมูลที่ AI ใช้ฝึกมี Bias หรือข้อผิดพลาด AI อาจสะท้อนข้อมูลผิดเหล่านั้น
4. การตั้งค่า Temperature สูงเกินไป
   • Temperature เป็นค่าที่ควบคุมความ “สร้างสรรค์” ของ AI
   • ถ้าตั้งค่าสูง (เช่น 1.0) โมเดลจะสุ่มสร้างคำตอบมากขึ้น → เสี่ยงต่อการ Hallucination
   • ถ้าตั้งค่าต่ำ (เช่น 0.2) โมเดลจะให้คำตอบตามข้อมูลมากขึ้น

ที่มา : https://www.deepchecks.com/llm-hallucination-detection-and-mitigation-best-techniques/

---

วิธีป้องกัน Hallucination ใน AI

✅ 1. ใช้ RAG (Retrieval-Augmented Generation) แทนการพึ่ง LLM อย่างเดียว

🔹 ดึงข้อมูลจาก ฐานความรู้ หรือ ฐานข้อมูลจริง แล้วให้ AI ใช้ข้อมูลนั้นเป็นบริบท
🔹 ตัวอย่างการตั้งค่า RAG:

• ใช้ Vector Database (เช่น FAISS, Pinecone) ดึงข้อมูลที่เกี่ยวข้อง
• ใช้ Keyword Search + Semantic Search เพื่อดึงข้อมูลที่แม่นยำขึ้น
• ให้ AI ตอบเฉพาะข้อมูลที่ดึงมา ถ้าไม่มีข้อมูลให้แจ้งว่า “ไม่มีข้อมูลที่เกี่ยวข้อง”

✅ 2. ปรับแต่ง Prompt ให้ AI ตอบตามข้อมูลจริงเท่านั้น

🔹 ใช้ Context Injection Prompting

plaintextคัดลอกแก้ไขตามข้อมูลที่มี:
{context}

โปรดตอบคำถามต่อไปนี้โดยใช้เฉพาะข้อมูลข้างต้นเท่านั้น
หากไม่มีข้อมูลที่เกี่ยวข้อง ให้ตอบว่า "ขออภัย ฉันไม่มีข้อมูลในขณะนี้"

🔹 หลีกเลี่ยงการใช้ Prompt ที่เปิดโอกาสให้ AI คิดเอง เช่น “ช่วยอธิบาย…” ควรใช้ “อ้างอิงจากข้อมูลที่มี…” แทน

✅ 3. ใช้ Self-Verification ให้ AI ตรวจสอบตัวเอง

🔹 เพิ่มกลไกให้ AI ตรวจสอบว่าคำตอบมีหลักฐานสนับสนุนจริงหรือไม่
🔹 ใช้เทคนิค Chain-of-Thought (CoT) หรือ Self-Consistency

plaintextคัดลอกแก้ไขก่อนตอบคำถาม โปรดตรวจสอบว่าคุณสามารถอ้างอิงข้อมูลจริงได้หรือไม่
หากไม่มีหลักฐาน ให้ตอบว่า "ฉันไม่สามารถให้คำตอบได้"

✅ 4. ใช้ Temperature ต่ำเพื่อให้ AI ไม่เดาข้อมูล

🔹 ตั้งค่า Temperature ต่ำ (0.1 – 0.3) เพื่อให้ AI ตอบอย่างแม่นยำมากขึ้น
🔹 ลดโอกาสที่ AI จะสุ่มสร้างข้อมูลใหม่เอง

✅ 5. เพิ่ม Human Feedback & Review

🔹 ให้ผู้ใช้สามารถ Report คำตอบผิด
🔹 ใช้ Reinforcement Learning from Human Feedback (RLHF) ปรับแต่งโมเดลให้ลด Hallucination

---

📌 สรุป

วิธีป้องกัน	รายละเอียด
ใช้ RAG	ดึงข้อมูลจริงจากฐานความรู้ให้ AI ใช้ตอบคำถาม
Prompt Engineering	บังคับให้ AI ใช้เฉพาะข้อมูลที่มี ไม่ให้เดาคำตอบ
Self-Verification	ให้ AI ตรวจสอบความถูกต้องของคำตอบก่อนแสดงผล
ลด Temperature	ควบคุมให้ AI ตอบตามข้อมูล ไม่สร้างคำตอบเอง
Human Feedback	ให้ผู้ใช้รีวิวคำตอบผิด และปรับปรุงโมเดล

💡 Hallucination เป็นปัญหาสำคัญที่ต้องแก้ไข โดยเฉพาะสำหรับ AI ที่ให้ข้อมูลลูกค้า, ด้านกฎหมาย, การแพทย์ หรือการเงิน 🚀

Hallucination เกี่ยวข้องกับ Deep Learning อย่างไร?

Hallucination ในบริบทของ Deep Learning หมายถึง การที่โมเดลสร้างข้อมูลที่ไม่มีอยู่จริง หรือบิดเบือนความจริง โดยเฉพาะในงานที่เกี่ยวข้องกับ Natural Language Processing (NLP), Computer Vision (CV), และ Generative Models

Deep Learning ทำงานโดยอาศัย สถิติและแพทเทิร์นของข้อมูลที่เคยเรียนรู้ แต่ไม่ได้เข้าใจข้อมูลในเชิงตรรกะหรือบริบทเช่นมนุษย์ ดังนั้นเมื่อโมเดลพยายามสร้างหรือสรุปข้อมูลที่ขาดหายไป อาจทำให้เกิด Hallucination ได้จากสาเหตุต่อไปนี้:

1. โมเดลพยายามเติมเต็มข้อมูลที่ขาดไป
   • หากโมเดลขาดข้อมูลที่ชัดเจน มันจะ “เดา” คำตอบจากแพทเทิร์นที่เคยเรียนรู้
   • เช่น ChatGPT หรือ AI แปลภาษา อาจแต่งประโยคที่ฟังดูสมเหตุสมผลแต่ไม่มีอยู่จริง
2. การ Overgeneralization (การเหมารวมมากเกินไป)
   • โมเดลเรียนรู้จากตัวอย่างจำนวนมาก และอาจใช้แพทเทิร์นเหล่านั้น อย่างผิดพลาดในบริบทที่ไม่เหมาะสม
   • เช่น AI อาจสรุปว่าทุกประเทศในยุโรปใช้เงินยูโร ซึ่งไม่ถูกต้อง
3. ข้อมูลที่ใช้ฝึกมีอคติ (Bias in Training Data)
   • หากโมเดลถูกฝึกด้วยข้อมูลที่ไม่สมบูรณ์หรือมีอคติ อาจทำให้โมเดลสร้างข้อมูลที่ผิดเพี้ยนจากความเป็นจริง
4. โมเดล Generative ใช้ Probabilistic Sampling
   • โมเดลอย่าง GPT-4, DALL·E, และ Stable Diffusion ใช้การสุ่มบางส่วนในการสร้างผลลัพธ์
   • อาจทำให้ได้ข้อมูลที่ผิดหรือไม่ตรงกับข้อเท็จจริง

🔹 วิธีแก้ปัญหา Hallucination ใน Deep Learning

เนื่องจาก Hallucination เป็นปัญหาสำคัญใน Deep Learning นักวิจัยได้พัฒนาแนวทางลดปัญหานี้ เช่น:

✅ 1. Fact-checking & External Verification (ตรวจสอบข้อเท็จจริง)

• ใช้ ฐานข้อมูลภายนอก เช่น Wikipedia หรือเอกสารทางวิทยาศาสตร์ เพื่อช่วยให้ AI อ้างอิงข้อมูลได้ถูกต้อง
• ให้ AI ตรวจสอบคำตอบของตัวเองก่อนนำเสนอ

✅ 2. Reinforcement Learning from Human Feedback (RLHF) (ใช้ฟีดแบ็กจากมนุษย์ปรับปรุงโมเดล)

• ใช้ การให้คะแนนจากมนุษย์ (Human Feedback) เพื่อปรับพฤติกรรมของโมเดลให้สร้างข้อมูลที่ถูกต้องมากขึ้น
• ใช้ใน ChatGPT, Google Bard และ Claude AI

✅ 3. Confidence Estimation (การประเมินความมั่นใจของโมเดล)

• ให้ AI บอกระดับความมั่นใจ ของคำตอบ เช่น “ข้อมูลนี้อาจไม่ถูกต้อง 100%”
• ใช้ Uncertainty Estimation เพื่อช่วยลดข้อมูลผิดพลาด

✅ 4. Hybrid Models (รวมโมเดลหลายแบบเข้าด้วยกัน)

• ใช้ Symbolic AI + Deep Learning เพื่อให้โมเดลเข้าใจตรรกะมากขึ้น
• ใช้ AI หลายตัวตรวจสอบกันเอง (Cross-Validation AI)

---

สรุปความแตกต่าง Catastrophic Forgetting และ Hallucination

หัวข้อ	Catastrophic Forgetting	Hallucination
คืออะไร?	โมเดลลืมความรู้เก่าเมื่อต้องเรียนรู้สิ่งใหม่	โมเดลสร้างข้อมูลปลอมขึ้นมาเอง
เกิดจาก?	Sequential Learning ที่ทำให้ข้อมูลเก่าหายไป	โมเดลพยายามเติมข้อมูลที่ไม่มีอยู่จริง
ตัวอย่าง	โมเดลที่เคยเล่นเกม A ได้ แต่พอฝึกเล่นเกม B แล้วลืม A	AI อ้างอิงบทความหรือบุคคลที่ไม่มีอยู่จริง
แนวทางแก้ไข	ใช้ Replay Mechanism, Regularization	เพิ่ม Fact-checking, ใช้ข้อมูลที่เชื่อถือได้

ทั้งสองปัญหานี้ Catastrophic Forgetting และ Hallucination อาจเกิดขึ้นพร้อมกันได้ เช่น หากโมเดลถูก fine-tune บ่อยๆ อาจเกิด Catastrophic Forgetting ทำให้ข้อมูลเก่าหายไป และหากข้อมูลใหม่ไม่สมบูรณ์ อาจทำให้เกิด Hallucination ได้เช่นกัน 🚀

---

ตัวอย่างการเกิด Hallucination ใน AnythingLLM

ต้องบอกก่อนเลยว่าในการสร้าง RAG ขื้นใช้เองในองค์กรนั้น แม้จะเป็นวิธีที่ง่ายที่สุด แต่ก็ยังมีหลายขั้นตอน มีความรู้เชิงเทคนิคอีกหลายอย่างที่ต้องเรียนรู้ ดังนั้น จึงเกิดการให้บริการ “แพลตฟอร์ม” ในการสร้าง RAG ที่ใช้ง่าย พัฒนาต่อยอดง่ายขึ้น ซึ่ง 1 ใน นั้น คือ AnythingLLM

ทีนี้ เรามาพิจารณา กรณีศึกษาการเกิด Hallucination ใน AnythingLLM กัน

วิธีป้องกัน Hallucination ใน AnythingLLM

AnythingLLM เป็นแพลตฟอร์มที่ช่วยให้ AI ใช้ข้อมูลภายในองค์กรเพื่อปรับปรุงการตอบคำถามแบบ RAG (Retrieval-Augmented Generation) ซึ่งช่วยลดปัญหา Hallucination ได้ แต่ยังคงมีบางกรณีที่ AI อาจสร้างคำตอบผิดพลาดได้

🔍 สาเหตุที่ AI ใน AnythingLLM อาจเกิด Hallucination

1. ข้อมูลไม่ครบถ้วน → หากไม่มีข้อมูลเกี่ยวข้องในฐานข้อมูล AI อาจเดาคำตอบเอง
2. Retrieval ไม่แม่นยำ → ระบบดึงข้อมูลผิดพลาดหรือไม่ได้ข้อมูลที่เกี่ยวข้องมากพอ
3. การตั้งค่าของ LLM ไม่เหมาะสม → ค่าพารามิเตอร์ เช่น Temperature สูงเกินไป อาจทำให้ AI คิดเองมากขึ้น
4. ไม่ได้บังคับ AI ให้ตอบตามข้อมูลที่มีเท่านั้น

---

✅ วิธีป้องกัน Hallucination ใน AnythingLLM

1️⃣ ปรับปรุงข้อมูลที่ใช้ดึง (Retrieval Optimization)

💡 ทำให้ AI ดึงข้อมูลที่ถูกต้องจากเอกสารก่อนสร้างคำตอบ

🔹 ใช้ Hybrid Search (Vector + Keyword Search)

• ค่าเริ่มต้นของ AnythingLLM ใช้ Vector Search (FAISS, Pinecone, ChromaDB) ซึ่งบางครั้งอาจพลาดคำสำคัญ
• ควรใช้ Hybrid Search (เช่น Vector + BM25) เพื่อให้ค้นหาได้แม่นยำขึ้น

🔹 เพิ่มจำนวนเอกสารที่ดึง (Top-K Documents) เป็น 3-5

• ค่าเริ่มต้นของ RAG อาจดึงแค่ 1-2 เอกสาร แต่บางครั้งไม่เพียงพอ
• ใน Settings ของ AnythingLLM ให้เพิ่ม Top-K Documents เป็น 3-5

🔹 จัดระเบียบข้อมูลให้ดีขึ้น

• ใช้ Chunking (แบ่งข้อมูลเป็นส่วนๆ) ให้มีขนาด 200-500 tokens
• ลบข้อมูลซ้ำซ้อนที่อาจทำให้ AI ตอบผิด

---

2️⃣ ปรับแต่ง Prompt ให้ AI ตอบตามข้อมูลจริง

💡 บังคับให้ AI ใช้เฉพาะข้อมูลจาก RAG เท่านั้น

📌 ตัวอย่าง Prompt ที่ดี

plaintextคัดลอกแก้ไขตามข้อมูลที่ดึงมา:
{context}

โปรดตอบคำถามโดยใช้เฉพาะข้อมูลข้างต้น
หากไม่มีข้อมูลที่เกี่ยวข้อง ให้ตอบว่า "ขออภัย ฉันไม่มีข้อมูลที่เกี่ยวข้องในขณะนี้"

✅ ลดโอกาสที่ AI จะเดาข้อมูลเอง
✅ กระตุ้นให้ AI แจ้งเมื่อไม่มีข้อมูล

📌 ตัวอย่าง Prompt ที่ไม่ดี (เสี่ยง Hallucination)

plaintextคัดลอกแก้ไขโปรดอธิบายเกี่ยวกับ {query} โดยละเอียด

❌ AI อาจเดาคำตอบเองแม้ไม่มีข้อมูล

---

3️⃣ ใช้ Self-Verification ให้ AI ตรวจสอบตัวเอง

💡 ให้ AI ตรวจสอบว่าคำตอบมีหลักฐานสนับสนุนจริงหรือไม่

📌 เพิ่มขั้นตอนให้ AI ตรวจสอบคำตอบก่อนส่งให้ผู้ใช้

plaintextคัดลอกแก้ไขก่อนตอบคำถาม โปรดตรวจสอบว่า:
1. คำตอบของคุณตรงกับข้อมูลที่ให้มาหรือไม่?
2. มีหลักฐานจากเอกสารที่ดึงมาหรือไม่?
3. หากไม่มีข้อมูลที่ถูกต้อง ให้ตอบว่า "ขออภัย ฉันไม่มีข้อมูลนี้"

✅ ทำให้ AI ตอบเฉพาะสิ่งที่อ้างอิงได้

---

4️⃣ ปรับค่า Temperature และ Max Tokens

💡 ลดความสร้างสรรค์ของ AI เพื่อให้ตอบตามข้อมูลจริง

📌 ค่าแนะนำสำหรับ AnythingLLM

• Temperature = 0.2 – 0.3 → ลดโอกาสที่ AI จะเดาคำตอบเอง
• Max Tokens = 512 – 1024 → จำกัดความยาวคำตอบเพื่อป้องกัน AI แต่งเรื่อง

---

5️⃣ ให้ผู้ใช้สามารถ Report คำตอบผิด & ปรับปรุงฐานข้อมูล

💡 เพิ่มระบบ Feedback เพื่อให้ AI แม่นยำขึ้นในระยะยาว

🔹 เปิดให้ผู้ใช้ ให้คะแนนคำตอบ หรือ Report หากคำตอบผิด
🔹 อัปเดตข้อมูลใหม่เสมอ → หากพบว่า AI ตอบผิดบ่อย แสดงว่าข้อมูลที่ใช้ยังไม่ครอบคลุม
🔹 ใช้ Human-in-the-loop (HITL) → ให้มีคนตรวจสอบคำตอบของ AI เป็นระยะ

---

🔥 สรุปแนวทางลด Hallucination ใน AnythingLLM

ปัญหา	วิธีแก้ไข
AI ตอบมั่วเมื่อไม่มีข้อมูล	บังคับให้ AI ตอบว่า “ไม่มีข้อมูล” แทนที่จะเดา
ดึงข้อมูลผิดพลาด	ใช้ Hybrid Search (Vector + Keyword Search) และเพิ่ม Top-K Documents
AI ตอบไม่ตรงกับฐานข้อมูล	ใช้ Self-Verification ให้ AI ตรวจสอบคำตอบก่อนส่ง
คำตอบยาวเกินไปหรือแต่งเรื่องเอง	ลด Temperature และ Max Tokens
ข้อมูลในฐานข้อมูลไม่ครบถ้วน	ปรับปรุงเอกสาร และเปิดให้ผู้ใช้ Feedback

💡 หากต้องการปรับแต่ง Prompt หรือการตั้งค่าให้ละเอียดขึ้น บอกมาได้เลย! 🚀

ที่มา : langchain-ai.github.io

การลืม (Catastrophic Forgetting) หรือเพ้อ (แถ) (Hallucination) ของ AI ซึ่ง Catastrophic Forgetting และ Hallucination นี้ ก็ไม่ได้ต่างจาก “มนุษย์” สักเท่าไหร่ ทุกคนมีการ “ลืม” เกิดขึ้น เมื่อเวลาผ่านไป และก็ “แถ” เมื่อต้องบอกหรือทำในสิ่งที่ไม่รู้
มนุษย์ ก็เกิด Catastrophic Forgetting และ Hallucination ได้

เป็นนิจจังทั้ง คนและAI