Hallucination
Когда LLM уверенно выдумывает факты, которых не существует. «Президент KZ — Иван Петров». Главный недостаток LLM. Лечится RAG, validation, system prompts.
Развёрнутое объяснение
Hallucination — феномен, когда LLM генерирует правдоподобный, но неверный ответ. Модель не «знает», что не знает — она генерирует наиболее вероятное продолжение, даже если факт ложный.
Источники галлюцинаций: 1) пробелы в обучающих данных, 2) устаревшие данные, 3) запутанный prompt, 4) низкая температура samplинга на нечётких задачах.
Защита: RAG (модель отвечает только по предоставленному контексту), system prompt («если не знаешь — скажи `не знаю`»), validation (проверка фактов автоматом), human-in-the-loop на критичных задачах.
Где это в услугах WRAW
- Все RAG-боты с system prompt «отвечай только по контексту»
- На критичных задачах (юр, мед, фин) — human-in-the-loop
Частые вопросы
Можно ли полностью устранить галлюцинации?
Нет. Минимизировать через RAG + validation + temp=0 + system prompts. Но 100% гарантии нет — поэтому критичные задачи всегда с human approval.
Какие модели меньше галлюцинируют?
Claude (Anthropic) выраженно меньше галлюцинирует на factual задачах. GPT-4 и Gemini примерно одинаково. Но на любой можно поймать.
Связанные термины
Large Language Model — большая языковая модель. ChatGPT, Claude, Gemini — это всё LLM. Обучены на миллиардах текстов и у…
Читать →Retrieval-Augmented Generation — архитектура AI-бота, которая ищет ответ в твоей базе документов перед тем, как сгенерир…
Читать →Искусство (и наука) формулировки запросов к LLM, чтобы получать стабильно качественные ответы. От «напиши пост» к «напиш…
Читать →