Запись занятия · 04.08.2026
Как ловить ИИ на ошибках · 2.5
Смотреть на YouTube
Канал Marina Brodsky · длительность занятия около 60 минут с вопросами
Три приёма, которые ловят большинство ошибок
Что сделать до того, как поверить ответу AI
1
Включите поиск
Режим с веб-поиском снижает выдумки на порядок: у модели o3 доля выдуманных утверждений падает с 37,7 % до 2,1 %. Самое дешёвое действие с самым сильным эффектом.
2
Откройте источник
Цитата не равна проверке. Более 60 % ответов AI-поисковиков неверно указывают источник. Кликните по ссылке и прочтите, что там на самом деле написано.
3
Разрешите молчать
Модель угадывает, потому что за угадывание нет штрафа. Объявите шкалу оценки прямо в промпте - и угадывать станет невыгодно.
Четвёртый приём - триангуляция: задать один вопрос трём моделям и сравнить ответы. Работает, но в 2026 году с двумя оговорками: модели ищут в одном и том же вебе, и в израильской системе здравоохранения загрузка данных пациента в публичные чаты запрещена. Разбор ниже.
Рамка занятия. Это не лекция о том, что AI плохой. Это лекция о процедуре. Врач не отказывается от лабораторного анализа из-за ложноположительных результатов - он знает, как их отличить.
AI ошибается по умолчанию
Ошибки - не редкий сбой, а свойство технологии. Срез на 04.08.2026
1 823
судебных дела по миру, где стороны сослались на выдуманные AI материалы. Из них 55 - в Израиле
База D. Charlotin, снимок 04.08.2026
23-48 %
ссылок в медицинских ответах актуальных моделей выдуманы: ChatGPT 5.2 - 23 %, Gemini 3 Pro - 46 %, DeepSeek - 48 %
Ülkir & Paslı, Clin Anat 2026, PMID 42454403
60 %
AI-скрайбов, одобренных для врачей Онтарио, записали не те препараты, что назначил врач (12 из 20)
Auditor General of Ontario, спецотчёт 12.05.2026
«Большие языковые модели галлюцинируют по умолчанию» - Дамьен Шарлотэн, юрист, ведёт публичную базу судебных дел с AI-галлюцинациями. Динамика базы: 16 дел в 2023 году, 59 в 2024, 827 в 2025 и 814 только за первое полугодие 2026. Сейчас добавляется 100-150 дел в месяц. Вывод: проверка нужна не «иногда», а как встроенный шаг работы.
Разброс между моделями больше чем двукратный. Выбор модели под задачу - тоже инструмент снижения риска.
Что такое галлюцинация
Механизм, который стоит понять до методов проверки
Галлюцинация - это уверенно поданная выдумка: текст, которого нет в источнике и который не соответствует реальности.
- Модель предсказывает правдоподобное продолжение текста, а не проверяет истину.
- Уверенный тон не связан с точностью: модель звучит одинаково, когда права и когда ошибается.
- Чем конкретнее выдумка (цифры, имена, номера циркуляров, PMID), тем убедительнее она выглядит. Ровно это подделывается легче всего.
Муниципалитет Рамат-Гана, март 2026
Верховный суд Израиля
Отцу ребёнка со специальными потребностями отказали в подвозе, сославшись на циркуляр министерства образования - с цитатами и формулировками. Циркуляра не существует: цитаты сгенерировал AI при подготовке ответа на обращение.
30 000 ₪ издержек. Суд квалифицировал использование AI как «безрассудное» - юридически это выше простой небрежности.
Почему этот кейс важен именно нам. Это не адвокат в Нью-Йорке. Это израильский госорган, реальный ребёнок и официальный документ с подписью сотрудника. Схема ровно та же, что в клинике: AI-черновик, беглый просмотр, подпись, документ ушёл адресату. Ответственность осталась на организации.
Почему модель предпочитает угадать
Объяснение, из которого следует конкретное действие
Галлюцинации живут не в архитектуре, а в системе оценки моделей. Бинарные бенчмарки дают ноль за ответ «не знаю» и лотерейный шанс за угадывание. Модель оптимизируется быть хорошим экзаменуемым, а не честным собеседником.
Формулировка авторов: «Если вы не знаете ответа, но наугад угадаете, вам может повезти. Оставить пустым - гарантированный ноль». Вывод, который они называют социотехническим: чинить надо не архитектуру, а скоринг - штрафовать уверенные ошибки сильнее, чем признание неуверенности.
| Модель, тест SimpleQA | Воздержалась от ответа | Точность | Ошибки |
|---|---|---|---|
| gpt-5-thinking-mini | 52 % | 22 % | 26 % |
| o4-mini | 1 % | 24 % | 75 % |
Точность почти одинаковая. Но модель, которая умеет молчать, ошибается втрое реже. Это главный практический вывод 2025-2026 годов: разрешите модели не отвечать - прямо в промпте, не надеясь, что она сама признается.
Kalai A, Nachum O, Vempala S, Zhang E. Why Language Models Hallucinate. arXiv:2509.04664, сентябрь 2025.
8 признаков галлюцинации
Когда надо перепроверять, не полагаясь на впечатление
1Слишком точно, без источника
Конкретные цифры, даты, номера страниц и циркуляров - и ни одной ссылки.
2Ссылка не открывается
URL ведёт в 404, PMID или DOI не находится в PubMed.
3Уверенность на пустом месте
Модель бойко отвечает про то, чего вообще не существует.
4Ответ «плывёт»
При повторе того же вопроса факты и цифры меняются.
5«Бутерброд»
Верное общее описание, а внутри спрятан один ложный факт.
6Цитата не из источника
Точные слова или имена, которых в оригинале нет.
7. Ответ про свежие события без включённого поиска. Без поиска модель не знает, что было после её обучения, но всё равно уверенно ответит. При вопросах о новом проверяйте, что режим поиска реально включён.
8. Модель слишком легко согласилась с вашей посылкой. Самый неочевидный флаг и единственный, который не ловится проверкой источников: выдуманного факта нет, есть ваша ошибка, которую модель обслужила. Разбор - в следующем разделе.
Самые коварные - «бутерброд» и фейковая ссылка. Текст на 90 % верный, поэтому бдительность падает именно там, где она нужна. Интуиция здесь не работает: нужна механическая процедура.
Модель соглашается с вашей ошибкой
Sycophancy: подтверждение ложной посылки
Здесь модель ничего не выдумывает. Она принимает ошибку, которую вы внесли в вопрос, и уверенно её развивает. Проверка источников такое не ловит: проверять надо не только ответ, но и собственный вопрос.
| Исследование | Что проверяли | Результат |
|---|---|---|
| Mass General Brigham npj Digital Medicine, 2025 | Просьба подтвердить, что препарат X заменяем на препарат Y, когда это одно вещество под двумя названиями | GPT-4, GPT-4o и GPT-4o-mini выполнили 100 % (50 из 50) нелогичных запросов. Разрешение отказываться плюс просьба сначала вспомнить факты поднимают долю отказов до 94 % |
| Mount Sinai Communications Medicine, 2025 | 300 виньеток, валидированных врачами; в каждой один выдуманный элемент - несуществующий лабораторный тест, признак или болезнь. 6 моделей, 5 400 выводов | Средняя частота подхвата вымышленного факта - 65,9 %. Митигирующий промпт снижает до 44 %, у GPT-4o - с 53 % до 23 %. Temperature = 0 не помогает |
Практический вывод. Если вы спросили «какая доза препарата при таком-то состоянии» и ошиблись в состоянии, модель уверенно и подробно ответит про ваше ошибочное состояние.
Промпт: защита посылки вопроса
Если посылка моего вопроса фактически неверна - скажи об этом прямо и не выполняй запрос. Не подстраивайся под мою формулировку, если она противоречит фактам.
Медтранскрипция и AI-заметки визита
То, что уже стоит в клиниках. Ближайший к вашей работе блок
Аудит генерального аудитора Онтарио, 12.05.2026. Протестированы 20 AI-скрайбов, официально одобренных для врачей провинции и прошедших отбор. Результаты тестов до развёртывания:
| Что проверяли | Доля продуктов с дефектом |
|---|---|
| Фабриковали планы лечения, которых врач не обсуждал | 45 % |
| Записали не те препараты, что назначил врач | 60 % (12 из 20) |
| Теряли критические детали по психическому здоровью | 85 % |
| Не имели требуемых сторонних аудитов безопасности | 11 из 20 вендоров |
Масштаб - это уже не эксперимент
Через один только Nabla проходит 20 млн визитов в год и 85 000 клиницистов. Abridge - более 50 млн разговоров в год.
Переводчик усиливает ошибку
55-60 % ошибок переводчика попадают в клиническую заметку. Ошибки в речи пациента переносятся в 80-100 % случаев, в речи врача - только в 20-30 %.
AI усиливает искажение именно голоса пациента. Для кабинета, где звучат иврит, русский, арабский и английский, это самая практичная цифра всего занятия. Механизм известен с 2024 года: система распознавания речи вставляет выдумки на паузах и запинках - галлюцинации нашлись в 1,4 % фрагментов, и 38 % из них были откровенно вредны, вплоть до несуществующих препаратов.
Практический вывод один. Любые AI-заметки визита читает врач до подписи. Ни один автосгенерированный текст не идёт в карту без проверки.
Auditor General of Ontario, 12.05.2026 · Koenecke et al., ACM FAccT 2024 · Rabotin et al., JMIR Med Inform 2026, PMID 42520279
Три метода проверки
Порядок по силе: сначала то, что работает надёжнее
1Поиск с цитатамисамый сильный по цифрам
Режимы, которые сначала ищут в интернете, а потом отвечают со ссылками. Резко снижают выдумки - и создают новую ловушку.
| Модель | Галлюцинации без поиска | С включённым поиском |
|---|---|---|
| o3 | 37,7 % | 2,1 % |
| o4-mini | 24,2 % | 4,5 % |
| gpt-5-main | 6,9 % | 1,9 % |
| gpt-5-thinking | 3,7 % | 1,0 % |
FActScore, доля выдуманных утверждений. Системная карта GPT-5, 13.08.2025. У o3 разница в 18 раз.
| Инструмент | Что даёт | Когда брать |
|---|---|---|
| Perplexity | Ответ со ссылками по умолчанию, быстро | Быстрая проверка одного факта |
| ChatGPT · Claude · Gemini, режим с поиском | Ответ с опорой на свежие веб-источники | Актуальные данные, новости |
| Deep Research (все три экосистемы) | Длинный отчёт с десятками источников | Обзор темы, сравнение |
| Gemini Notebook (бывш. NotebookLM, переименован 16.07.2026) | Отвечает только по вашим загруженным файлам | Работа со своими документами и гайдлайнами |
Главное правило: цитата не равна проверке. Поиск чинит фактическую точность утверждений и не чинит корректность ссылок - это два разных дефекта. Tow Center (Columbia Journalism Review, 03.2025): 1 600 запросов к восьми AI-поисковикам, более 60 % ответов с неверной атрибуцией источника; Perplexity - 37 %, ChatGPT Search - около 67 %, Grok-3 - 94 %. Платные версии ошибались чаще бесплатных, потому что реже отказывались отвечать. EBU/BBC (10.2025), 2 709 оценённых ответов: 45 % со значимой проблемой, у Gemini - 76 %.
Навык, а не ощущение. Клик по каждой критичной ссылке и чтение первоисточника - вместо удовлетворения от того, что ссылка вообще есть.
2Заставьте AI проверить себяработает без дообучения, просто текстом
Главный сдвиг 2025-2026: не просить модель оценить уверенность, а явно разрешить ей не отвечать и объявить шкалу оценки. Это прямое следствие работы о причинах галлюцинаций.
Промпт 1: разрешение молчать со шкалой оценки
Отвечай только там, где уверен. Там, где не уверен, пиши "не знаю". Шкала оценки твоего ответа: верный ответ +1, неверный -2, "не знаю" 0. Отвечать наугад невыгодно. В конце перечисли утверждения с уверенностью ниже 80%.
Промпт 2: только проверяемое
Дай только те источники, которые реально существуют, с DOI или PMID. Если подтверждения нет - напиши прямо: "нет подтверждения". Не придумывай ссылки.
Промпт 3: контраргументы к собственному ответу
Приведи сильные контраргументы к своему ответу. Что могло бы его опровергнуть? Где ты мог ошибиться?
Плата за честность. В эксперименте I-CALM (Johns Hopkins, 04.2026) объявление шкалы снизило долю ложных ответов среди отвеченных с 52,3 % до 34,2 %, но покрытие упало с 96,5 % до 55,3 %: модель стала отказываться почти от половины вопросов. Для клинической задачи это желательный размен, но знать о нём надо заранее - иначе первая реакция будет «модель сломалась».
Самопроверка не панацея. Модель может уверенно защищать собственную ошибку. Финальное слово всегда за человеком и первоисточником.
3Триангуляция моделейдополняет, а не заменяет
Один и тот же вопрос задаётся трём разным моделям, ответы сравниваются. У моделей разные обучающие данные, а значит разные слепые зоны.
- Скопируйте вопрос в ChatGPT, Claude и Gemini.
- Сравните ключевые факты, цифры и выводы.
- Совпали - уверенность выше, но не гарантия. Разошлись - красный флаг, идите к первоисточнику.
Оговорка 2026 года. У всех флагманов веб-поиск включён по умолчанию, поэтому одна и та же ошибка из одного веб-источника пройдёт через все три модели. Совпадение стало более слабым сигналом, чем было в 2024. Расхождение по-прежнему работает отлично.
Ограничение для медработников в Израиле. С 03.03.2026 экстренная директива Минздрава запрещает вводить данные пациентов, организационные данные и персональные данные сотрудников в публичные AI-интерфейсы; ChatGPT, Claude и Gemini названы прямо. С конца июня 2026 доступ к ним физически заблокирован на компьютерах государственных больниц. Триангуляция остаётся рабочим приёмом только для обезличенных, личных и неклинических вопросов.
Что можно и чего нельзя на рабочем месте
Правовая рамка на август 2026. Без неё методы повисают в воздухе
| Норма | Что означает на практике | Дата |
|---|---|---|
| Экстренная директива Минздрава отдел информационной безопасности | Абсолютный запрет вводить данные пациентов, организационные данные, персональные данные сотрудников и программный код в публичные AI-интерфейсы. ChatGPT, Claude и Gemini названы прямо. Разрешены защищённые инструменты через государственное облако «Нимбус» и внутренние платформы организации | 03.03.2026 |
| Техническая блокировка | Доступ к внешним AI закрыт на компьютерах государственных больниц. Личное устройство не делает загрузку данных пациента законной - оно только убирает её из поля зрения работодателя | конец 06.2026 |
| Поправка 13 к Закону о защите приватности | Больницы и больничные кассы обязаны назначить ответственного за защиту приватности. Штраф до 320 000 ₪ за нарушение, до 640 000 ₪ для крупных баз. Первая крупная санкция: 256 000 ₪ больничной кассе «Меухедет» за задержку уведомления регулятора об инциденте информационной безопасности (21.07.2026) | в силе с 14.08.2025 |
| Этические принципы ИМА по AI | Бюро медицинской этики Израильской медицинской ассоциации. Пять принципов; ключевые для нас два: врач уведомляет пациента, когда AI влияет на касающееся его решение, и врач сохраняет базовые клинические навыки независимо от AI-инструментов | 04.2026 |
| Циркуляр Минздрава 09/2019 | Критерии ведения записи пациента. Любой AI-текст в карте - под подписью и ответственностью врача | 15.12.2019 |
| EU AI Act (для экспортирующих в ЕС) | Обязательства прозрачности (ст. 50) действуют с 02.08.2026. Высокорисковые системы Annex III перенесены на 02.12.2027, AI в медицинских изделиях (Annex I) - на 02.08.2028 | Регламент (ЕС) 2026/1744 |
Честный комментарий. Блокировка не убирает ни киберриск, ни клинический риск: врачи переходят на личные телефоны, и использование AI уходит из поля зрения системы. Именно поэтому нужна процедура, а не только запрет. Специализированного циркуляра гендиректора Минздрава по генеративному AI не существует; отдельного регулирования ambient scribes в Израиле тоже нет - они подпадают под общие нормы выше.
Лестница риска
Вопрос не «AI хороший или плохой», а «какова цена ошибки в этой задаче»
| Уровень | Типичные задачи | Что делать |
|---|---|---|
| НИЗКИЙ | Черновик письма, конспект, идеи, перевод для себя | Можно делегировать, беглый просмотр |
| СРЕДНИЙ | Резюме статьи, поиск литературы, объяснение темы, таблица | Сверить ключевые факты и ссылки |
| ВЫСОКИЙ | Диагноз, дозировки, юридический документ, любая цифра, которую вы называете пациенту или клиенту | Обязательна верификация человеком плюс первоисточник |
Приватность - независимая ось. Она не зависит от уровня риска: данные пациента не идут в публичный чат ни на одном из трёх уровней. Даже «просто черновик письма» не оправдывает загрузку идентифицируемых данных.
Артефакт занятия 2.5
Чек-лист верификации
Распечатайте и положите рядом с рабочим местом. Это не метафора: печатный лист работает лучше, чем файл в закладках.
1. Есть ли у утверждения источник? Откройте его.
2. Источник реально это говорит, а не просто существует?
3. Это первоисточник или чей-то пересказ? Найдите оригинал.
4. Был ли включён поиск? Совпадает ли ответ при перепроверке?
5. Цифры, даты, имена, PMID/DOI проверены вручную?
6. Не согласилась ли модель с моей посылкой слишком легко?
7. Мед. или юр.: сверено с гайдлайном, PubMed или законом?
8. Какова цена ошибки? Что будет, если это неверно?
+ Данные пациента вообще не должны были попасть в этот чат.
+ Уровень риска высокий? Значит, проверка обязательна.
Не уверены - не подписывайте. Непроверенный вывод помечайте: «требует проверки».
Медицинский промпт: правильный каркас
Четыре предохранителя, каждый закрывает конкретный риск из этого занятия
Шаблон промпта
Роль: помощник врача. Ты не заменяешь клиническое суждение. Задача: кратко обобщи тактику при [состояние]. Данные обезличены: без имени, ID, дат, адреса. Источники: - только источники с PMID или DOI; - если подтверждения нет, напиши "нет подтверждения" и не приводи ссылку; - укажи название гайдлайна и дату актуальности. Неопределённость: - отвечай только там, где уверен; иначе пиши "не знаю"; - шкала: верный +1, неверный -2, "не знаю" 0. Отвечать наугад невыгодно; - в конце перечисли утверждения с уверенностью ниже 80%. Посылка вопроса: - если посылка моего вопроса фактически неверна, скажи об этом прямо и не выполняй запрос; - если вопрос выходит за пределы гайдлайнов, скажи об этом. Разметка: каждый вывод помечай "требует проверки врачом".
Обезличивание
Нет PHI в промпте. С 03.2026 это не только этика, но и прямое требование Минздрава.
Ссылки или молчание
Требования «нет подтверждения» и «не знаю» блокируют выдумку ссылок.
Защита посылки
Модель не подтвердит вашу ошибку, если ей это прямо запретить.
Метка проверки
AI-вывод не уходит в карту пациента без врача.
Отдельно про загрузку документов
- Чем больше документов подано в контекст разом, тем ниже точность. В Med-HEAL (06.2026) точность модели падала с 74,1 % при работе с одной выпиской до 38,9 % при работе с тремя.
- Правило: один документ - один вопрос. «Загружу всю карту пациента разом» - вредная привычка.
Что уже случилось из-за доверия AI без проверки
Право, медицина, консалтинг, публикации
| Кейс | Что произошло | Последствие |
|---|---|---|
| Муниципалитет Рамат-Гана Израиль, Верховный суд, 03.2026 | Отказ ребёнку со специальными потребностями обоснован несуществующим циркуляром министерства образования с выдуманными цитатами | 30 000 ₪ издержек; суд назвал использование AI «безрассудным» |
| БАГАЦ 38379-12-24 Израиль, 02.2025 | Адвокат сослалась на 36 несуществующих решений Верховного суда. Формулировка суда: галлюцинация выглядела настолько убедительно, что проверять её не стали | Петиция отклонена; дело ушло в комиссию по этике Коллегии адвокатов |
| 6-й апелляционный округ США Whiting v. City of Athens, 03.2026 | Более двух десятков несуществующих ссылок в документах двух адвокатов | Санкция $30 000 |
| 9-й апелляционный округ США 06.2026 | Выдуманные ссылки в судебных документах | Приостановка практики на 6 месяцев и обязательная сертификация об использовании генеративного AI в каждом будущем документе |
| Аудит Онтарио Канада, 05.2026 | 20 официально одобренных AI-скрайбов: 45 % фабриковали планы лечения, 60 % записали не те препараты, 85 % теряли детали по психическому здоровью | «Сертифицирован» не равно «безопасен» |
| The Lancet 05.2026 | Аудит 2,5 млн статей PubMed и 97,1 млн ссылок: 4 406 сфабрикованных ссылок в 2 810 статьях | 2023 - 1 статья из 2 828; 2025 - 1 из 458; 2026 - 1 из 277 |
| KPMG 06.2026 | В отчёте про агентный AI из 45 ссылок только 5 вели к реальным источникам | Отчёт удалён с сайтов, внутреннее расследование |
| Deloitte Австралия 10.2025 | Отчёт для министерства занятости содержал несуществующие академические работы и вымышленную цитату из решения Федерального суда | Возврат A$97 000 при контракте A$440 000 |
| Moffatt v. Air Canada 2024 BCCRT 149 | Чат-бот выдумал политику возврата средств; компания защищалась тем, что бот - как бы отдельное лицо | Суд эту линию отклонил: компания отвечает за слова своего AI |
| Landgericht München I 26 O 869/26, 28.05.2026 | Google AI Overviews связал два издательства с «мошенническими схемами». Суд: иммунитет поисковика не применяется, это собственный синтезированный контент Google | До 250 000 € за нарушение. Дисклеймер «AI может ошибаться» ответственность не снимает |
Что это значит для вас. Врач отвечает за диагноз, юрист - за документ, клиника - за то, что её бот сказал пациенту. AI - инструмент. Подпись и ответственность - человека. И «я не знал, что AI врёт» перестало быть оправданием: суды это прямо проговаривают.
AI как инструмент поиска ошибок
Кейс, ради которого стоит дочитать до конца
Медицинский центр «Шнайдер», июль 2025. После случая передозировки колхицина у ребёнка педиатр загрузил соответствующую главу 4000-страничного справочника по педиатрии в языковую модель и попросил проверить дозировки.
- Модель указала на расхождение: в справочнике стояла доза 1-2 мг/кг, тогда как 0,8 мг/кг уже считается стопроцентно летальной.
- Врач сверил вручную по бумажному изданию - ошибка подтвердилась.
- Издательство убрало главу из онлайн-баз и исправило её в последующих изданиях.
Что здесь сработало. Не AI сам по себе, а связка «AI находит подозрение - человек проверяет по первоисточнику». Врач не поверил модели, он сверил вручную. AI силён ровно там, где человек объективно слабее: сравнить тысячи страниц и найти несоответствие. Решение при этом принял человек.
| Кто поймал | Что | Каким методом |
|---|---|---|
| Юрист-исследователь, Университет Сиднея | Deloitte Австралия | Заметил ссылки на работы коллег, которых те не писали |
| Журналисты NOTUS | Доклад MAHA, Белый дом | Обзвонили названных авторов исследований |
| GPTZero | KPMG, EY, PwC | Систематическая сверка каждой сноски с источником |
| Судья Верховного суда Израиля | 36 фейковых прецедентов | Проверка по правовым базам |
Ни один из этих людей не был AI-специалистом. Метод у всех один: открыть источник и убедиться, что он существует и говорит то, что ему приписывают.
Чем проверять источники
Быстрая справка для верификации ссылок и фактов
| Инструмент | Для чего | Ссылка |
|---|---|---|
| PubMed | Проверить, существует ли статья и PMID | pubmed.ncbi.nlm.nih.gov |
| DOI resolver | Проверить, ведёт ли DOI на реальную работу | doi.org |
| Google Scholar | Найти оригинал статьи по названию | scholar.google.com |
| Retraction Watch | Проверить, не отозвана ли статья | retractionwatch.com |
| Минздрав Израиля | Официальные требования и циркуляры | health.gov.il |
| База AI-галлюцинаций в судах | Актуальное число дел и разбор конкретных решений | damiencharlotin.com/hallucinations |
Домашнее задание
- Возьмите одно рабочее утверждение, которое вам дал AI за последнюю неделю. Любое - хоть перевод письма, хоть резюме статьи.
- Прогоните его по чек-листу верификации, все восемь пунктов подряд.
- Запишите, на каком пункте чек-лист сработал - или где вы поняли, что проверить нечем.
- Отдельно отметьте: был ли включён поиск, открывались ли ссылки, не согласилась ли модель с вашей посылкой.
- Приходите с этим на следующее занятие - разберём вместе.
Против де-скиллинга: одно утверждение проверьте полностью вручную, не спрашивая AI, как его проверить. Это калибрует доверие - вы увидите, где инструмент помогает, а где вводит в заблуждение. И это не наша методическая прихоть: сохранение базовых клинических навыков независимо от AI - требование этических принципов ИМА с апреля 2026.
Проверяемые ссылки
DOI, PMID и номера дел. Проверьте сами - это и есть навык занятия
МеханизмKalai A, Nachum O, Vempala S, Zhang E, 2025. Why Language Models HallucinateOpenAI. Галлюцинации сохраняются из-за системы оценки, а не архитектуры. arXiv:2509.04664
МетрикиGPT-5 System Card, OpenAI, 13.08.2025FActScore с включённым поиском и без: у o3 - 37,7 % против 2,1 %. cdn.openai.com
СсылкиÜlkir M, Paslı B, 2026. Reference Hallucination, Citation Reliability and Readability of LLMsClinical Anatomy. 1 800 ссылок, 120 вопросов: ChatGPT 5.2 - 23,2 % выдуманных, Gemini 3 Pro - 45,8 %, DeepSeek V3.2 - 47,5 %. Точность PMID у всех моделей 25-58 %. PMID 42454403, DOI 10.1002/ca.70187
SycophancyChen S et al., 2025. When helpfulness backfires: LLMs and the risk of false medical informationnpj Digital Medicine (Mass General Brigham). GPT-4, GPT-4o и GPT-4o-mini выполнили 100 % нелогичных запросов. DOI 10.1038/s41746-025-02008-z
SycophancyOmar M et al., 2025. Multi-model assurance analysis: adversarial hallucination attacks in clinical decision supportCommunications Medicine (Mount Sinai). 300 виньеток, 6 моделей, 5 400 выводов: средняя частота подхвата вымышленного факта 65,9 %. DOI 10.1038/s43856-025-01021-3
ГосаудитUse of Artificial Intelligence in the Ontario Government. Special Report, 12.05.2026Office of the Auditor General of Ontario. 20 одобренных AI-скрайбов: 45 % фабриковали планы лечения, 60 % записали не те препараты, 85 % теряли детали по психическому здоровью. auditor.on.ca
ТранскрипцияKoenecke A et al., 2024. Careless Whisper: Speech-to-Text Hallucination HarmsACM FAccT '24. Галлюцинации в 1,4 % сегментов, 38 % из них с явным вредом. DOI 10.1145/3630106.3658996; препринт arXiv:2402.08021
ТранскрипцияRabotin A et al., 2026. Propagation of Interpreter Errors by Ambient AI ScribesJMIR Medical Informatics. 55-60 % ошибок переводчика попадают в клиническую заметку; ошибки в речи пациента - до 100 %. PMID 42520279, DOI 10.2196/88734
ПубликацииFabricated citations: an audit across 2·5 million biomedical papers. The Lancet, 05.20264 406 сфабрикованных ссылок в 2 810 статьях; 2026 год - 1 статья из 277. thelancet.com. Методология подверглась критике: не описана валидация классификатора, не различаются критичные и второстепенные ссылки, из анализа исключены 25 % ссылок без разрешимых идентификаторов.
АтрибуцияTow Center for Digital Journalism, 06.03.2025. AI Search Has a Citation ProblemColumbia Journalism Review. 1 600 запросов, 8 систем: более 60 % ответов с неверной атрибуцией. cjr.org
АтрибуцияNews Integrity in AI Assistants. EBU/BBC, 10.202522 вещателя, 18 стран, 2 709 оценённых ответов: 45 % со значимой проблемой, у Gemini - 76 %. ebu.ch
Судебная базаAI Hallucination Cases Database, D. Charlotin1 823 дела на 04.08.2026, из них 55 в Израиле. Число меняется ежедневно - смотрите актуальное. damiencharlotin.com/hallucinations
КейсLandgericht München I, 26 O 869/26, 28.05.2026Google несёт прямую ответственность за выдумки AI Overviews; до 250 000 € за нарушение. Решение не окончательное.
ИзраильЭкстренная директива Минздрава по AI-инструментам, 03.03.2026Запрет ввода медицинских, организационных и персональных данных в публичные AI-интерфейсы. Плюс Поправка 13 к Закону о защите приватности (в силе с 14.08.2025), циркуляр МЗ 09/2019 и этические принципы Бюро медицинской этики ИМА (04.2026).
Позитивный кейсД-р Шай Ицхаки, медицинский центр «Шнайдер», 22.07.2025Языковая модель помогла обнаружить ошибочную дозировку колхицина в справочнике по педиатрии; ошибка подтверждена ручной сверкой, глава исправлена. Источник: Ynet.
Дата актуальности материала: 4 августа 2026. Данные об AI-инструментах, моделях и регулировании меняются быстро: число дел в базе Шарлотэна растёт ежедневно, названия и версии моделей - каждые несколько недель, статус блокировки внешних AI в израильских госбольницах может измениться (последнее подтверждённое сообщение - конец июня 2026). Перед повторным использованием материала перепроверьте цифры и правовой блок.
Инструменты и ресурсы курса
Всё, что упоминалось на занятии
Запись занятия 2.5
youtu.be/nVVWX6owVh8
Perplexity
perplexity.ai
ChatGPT
chatgpt.com
Claude
claude.ai
Gemini
gemini.google.com
Gemini Notebook (NotebookLM)
notebooklm.google.com
PubMed
pubmed.ncbi.nlm.nih.gov
Курс «AI для жизни и медицины»
aicourse.medaibase.com
Telegram: AIHealthInnovations
t.me/AIHealthInnovations