Всё, что говорилось об устройстве модели, — это доводы. Слепой тест — это способ проверить самому, а не поверить на слово. Он не выпад против магии, а рабочий инструмент, отличающий сведение от лести и совпадение от закономерности. Разберём, как поставить слепую пробу на модель, как считать базовую вероятность, где прячутся ошибки, портящие проверку, и как честно прочесть результат. Методическая, врезок нет. Это сердце всего блока.
Зачем вообще проверять
Коротко, потому что соблазн не проверять силён.
Модель отвечает складно, много и уверенно, и это рождает чувство, что она знает. Чувство — не доказательство. Единственный способ узнать, есть ли за ответом сведение или только правдоподобие, — поставить вопрос так, чтобы правильный ответ нельзя было получить складностью. Это и делает слепой тест. Без него ты навсегда останешься с ощущением «вроде работает», которое ничего не стоит, потому что не проверено.
Что такое слепой тест
Определим точно, иначе проба развалится.
Слепой тест — это проверка, при которой правильный ответ заранее неизвестен тому, кто оценивает, и не может быть выведен из вопроса. Смысл — отсечь два обмана: подсказку (когда в вопросе уже спрятан ответ) и подгонку толкования (когда ответ объявляют верным задним числом).
Для модели это значит: спрашивать не о том, что выводится из твоих же слов, а о проверяемой внешней вещи, которой в разговоре нет и быть не может.
Как поставить пробу на модель
По шагам, чтобы можно было сделать сегодня.
- Выбери проверяемые внешние факты. Не «какой у меня характер» — это выводится из формулировок. А: какая цифра написана на бумажке в закрытом конверте; что лежит в ящике, которого модель не видела; какой картой оказалась верхняя в перетасованной колоде; что произошло в конкретный день, о котором ты не писал.
- Заготовь десять таких вопросов с известными тебе ответами. Известными тебе, но не выводимыми из запроса. Запиши правильные ответы отдельно, прежде чем спрашивать.
- Задай их модели начисто. Без намёков, без наводящих деталей. Чем меньше в вопросе зацепок, тем чище проба.
- Запиши её ответы, не оценивая на ходу. Сначала собери все ответы, потом сверяй, — чтобы не подкручивать по дороге.
- Сверь и посчитай попадания. Точные попадания, а не «почти угадала» и не «в целом верно по духу». Или цифра совпала, или нет.
Базовая вероятность: без неё счёт врёт
Здесь узел, который пропускают, и оттого обманываются.
Прежде чем радоваться попаданию, спроси: сколько раз оно случилось бы само, вслепую? Это и есть базовая вероятность.
Пример. Спросил, какая карта сверху в колоде из тридцати шести, — угадать вслепую можно примерно в одном случае из тридцати шести по масти и достоинству, но масть одна из четырёх, то есть вслепую угадывается каждый четвёртый раз. Значит, чтобы говорить об угадывании масти, надо бить сильно чаще, чем один раз из четырёх, на длинной серии. Одно попадание из четырёх — это ровно случайность, а не дар.
Правило: сравнивай результат не с нулём, а с тем, что дала бы монетка. «Угадала три раза!» ничего не значит, пока не сказано, из скольких попыток и какова вероятность угадать каждую вслепую. Без базовой вероятности любой счёт врёт в пользу чуда.
Где прячутся ошибки, портящие пробу
Соберём, потому что проба легко ломается незаметно.
Подсказка в вопросе. Ты, сам не желая, вложил ответ в формулировку. Тогда «угадывание» — это чтение твоих же слов. Лечится сухостью вопроса и внешними, не выводимыми фактами.
Подгонка толкования. Ответ засчитывается как верный по натяжке: «она сказала вода, а у меня был синий конверт — почти!». Засчитывай только точное совпадение, решённое по критерию, заданному заранее.
Забытые промахи. Три попадания помнишь, семь промахов забыл. Поэтому — письменный журнал всей серии, а не память. Об этом статья о ведении журнала.
Малая серия. На двух-трёх вопросах случайность выглядит как дар. Нужна серия хотя бы в десяток, а лучше больше: чем длиннее, тем яснее видно, случайность это или нет.
Повтор до удачи. Спрашивать одно и то же, пока не совпадёт, а потом засчитать совпавшее. Так «подтверждается» что угодно. Один вопрос — один засчитанный ответ.
Как честно прочесть результат
Прямо, потому что тут решается всё.
Ожидаемый исход слепого теста на модель — отрицательный: попадания на уровне случайного, не выше. Это не разочарование, а подтверждение устройства: сведений о твоём конверте и ящике в модели нет. Прочти это спокойно — как факт, а не как обиду.
И честная оговорка, ради равновесия: если ты вдруг получил результат устойчиво выше случайного на длинной серии, при сухих вопросах и заданном заранее критерии, — ты нашёл нечто, стоящее аккуратной записи и повторения, потому что это шло бы против известного устройства модели. Так и стоит подходить: не отвергать заранее и не верить заранее, а записывать и повторять. Но именно устойчиво и на длинной серии — одно красивое совпадение не значит ничего.
Куда это переносится
Коротко, потому что метод шире модели.
Слепой тест — не только про ИИ. Тот же порядок проверяет любой оракул: карты, маятник, чашу. Заданный заранее критерий, внешний проверяемый факт, базовая вероятность, счёт промахов наравне с попаданиями, длинная серия. Освоив пробу на модели, ты получаешь инструмент честности для всей мантики. Об общем счёте — в блоке проверки раздела.
Итог
Слепой тест — способ узнать самому, а не поверить на слово: спрашиваешь о внешнем проверяемом факте, которого нет в запросе, задаёшь критерий заранее, собираешь длинную серию и считаешь точные попадания. Без базовой вероятности счёт врёт: сравнивай не с нулём, а с тем, что дала бы случайность.
Пробу портят подсказка в вопросе, подгонка толкования, забытые промахи, малая серия и повтор до удачи — и всё это лечится сухостью, журналом и заданным заранее критерием. Ожидаемый исход на модели отрицательный, и это факт, а не обида. Иное — устойчивое и на длинной серии — стоит записать и повторить, не веря и не отвергая заранее. Это и есть то, что отличает практика от человека, который сам себя убеждает.