Журнал — то, на чём держится вся честность работы с моделью. Без него ты запоминаешь попадания и забываешь промахи, и любая пустышка кажется работающей. Работа с ИИ требует журнала строже обычного по одной причине: выдача текста дешёвая и огромная, а значит, и материала для самообмана больше, чем в любой другой практике. Разберём, что именно записывать, как устроить счёт и почему без записи «до исхода» весь журнал пуст. Методическая, врезок нет.
Почему с моделью журнал нужнее всего
Начнём с причины, потому что она особая.
В работе с чашей или картами материала мало: одно видение, один расклад. С моделью материала безмерно много — она выдаёт связный текст в любом количестве, на любой вопрос, мгновенно. Это и делает эффект подтверждения сильнее, чем где-либо: из огромного потока правдоподобных слов легко выбрать те, что «попали», и не заметить, что попадания тонут в море промахов.
Чем дешевле и обильнее выдача, тем нужнее счёт. Модель — самый обильный источник, какой был у практика, и потому самый опасный без журнала.
Что записывать
По разрядам, потому что записывать надо не «ответ», а больше.
Дату и режим. Когда и в каком режиме работал: разбор, скраинг или проба. Режим потом важен для оценки.
Вопрос дословно. Не пересказ, а точную формулировку. В ней часто и прячется подсказка, которую задним числом не увидишь по памяти.
Критерий — до выдачи. Что ты заранее считаешь откликом, попаданием, успехом. Это главная запись; о ней ниже отдельно.
Ответ модели. Существенную часть, а не «в целом сказала верно». Точные слова.
Твоё толкование. Что ты из этого извлёк и где провёл границу между поверхностью и своим домыслом.
Исход — когда станет известен. Сбылось или нет, по критерию, заданному раньше. И оценка «случилось бы само» — базовая вероятность.
Главное правило: запись до исхода
Здесь ядро, и без него журнал бесполезен.
Критерий и толкование записываются прежде, чем станет известен исход. Это не формальность, а весь смысл. Толкование, произнесённое после того, как ты узнал, чем дело кончилось, всегда точное — память бесшумно переписывает, что «имелось в виду», под известный результат. Ты искренне будешь уверен, что предсказал, — и будешь ошибаться.
Проверяется просто: если в журнале критерий стоит выше исхода и записан раньше по времени — запись годна для счёта. Если критерий появился после исхода или подгонялся под него — запись пустая, сколько бы «попаданий» в ней ни значилось.
Отсюда жёсткое следствие для утраты и переноса: записи, восстановленные по памяти, для счёта не годятся и помечаются отдельно. Память подгоняет добросовестно, и это её свойство, а не твоя нечестность.
Как устроить счёт
По делу, потому что счёт — цель журнала.
- Считай попадания и промахи вместе. Одна графа — попадания, рядом — промахи. Не веди журнал только удач: журнал одних попаданий — это не счёт, а коллекция.
- Считай серией, а не случаем. Один ответ ничего не говорит. Смотри на десятки записей: какова доля попаданий на длинной дистанции.
- Всегда рядом — базовая вероятность. К каждому попаданию приписывай, с какой вероятностью оно случилось бы вслепую. Попадание не выше случайного — не попадание. Об этом в статье о слепом тесте.
- Разделяй по режимам. Счёт в режиме пробы (оракул) и «польза» в режиме разбора — разные вещи. Не смешивай: разбор полезен без всякой мантики, и его нельзя записывать в «сбывшиеся предсказания».
Что журнал показывает со временем
Ради чего всё это — назовём отдачу.
Он показывает правду о режиме оракула. На длинной серии с честным критерием видно то, что и должно: попадания на уровне случайного. Это не обесценивает работу — это ставит её на честное место: модель как источник сведений не работает, зато как поверхность и зеркало полезна.
Он ловит самообман в зачатке. Привычка записывать до исхода и считать промахи не даёт вырасти иллюзии «оно сбывается». Ты видишь свои промахи чёрным по белому, и это отрезвляет вернее любого довода.
Он копит настоящее. Если вдруг обнаружится устойчивое отклонение от случайного — только журнал это докажет и позволит повторить. Без записи и настоящая находка растворится в памяти как ещё одно «вроде совпало».
Непрерывность дороже полноты. Журнал за год связно говорит о твоей работе; три обрывка по месяцу — почти ни о чём. Веди без пропусков, коротко, но всегда.
Приватность журнала
Коротко, потому что журнал ИИ несёт особый риск.
В журнал ложится то, что ты спрашивал у модели, — а среди этого могло быть чужое. Правило: в журнале, как и в чате, людей обозначай условно — «первый», «вторая», — а привязку держи отдельно и под защитой. И помни, что сам журнал требует хранения по правилу трёх копий и шифрования чужого, о чём в статьях о хранении и приватности. Журнал — самое ценное и самое чувствительное, что у тебя есть; теряют его чаще всего именно те, кому он нужнее.
Итог
Журнал — опора всей честности работы с ИИ, и нужен он здесь строже, чем в любой практике, потому что выдача модели дешева и обильна, а значит, и материала для самообмана больше всего. Записывай дату, режим, точный вопрос, критерий до выдачи, ответ, толкование и исход с базовой вероятностью.
Главное правило — критерий и толкование до исхода; запись, подогнанная задним числом или восстановленная по памяти, для счёта не годится. Считай попадания и промахи вместе, серией, с оглядкой на случайность, разделяя режимы. Такой журнал ставит режим оракула на честное место, ловит самообман в зачатке и один способен доказать настоящую находку. Без него очень складный собеседник просто помогает тебе поверить в то, с чем ты пришёл.