Работа со случайностью — единственное место в практике, где можно получить настоящее число вместо впечатления. И единственное место, где числом обмануться легче всего. Эта статья — рабочий разбор ошибок счёта, с процедурами, которые от них защищают.

Материал методический, и он относится не только к ГСЧ: те же ошибки портят подсчёт попаданий в любой мантике и в любом журнале работ.

Ошибка первая: узоры в шуме

Главная и самая неисчерпаемая.

Возьми миллион случайных цифр. В нём с гарантией найдутся: твоя дата рождения, номер твоего телефона, длинные повторы одной цифры, восходящие последовательности, «слишком ровные» участки и «слишком неровные». Всё это обязано там быть — не вопреки случайности, а вследствие её.

Причина арифметическая. Чем длиннее последовательность, тем больше в ней участков, и вероятность встретить любой заданный короткий узор растёт до почти единицы. Отсутствие таких узоров как раз и было бы признаком неслучайности.

Что из этого следует практически. Находка узора в потоке данных не значит ничего, если ты искал его после того, как получил данные. Значение имеет только узор, названный заранее.

Процедура защиты. Прежде чем смотреть на выдачу, запиши: что именно ты ищешь, в каком месте, какой длины и сколько раз намерен проверить. Потом смотри. Всё, что найдено сверх записанного, — не находка.

Ошибка вторая: множественная проверка

Родственная и менее очевидная.

Если проверить одну гипотезу, вероятность случайно получить «значимый» результат мала. Если проверить сто гипотез, такой результат почти гарантирован — при пороге в один случай из двадцати ты получишь около пяти ложных находок просто по счёту.

Как это выглядит в практике. Человек ведёт наблюдение за выдачей генератора и сверяет её с событиями дня: с новостями, с настроением, с погодой, со своими работами. Проверок в день — десятки. Через месяц находится совпадение, которое «невозможно объяснить случайностью». Оно объясняется числом проверок, и это единственное, что о нём известно.

Процедура защиты. Записывай число проверок. Если проверяешь двадцать вещей, требуй от результата двадцатикратно большей убедительности — грубо, но в нужную сторону. Лучше — сократи до одной-двух заранее названных.

Ошибка третья: остановка в удобный момент

Тонкая и очень распространённая.

Ты ведёшь серию и смотришь на промежуточный итог. Пока идёт «хорошо» — продолжаешь; как только пошло «плохо» — заканчиваешь, потому что «и так ясно». Или наоборот: продолжаешь, пока не выправится.

Такая остановка гарантированно даёт перекос: в любой случайной последовательности бывают полосы, и если останавливаться на полосе, итог всегда будет её отражать.

Процедура защиты. Число попыток назначается до начала и не меняется. Двадцать так двадцать. Промежуточные итоги не смотришь вовсе — считаешь в конце.

Ошибка четвёртая: незнание ожидаемого

Без этого числа все прочие бессмысленны.

Прежде чем считать попадания, надо знать, сколько их было бы без всякой работы. Для двоичного вопроса — половина. Для одного из шести — примерно шестая часть. Для карты из семидесяти восьми — одна семьдесят восьмая.

Практики регулярно радуются результату, который в точности равен ожидаемому. «Из двадцати вопросов да-нет угадал одиннадцать» — это ровно случайность, а не признак дара.

Процедура защиты. Ожидаемое число пишется в журнал до серии, рядом с задуманным числом попыток.

Ошибка пятая: разброс без представления о его величине

Люди недооценивают, насколько сильно случайность гуляет на малых числах.

Двадцать бросков монеты дают ровно десять орлов заметно реже, чем кажется, а результаты вроде тринадцати из двадцати встречаются нередко. На таких выборках уверенный вывод невозможен ни в какую сторону.

Простое правило, которого достаточно для практики:

Процедура защиты. Никогда не делай вывода по одной серии. Всегда повторяй независимо, с теми же правилами, назначенными заранее.

Ошибка шестая: правка задним числом

Специфическая для цифры и потому опасная.

Электронный журнал редактируется без следа. Через полгода в нём обнаруживаются на удивление точные критерии и на удивление подходящие толкования. Не потому, что ты жулик, а потому, что правка «для ясности» делается легко и забывается.

Процедура защиты. Прошлые записи не правишь вовсе. Исправления дописываешь новой строкой с датой. Ещё лучше — держи журнал в формате, сохраняющем историю изменений, чтобы правка была видна.

Ошибка седьмая: смешение поиска и проверки

Самая важная и завершающая всё предыдущее.

Есть два разных занятия. Поиск — ты смотришь на данные и ищешь, что там интересного. Проверка — ты формулируешь утверждение и смотришь, подтвердится ли оно на новых данных.

Поиск полезен: так рождаются догадки. Но результат поиска не является подтверждением. Догадка, найденная в данных, обязана быть проверена на других данных, полученных после её формулировки.

Смешение этих двух занятий — источник почти всех громких находок в этой области.

Процедура защиты. Раздели явно. Первую половину материала используешь для поиска догадок, вторую — для их проверки, и во вторую не заглядываешь, пока не сформулировал.

Рабочая процедура целиком

Свод для всякой серии с числами.

  1. Гипотеза одной фразой, записанная до сбора данных.
  2. Число попыток — назначено заранее, не меняется.
  3. Ожидаемый результат при отсутствии эффекта — посчитан и записан.
  4. Порядок остановки — по числу попыток, не по итогу.
  5. Число проверяемых гипотез — записано; чем их больше, тем строже требования.
  6. Сбор данных без промежуточных выводов.
  7. Подсчёт в конце, включая промахи.
  8. Независимая вторая серия по тем же правилам.
  9. Запись без правки прошлого.

Девять пунктов, ни одного лишнего. Пропущенный пункт означает, что серия ничего не показала — ни в ту сторону, ни в другую.

Что делать с результатом

Если результат совпал с ожидаемым — это данные, а не поражение. Ты узнал, что этот приём на этой задаче не добавляет ничего к обычному ходу дел. Приём можно менять, задачу можно менять, время освобождается.

Если результат отклонился один раз — это шум, пока не повторился. Не рассказывай о нём и не строй на нём. Ставь вторую серию.

Если отклонение повторилось независимо — вот это редкая и ценная вещь. Тогда: запиши процедуру подробно, повтори третий раз, дай кому-нибудь ещё повторить по твоей записи. Всё, что делает такой результат ценным, — воспроизводимость чужими руками.

Почему это не выпад против практики

Скажу прямо, потому что этот раздел читают с раздражением.

Всё перечисленное — не орудие скептика против гадателя. Это те самые механизмы, из-за которых любой человек, включая самого дотошного, находит подтверждения тому, во что уже верит. Они работают и у скептика: он с той же лёгкостью находит подтверждения своей позиции и не считает своих промахов.

Единственное, что от них защищает, — процедура, назначенная до того, как стали известны данные. Практик, который её держит, знает про свою работу то, чего не знает никто другой. Это и есть разница между практиком и человеком, который сам себя убеждает.