Ошибка малой выборки — это вывод о технике по слишком малому числу случаев. Три попадания подряд ощущаются как доказательство силы, три промаха — как доказательство её отсутствия, а на деле и то и другое — обычные колебания короткой серии, из которых ничего не следует. Практик, не знающий этой ловушки, всю жизнь мечется: то возносит приём после случайной удачной полосы, то хоронит его после случайной неудачной. Оба движения ошибочны по одной причине — выборка мала.
Почему короткая серия обманывает
Даже честная монета редко ложится ровно. Кинь её десять раз — легко выпадет семь орлов и три решки, а то и восемь-два, и это не «монета с уклоном», а нормальный разброс на коротком отрезке. Чем короче серия, тем сильнее случай гуляет вокруг истинной частоты, и тем легче принять этот гул за сигнал.
С обрядами то же самое. Пусть твоя техника на самом деле не добавляет к фону ничего. На пяти работах ты запросто получишь три «удачи» — просто потому, что фоновые события легли кучно. Ты решишь, что приём железный, и укрепишься в этом. А следующие пять дадут одну удачу, и ты решишь, что «сила ушла». Ни первого, ни второго не было — была одна и та же случайная рябь на слишком коротком отрезке.
Сколько нужно
Точного порога нет, но ориентиры такие.
- Меньше пяти случаев — не вывод вообще. Это анекдот, а не данные. По трём гаданиям нельзя сказать о раскладе ничего.
- Десять–пятнадцать — можно заметить грубое. Если техника даёт явное превышение над фоном, на пятнадцати работах оно начнёт проступать. Слабый эффект на этом числе ещё тонет в шуме.
- Тридцать–пятьдесят — рабочая опора. С этого объёма журнал начинает говорить всерьёз, и превышение над базой, если оно есть, видно устойчиво.
Отсюда практическое правило: не делай выводов о технике, пока по ней не набрано хотя бы полтора-два десятка записей с критерием и сроком. До этого держи суждение открытым, как бы ни тянуло закрыть.
Где практик попадается чаще всего
«Проверил новую технику — работает». Сделал три раза, два сбылось, внёс в арсенал. На деле два из трёх — это ровно то, что даст и пустой приём при высокой базе. Три случая не отличают силу от везения никак.
«Этот наставник силён, у меня после него сразу пошло». Одна удачная полоса после начала учёбы — не доказательство. После любого начала бывает подъём: ты собран, внимателен, ждёшь результата. Отделить это от силы наставника можно только длинной серией.
«Амулет перестал работать». Был десяток удач, потом три провала — «выдохся». Три провала после десяти удач — нормальная рябь, а не разрядка амулета. Хоронить приём по трём случаям — та же ошибка, что возносить по трём.
«У этого гадателя точность огромная». Слава часто стоит на горстке ярких попаданий, о которых рассказывают, при неизвестном знаменателе промахов, о которых молчат. Малая выборка удач плюс стёртая выборка провалов — и рождается репутация. Про стирание провалов — отдельная статья о селективной памяти.
Как не попасться
- Считай, сколько случаев в основе вывода. Прежде чем сказать «работает» или «перестало», назови число. Меньше десяти — вывод преждевременен, и точка.
- Не переигрывай серию под результат. «Что-то не идёт, начну отсчёт заново» после провалов и «вот теперь пошло» после удач — это подгонка длины выборки под желаемое. Серия задаётся заранее и досчитывается до конца при любом ходе.
- Жди возврата к середине. После необычно удачной полосы естественно идёт спад к твоему обычному уровню, после необычно провальной — подъём. Это называется регрессией к среднему и не требует объяснения ни «разрядкой», ни «пришедшей силой». Просто крайности сменяются серединой.
- Копи длинную статистику. Единственное настоящее лекарство. Как вести долгий счёт годами — отдельная статья; суть в том, что только объём гасит случайную рябь и оставляет сигнал, если он есть.
Обратная сторона: не хорони по малой выборке
Ошибка работает в обе стороны, и вторая опаснее, потому что тише. Практик бросает рабочую технику после случайной полосы неудач и не узнаёт, что она работала, — провалы-то запомнились ярче обычного, раз пошли подряд. Правило симметрично: как нельзя возносить приём по трём удачам, так нельзя и списывать его по трём промахам. И то и другое решается только на длинной дистанции.
Ошибка малой выборки — не про то, что «проверить ничего нельзя». Наоборот: она про то, что проверять надо дольше, чем хочется. Нетерпение — вот что заставляет делать выводы на трёх случаях. Журнал на полсотни строк скучен, но именно он отличает знание от впечатления, а короткая серия всегда даёт только впечатление, как бы убедительно оно ни выглядело.