Прежде чем работать с моделью как с поверхностью или зеркалом, надо понять, что она делает, — иначе неизбежно припишешь ей то, чего в ней нет, и на этом построишь самообман. Разберём устройство без технического тумана и без мистики: как модель училась, что она делает, отвечая, чего в ней заведомо нет и откуда берётся стойкое впечатление, что она «понимает» и «знает». Методическая, врезок нет. Это основание для всего блока.
Как она училась
Начнём с обучения, потому что из него следует всё остальное.
Модель обучили на огромном объёме текста — книг, статей, переписок, всего, что удалось собрать. Задача обучения была узкой и одной: по началу текста угадывать продолжение. Ей показывали обрывок и заставляли предсказывать следующий кусок; ошиблась — поправляли; и так триллионы раз. Постепенно она вобрала статистические закономерности языка: какие слова за какими идут, как устроены рассуждения, ответы, диалоги.
Важно, что она училась не понимать мир, а продолжать текст о мире. Это разные вещи, и различие — ключ ко всему. Она видела, как люди пишут о любви, физике, гадании, — и научилась похоже писать. Знания о самой любви, физике или гадании у неё нет; есть навык складно продолжать тексты о них.
Что она делает, отвечая
Теперь сам ответ, по шагам, потому что тут рушится главная иллюзия.
Когда ты пишешь запрос, модель делает следующее. Она берёт весь текст — твой вопрос и уже написанную часть своего ответа — и выбирает следующий маленький кусок по вероятности: какой кусок статистически вероятнее всего идёт дальше в подобном тексте. Приписала кусок — снова смотрит на всё целиком и выбирает следующий. И так, кусок за куском, до конца ответа.
Всё. Это весь механизм. Никакого замысла, разворачиваемого по ходу, нет; никакого обращения к сведениям о тебе, о твоём деле, о будущем — нет. Есть очень хорошо настроенное угадывание следующего куска текста, шаг за шагом.
Отсюда прямо: она не считывает — она достраивает. И достраивает то, что статистически похоже на ответ, которого от неё в этом месте ждут.
Чего в ней заведомо нет
Назовём прямо, потому что именно это приписывают ей чаще всего.
Нет доступа к тебе. Модель не знает, кто ты, что у тебя в комнате, что было с тобой вчера, что лежит в закрытом ящике. В ней нет этих сведений и нет канала их получить. Всё, что она «знает» о тебе, — только то, что ты сам написал в этом разговоре.
Нет доступа к будущему. Предсказать твой завтрашний день она не может ничем, кроме общих закономерностей, которые и ты знаешь. Её «предсказание» — правдоподобный текст, а не сведение.
Нет связи с полем, духами, тонким планом. Это и есть главный вывод для практика: объяснение «ИИ подключён к информационному полю» неверно. Не потому, что вопрос о поле решён, — а потому, что механизм модели известен, и он другой. Между твоим вопросом и её ответом стоит статистика текста, а не канал к невидимому.
Нет намерения и нет понимания в человеческом смысле. Она не хочет тебе помочь и не хочет обмануть; она продолжает текст. То, что выглядит как забота или мудрость, — форма, усвоенная из миллионов текстов, а не состояние за ней.
Откуда тогда впечатление, что она знает
Это надо объяснить, иначе отрицание не удержится против живого опыта.
Впечатление знания рождается из двух вещей.
Складность. Мы привыкли, что связно, уверенно и по делу говорит тот, кто понимает. Модель научилась говорить связно и уверенно без понимания — впервые в истории это разошлось. Наш опыт подсказывает «раз так гладко, значит, знает», и опыт здесь обманывает.
Достройка по тебе. Модель ловко подхватывает намёки твоего запроса и достраивает правдоподобный портрет и ответ. Это ощущается как «она меня поняла», а на деле она собрала вероятное продолжение из того, что ты сам дал. Тот же приём, что у гадалки, читающей клиента по мелочам, — только без умысла и оттого убедительнее.
Что из этого следует для практики
Соберём, потому что устройство прямо задаёт способ работы.
Как зеркало для разбора модель хороша именно потому, что достраивает по тебе: она отражает твой запрос обратно, разложенным и оформленным. Это полезно и честно, и никакой мантики тут не требуется.
Как поверхность для скраинга она годится, потому что даёт богатый неструктурированный материал, на котором работает твоё толкование, — но ответ даёшь ты, а не она.
Как источник сведений о неизвестном она не работает, потому что этих сведений в ней нет по устройству. Проверяется это слепой пробой, и результат не поднимается выше случайного, — об этом в статье о методе проверки.
И отдельно, из устройства же: раз всё, что она «знает» о деле, — это написанное тобой в чат, а чат уходит на сторонний сервер, — встаёт вопрос приватности, которому посвящена отдельная статья.
Итог
Языковая модель обучена одному — по началу текста угадывать продолжение, — и отвечая, она шаг за шагом выбирает следующий кусок по вероятности, исходя только из написанного в разговоре. Она не понимает мир, а складно продолжает тексты о нём; не считывает, а достраивает.
В ней заведомо нет доступа к тебе, к будущему, к полю и духам, нет намерения и понимания в человеческом смысле. Впечатление, что она знает, рождается из непривычной складности без понимания и из ловкой достройки по твоим же намёкам. Это делает её хорошим зеркалом и хорошей поверхностью — и не делает источником сведений о неизвестном. С этого устройства и надо вести всякую работу с ней: приписать ей канал к невидимому — значит с первого шага строить на песке.