Современные системы искусственного интеллекта поражают своими языковыми способностями. Мы можем вести естественные диалоги с ChatGPT, Gemini и другими нейросетями — почти так же легко, как с человеком. Но что именно происходит внутри этих моделей, как они учатся понимать язык, до сих пор остается загадкой.

Новое исследование, опубликованное в издании Journal of Statistical Mechanics, приоткрывает завесу тайны. Оказывается, на ранних этапах обучения нейросети опираются на порядок слов в предложении — как ребенок, который только учится читать. Но когда данных становится достаточно, происходит резкий перелом: система переключается на анализ смысла слов. Этот переход напоминает фазовый переход в физике — словно вода внезапно превращается в пар.

Фазовый переход — резкое изменение свойств системы при плавном изменении внешних условий. Например, лед тает при 0°C, превращаясь в воду, а при 100°C вода становится паром. В исследовании так называют момент, когда нейросеть внезапно меняет стратегию анализа текста.

Как это работает

• Сначала нейросеть замечает закономерности: например, в английском подлежащее обычно стоит перед сказуемым, а сказуемое — перед дополнением ( «Mary eats the apple»).
• Потом, достигнув критического объема данных, нейросеть «переключается» и начинает анализировать семантику — значение слов.

Мы ожидали, что модель будет использовать оба подхода, но все оказалось иначе, — говорит Гуго Цуй, автор исследования. — До определенного порога сеть полагается только на позиции слов, а после — только на их смысл. Это как если бы ребенок вдруг перестал читать по слогам и начал схватывать целые фразы.

Эксперименты помогают понять, как нейросети делают выбор между разными стратегиями. В будущем это может сделать ИИ точнее и безопаснее.

Этот эксперимент — шаг к «разбору черного ящика». Если мы поймем, при каких условиях нейросеть переключается с синтаксиса на семантику, можно:

• Оптимизировать обучение — сократить объем данных, если цель — простой анализ структуры текста.
• Контролировать ошибки — предсказывать, когда модель начнет «выдумывать» из-за перекоса в сторону смысла.
• Создавать специализированные ИИ — например, для юридических текстов, где важна строгая форма, или для творческих задач, где ключевая роль у контекста.

И все же исследование ограничено: тестировали упрощенную модель, а не полноценный трансформер типа GPT. В реальных условиях нейросети, вероятно, используют гибридные стратегии, а не резко «переключаются». Кроме того, не учитывалась роль многослойности — в глубоких сетях разные уровни могут работать с позициями и смыслом одновременно.

Ранее мы разбирались, кто такой нейрокопирайтер.