AI Language models

[snyders]

Кажется невероятным, что лингвистическая  модель, генерирующая по одному слову (token) за раз в состоянии синтезировать связные тексты, многоходовую логику и решения задач.

Однако если мы переместимся в пространство смыслов, и на заданный вопрос существует более или менее уникальный ответ, то главное происходит, когда  модель пропускает через себя запрос (query), и понимает этот смысл.

То, что она потом генерирует ответ по одному токену за раз, или то, что ответ может быть сформулирован многими разными способами (в том числе и на разных языках) уже не важно.