Дослідники з некомерційної організації з дослідження штучного інтелекту LAION показали, що навіть найскладніші великі мовні моделі (LLM) можна поставити в глухий кут простим питанням. У статті, яка ще не пройшла рецензування, дослідники розповіли, як ставили різним моделям генеративного ШІ питання: «Аліса має [X] братів, а також [Y] сестри. Скільки сестер у брата Аліси?
Відповісти не так складно. Наприклад, в Аліси три брати та дві сестри, отже, у кожного з братів дві сестри плюс сама Аліса. Таким чином, у кожного брата по три сестри.
Фахівці тестували моделі компанії OpenAI: GPT-3, GPT-4 та GPT-4o; Anthropic Claude 3 Opus, Gemini від Google та моделі Llama компанії Meta, а також Mextral від Mistral AI, Dbrx від Mosaic та Command R+ від Coher. Коли ШІ поставили запитання, то виявилося, що він явно не виправдовує очікувань.
Тільки одна модель, нова GPT-4o, досягла успіху в логічному тесті. Інші не могли зрозуміти, що Аліса теж сестра кожного з братів у її сім’ї.