Пълен срив в точността на AI моделите при определена сложност: Проучване на Apple

Изследователи от Apple публикуваха проучване, което поставя под съмнение способностите на най-модерните AI модели да "разсъждават". В него те твърдят, че технологичните гиганти като OpenAI, Google и Anthropic преувеличават възможностите на своите езикови модели. "Илюзията за мислене... води до пълен срив в точността при определена сложност", пишат учените, съобщи futurism.com.

Според авторите — включително директорът на AI изследванията в Apple, Самуи Бенжио — настоящите методи за тестване на изкуствен интелект са ненадеждни. Те "страдат от замърсени данни и не разкриват структурата и качеството на мисловните процеси". За целта екипът е използвал контролирани логически задачи, за да изследва границите на "разсъждаващите" модели.

Резултатите сочат, че дори при адекватен ресурс, големите езикови модели започват да се "преосмислят" и се провалят при по-сложни задачи. "Открихме, че LRMs имат ограничения в точните изчисления", обобщават учените. Според тях това "повдига ключови въпроси относно истинските способности за разсъждение" на тези модели.

Наблюденията идват в момент, когато Apple обещава нови "Apple Intelligence" функции, въпреки че изостава от конкуренцията. Това поражда съмнения дали критиката не е и маркетингов ход. Но самото проучване завършва с предупреждение: "Тези прозрения оспорват настоящите предположения за възможностите на LRM и подсказват, че индустрията може би е стигнала до фундаментални ограничения."

Кирил Пламенов