Вілл Сміт їсть спагетті та інші дивні тести штучного інтелекту, які отримали популярність у 2024 році

Коли компанія випускає новий відеогенератор штучного інтелекту, невдовзі хтось використовує його, щоб зняти відео актора Вілла Сміта, який їсть спагетті.

Це стало чимось на кшталт мему, а також еталонним показником: перевірити, чи може новий відеогенератор реалістично відобразити Сміта, який сьорбає миску локшини. Сам Сміт спародіював цю тенденцію в публікації в Instagram.

Уілл Сміт і макарони — лише один із кількох дивних «неофіційних» тестів, які захопили ШІ-спільноту штурмом у 2024 році. 16-річний розробник створив додаток, який дає ШІ контроль над Minecraft і перевіряє його здатність проектувати структури. В іншому місці британський програміст створив платформу, де штучний інтелект грає одна проти одної в такі ігри, як Pictionary і Connect 4.

Це не те, що більше немає академічних тестів продуктивності ШІ. Так чому ж дивніші вибухнули?

По-перше, багато галузевих стандартів ШІ мало що говорять пересічній людині. Компанії часто посилаються на здатність свого штучного інтелекту відповідати на запитання на іспитах з математичної олімпіади або знаходити вірогідні рішення для проблем рівня доктора філософії. Проте більшість людей — зокрема й ваш — використовують чат-ботів для таких речей, як  відповіді на електронні листи та фундаментальні дослідження.

Краудсорсингові показники галузі не обов’язково є кращими чи інформативнішими.

Візьмемо, наприклад, Chatbot Arena, загальнодоступний еталонний тест, за яким багато ентузіастів і розробників штучного інтелекту нав’язливо слідкують. Chatbot Arena дозволяє будь-кому в Інтернеті оцінювати, наскільки добре штучний інтелект виконує певні завдання, як-от створення веб-програми чи генерування зображення. Але оцінювачі, як правило, не є репрезентативними — більшість із них походять із кіл штучного інтелекту та індустрії технологій — і віддають свої голоси на основі особистих уподобань, які важко визначити.

Ітан Моллік, професор менеджменту Wharton, нещодавно вказав у дописі на X ще одну проблему з багатьма індустріальними тестами ШІ: вони не порівнюють продуктивність системи з продуктивністю середньої людини.

«Той факт, що немає 30 різних еталонних показників від різних організацій у медицині, законодавстві, якості консультацій тощо, є справжньою ганьбою, оскільки люди використовують системи для цих речей, незважаючи на це», — написав Моллік.

Джерело: TechCrunch