Читання думок — більше не фантастика, а реальність у найбуквальнішому сенсі. Вченим нарешті вдалося зробити справжній прорив у науці, перетворивши людську думку, що виникає у мозку, на текст, що випливає на екрані. Хоча це не перша подібна технологія, яка здатна перекладати мозкові сигнали на слова, це єдина наразі, яка не потребує ані імплантатів у мозку, ані доступу до повноцінного апарату МРТ.

Учасник дослідження читання думок за допомогою програми DeWave. Фото: UTS

Як пише видання IFLScience, новітню сенсаційну технологію розробили фахівці із Центру штучного інтелекту GrapheneX-UTS GrapheneX-UTS Сіднейського технологічного університету. Результати були продемонстровані на конференції NeurIPS, а препринт, який ще належить рецензувати, можна знайти на ArXiV.

За словами почесного професора Школи комп’ютерних наук UTS та директора GrapheneX-UTS HAI Centre Чін-Тен Ліна, дане дослідження є першопрохідцем у перекладі необроблених хвиль електроенцефалографії (або скорочено ЕЕГ) безпосередньо на текст, знаменуючи значний прорив у цій галузі.

"Це перше дослідження, яке включає методи дискретного кодування в процес перекладу "мозок-текст", запроваджуючи інноваційний підхід до нейронного декодування. Інтеграція з великими мовними моделями також відкриває нові межі в нейронауці та ШІ", — пояснив Лін.

Так, під час демонстрації новітньої технології учасники експерименту мовчки читали уривки тексту, а модель штучного інтелекту під назвою DeWave, використовуючи лише їхні мозкові хвилі, проєктувала текст на екрані із точністю від 40 до 60%.

Дослідники підкреслюють, що їх розробка DeWave має наступні переваги:

• не потребує додаткового введення (наприклад програмного забезпечення для відстеження очей);
• користувачам лише потрібно носити "шапку", яка записує активність їхнього мозку за допомогою ЕЕГ.

У той час як інші інтерфейси "мозок-комп’ютер", які можуть перетворювати думки в текст, наразі включають сканування МРТ або інвазивні процедури через ніс або череп для імплантації електродів.

Вимірювання точності за допомогою алгоритму BLEU — способу оцінити схожість оригінального тексту з результатом машинного перекладу шляхом присвоєння йому оцінки від 0 до 1 — дають новій технології приблизно 0,4.

Щоправда, це не так добре, як деякі інші пристрої, які залежать від більш інвазивних методів. Так, модель краще підбирає дієслова, ніж іменники

"Що стосується іменників, ми помітили тенденцію до синонімічних пар, а не до точних перекладів, таких як "чоловік" замість "автор". Ми вважаємо, що ці помилки виникають тому, що коли мозок обробляє ці слова, семантично схожі слова можуть створювати схожі шаблони мозкових хвиль", — пояснив перший автор статті, що супроводжує дослідження, Іцюнь Дуань.

Але дослідники вважають, що вони можуть підвищити цю точність до 0,9 — рівень, який можна порівняти з традиційними програмами перекладу мов.

Вони підозрюють, що вони вже мають перевагу завдяки проведенню своїх тестів на 29 учасниках — це може звучати не так багато, але це на порядок більше, ніж у багатьох інших випробувань технологій декодування.

Ця новітня програма може допомогти людям, які не можуть говорити через хворобу або травму, а також забезпечить людям можливість безпосередньо взаємодіяти з машинами.