А що, якби штучний інтелект міг інтерпретувати вашу уяву, перетворюючи образи в ній на реальність? Хоча це звучить як сюжет з кіберпанківського роману, дослідники виявили, що вони можуть реконструювати зображення з високою роздільною здатністю на основі активності мозку, використовуючи популярну модель генерації зображень Stable Diffusion.

Автори пишуть, що на відміну від попередніх досліджень, для створення цих зображень їм не потрібно було навчати або допрацьовувати моделі штучного інтелекту.

У кількох попередніх дослідженнях були отримані реконструкції зображень з високою роздільною здатністю, але це було лише після навчання і тонкого налаштування генеративних моделей. Це призводило до обмежень, оскільки навчання складних моделей є тяжким завданням, а в нейробіології не так багато зразків, з якими можна було б працювати. До цього жоден інший дослідник не намагався використовувати дифузійні моделі для візуальної реконструкції.

Нове дослідження дозволило зазирнути у внутрішні процеси дифузійних моделей, підсумували дослідники, зазначивши, що вони вперше надали кількісну інтерпретацію моделі з біологічної точки зору.

Дослідники з Вищої школи передових біологічних наук при Університеті Осаки розповіли, що спочатку вони передбачили латентне представлення, яке є моделлю даних зображення, на основі сигналів фМРТ. Потім модель обробили та додали до неї шум за допомогою процесу дифузії. Нарешті, дослідники розшифрували текстові зображення з сигналів фМРТ у вищій зоровій корі головного мозку і використали їх як вхідні дані для створення остаточного сконструйованого зображення.

Раніше ми вже бачили приклади того, як мозкові хвилі та функції мозку можуть створювати зображення. У 2014 році художниця з Шанхаю Джоді Сіонг використовувала біосенсори EEG, щоб під’єднати шістнадцять людей з обмеженими можливостями до повітряних кульок з фарбою. Потім люди використовували свої думки, щоб лопнути певні кульки та створити власні картини. В іншому прикладі, художниця Ліа Чавес створила інсталяцію, яка дозволяла електричним імпульсам мозку створювати звукові та світлові твори. Глядачі вдягали EEG-гарнітури, які передавали сигнали в аудіо- та відеосистему, де мозкові хвилі відображалися у кольорі та звуці.

З розвитком генеративного ШІ все більше дослідників перевіряють, як моделі ШІ можуть працювати з людським мозком. У січні 2022 року дослідники з Університету Радбуда в Нідерландах навчили мережу генеративного ШІ, попередника Stable Diffusion, працювати з даними фМРТ 1050 унікальних осіб і перетворювати результати візуалізації мозку на реальні зображення. Дослідження показало, що ШІ здатен виконувати безпрецедентну реконструкцію стимулів. В останньому дослідженні, опублікованому в грудні 2022, вчені виявили, що сучасні моделі дифузії тепер можуть забезпечити візуальну реконструкцію з високою роздільною здатністю.