2023-04-06 カリフォルニア大学サンタバーバラ校(UCSB)
Photo Credit:
PHOTO ILLUSTRATION BY MATT PERKO. ORIGINAL IMAGE BY DAVID MATOS ON UNSPLASH
彼らは、CLIP(Contrastive Language-Image Pre-training)を使用して、観察された画像とペアになる客観的で高品質なテキストの説明をエンコードすることで、彼らのディープラーニングモデルをトレーニングするためのデータを追加するために、テキストの説明の層を追加した。結果として生成された画像は、以前の再構築よりも忠実度が高く、人の知能の重要な側面である意味論についての洞察を明らかにした。
ただし、それぞれのモデルはfMRIデータを生成した人物に特化しているため、現在は労働集約的であり、一般的に使用することはできない。しかし、研究者は、意味論に焦点を当てて、画像を再構築することが脳の機能について何かを教えてくれるかもしれないと考えている。
<関連情報>
マインドリーダー: 脳活動から複雑なイメージを再構築する
Mind Reader: Reconstructing complex images from brain activities
Sikun Lin, Thomas Sprague, Ambuj K Singh
arXiv Submitted on 30 Sep 2022
DOI:https://doi.org/10.48550/arXiv.2210.01769
Understanding how the brain encodes external stimuli and how these stimuli can be decoded from the measured brain activities are long-standing and challenging questions in neuroscience. In this paper, we focus on reconstructing the complex image stimuli from fMRI (functional magnetic resonance imaging) signals. Unlike previous works that reconstruct images with single objects or simple shapes, our work aims to reconstruct image stimuli that are rich in semantics, closer to everyday scenes, and can reveal more perspectives. However, data scarcity of fMRI datasets is the main obstacle to applying state-of-the-art deep learning models to this problem. We find that incorporating an additional text modality is beneficial for the reconstruction problem compared to directly translating brain signals to images. Therefore, the modalities involved in our method are: (i) voxel-level fMRI signals, (ii) observed images that trigger the brain signals, and (iii) textual description of the images. To further address data scarcity, we leverage an aligned vision-language latent space pre-trained on massive datasets. Instead of training models from scratch to find a latent space shared by the three modalities, we encode fMRI signals into this pre-aligned latent space. Then, conditioned on embeddings in this space, we reconstruct images with a generative model. The reconstructed images from our pipeline balance both naturalness and fidelity: they are photo-realistic and capture the ground truth image contents well.
