Multivariate pattern analysis

aka “mind reading”

General approach

Goldstein 11th edition, Figure 5.49

DE

Mindreading ist ein Thema, das oft im Zusammenhang mit Objektwahrnehmung besprochen wird, ist aber ein grundsätzliches Thema in der kognitiven Neurowissenschaft. Vielleicht haben Sie schon über Studien gehört, die anhand der neuronalen Aktivität sagen können, was die Person jetzt gerade wahrnimmt. Solche Studien gibt es. Es gibt Limitationen zu dieser Methode und es gibt interessante Aspekte und wir werden jetzt ein Bisschen jetzt darüber sprechen, wie diese Studien funktionieren.

Wie funktioniert Mind Reading? Oftmals braucht man dafür Computeralgorithmen aus dem Bereich des maschinellen Lernens, aber streng genommen ist es nicht notwendig, wenn man nur zwischen zwei Sachen unterscheiden möchte. Wenn wir einfach nur wissen wollen, schaut sich die Versuchsperson jetzt ein Gesicht an oder ein Haus, dann reicht es, wenn wir uns die Aktivität im Gesichtsareal anschauen und gleichzeitig im Ortsareal (wenn wir direkt das nutzen, was wir gerade über das Gehirn gelernt haben), und je nachdem, wo die Aktivität höher ist, können wir daraus schließen, was die Person wahrnimmt. Aber es ist „cooler“, wen man Computeralgorithmen Nutzen kann, und sie können auch ein bisschen mehr als Gesichter und Häuser unterschieden.

Typischerweise läuft ein mind reading Experiment so ab. Man zeigt der Versuchsperson verschiedene Reizkategorien, in diesem Beispiel sind das Gittermuster, die unterschiedlich orientiert sind, und man misst die Aktivität im Gehirn, typischerweise mittels fMRT, aber man kann auch EEG dafür brauchen. Man lässt ein Computeralgorithmus lernen, wie das, was die Person wahrnimmt, mit dem Muster der Gehirnaktivität zusammenhängt. Der Algorithmus lernt das Mapping zwischen Reiz und Gehirnaktivität. Und dieses gelernte Mapping nennt man Decoder. Das alles passiert in der Trainingsphase, wo der Algorithmus trainiert wird.

Dann gibt es aber eine Testphase, wo man der Versuchsperson ein Muster präsentiert, schaut die Aktivität im Gehirn an und vergleicht mit dem, was dieser Decoder gelernt hat. Und das Ähnlichste zu dem, was der Decoder gelernt hat, nimmt man, um eine Entscheidung zu treffen. Zum Beispiel, wenn die aktuelle Aktivität für Decoder so ähnlich aussieht wie der gelernte Muster für rechtsgerichtete Gitter, dann wird Decoder rechtsgerichtete Gitter vorhersagen.

EN

Mindreading is a topic that is often discussed in the context of object perception, but it is a fundamental topic in cognitive neuroscience. You may have already heard about studies that can tell, based on neural activity, what a person is currently perceiving. Such studies exist. There are limitations to this method, and there are interesting aspects to it, and we will now talk a little about how these studies work.

How does mind reading work? It often requires computer algorithms from the field of machine learning, but strictly speaking this is not necessary if you only want to distinguish between two things. If we simply want to know whether a participant is currently looking at a face or a house, it is sufficient to look at the activity in the face area and at the same time in the place area (if we directly use what we have just learned about the brain), and depending on where the activity is higher, we can infer what the person is perceiving. But it is “cooler” when you can use computer algorithms, and they can do a little more than just distinguish between faces and houses.

Typically, a mind reading experiment works as follows. Participants are shown different stimulus categories — in this example, gratings oriented in different directions — and brain activity is measured, typically using fMRI, although EEG can also be used. A computer algorithm is then trained to learn how what the person perceives relates to the pattern of brain activity. The algorithm learns the mapping between stimulus and brain activity, and this learned mapping is called a decoder. All of this happens in the training phase, where the algorithm is trained.

There is then a test phase, where a pattern is presented to the participant, the brain activity is observed, and compared with what the decoder has learned. The closest match to what the decoder has learned is then used to make a decision. For example, if the current brain activity looks similar to the decoder’s learned pattern for rightward-oriented gratings, the decoder will predict rightward-oriented gratings.

Univariate fMRI analysis

Question: Is there more activity in condition A compared to B?

Univariate analysis is what we typically do in research. Examples include:

• Assessing differences in reaction times or error rates

• Comparing the amplitudes of event-related potentials or the power of oscillations at a specific frequency

• Analyzing brain activity at a specific brain location

Although we may have multiple dependent variables (many voxels, electrodes or time pints), we perform an analysis for each variable independently and separately from other variables.

In a multivariate analysis we consider multiple dependent variables together.

The checkerboard experiment

Multivariate pattern analysis

Question: Is the voxel response pattern different in condition A and B?

Remember that an image is 4d and consists of little 3d cubes called voxels, with the 4th dimension being time. A classical analysis is done over time for every voxel in the brain independently. In a multivariate analysis we first perform a univariate analysis and then look at response patterns of multiple voxels at a time.

In this example, both coca cola and pepsi activate the same 6 voxels in the visual cortex. But the red ones are activated more by cola then by pepsi, and the blue ones the other way around. If you just look at the average response over 6 voxels, you will not see a difference.

Cola vs. Pepsi

Whole-brain: searchlight analysis

Question: Is the voxel response pattern different in condition A and B?

MVPA can be done for a region of interest, or for the entire brain. In the latter case, the brain is subdivided into multiple ROIs, and the relevant analysis is performed for each of them. This procedure is called “searchlight”. In this case, MCC is as relevant as it is in a univariate analysis.

First MVPA paper

Representation similarity analysis (Haxby et al. 2001)

First MVPA paper

Representation similarity analysis (Haxby et al. 2001)

Main principle

Two runs, 3 voxels

Machine learning: SVM classifier

Toy example for 2D feature space, image credit (Cohen et al. 2017)

In this example voxel 1 responds slightly more to scenes than faces, and voxel 2 responds slightly more to faces than scenes. The scenes evoke a pattern: voxel1=2, voxel2=-1; and faces evoke a pattern: voxel=-2, voxel2=1

The difference in average activity (over both voxels) is actually not so big, it is -0.5 for faces and 0.5 for scenes. In principle you can find a scenario where there is no mean difference at all. But the patterns are different.

More recommended reading: (Peelen and Downing 2023)

Machine learning

First MVPA papers, both appeared in 2005 (Haynes and Rees 2005; Kamitani and Tong 2005)

(c) Kandel, 6th edition, Figure 21-13

DE

Sie werden mich jetzt fragen: wie geht das? Die Auflösung von FMRI ist doch, aber sie ist nicht auf der Ebene einzelner Neuronen. Rechts ist ungefähr zum Vergleich der Volumen von einem fMRI-Voxel: Hier sind Orientierungskolumnen mit mehreren Orientierungen enthalten. Hier nutzt man die Tatsache, dass in jedem Voxel verschiedene Orientierungen vorhanden sind, aber nicht gleichmäßig verteilt. In einem Voxel wird ein Bisschen von einer Orientierung vorhanden sein, und im nächsten Voxel ein bisschen mehr von einer anderen Orientierung. Und diese kleinen Unterschiede können wir mit den Ansätzen des maschinellen Lernens aus den Voxels extrahieren. Im Bild links sind die Unterschiede zwischen den Voxels übertrieben dargestellt. Die Unterschiede in Wirklichkeit sind viel, viel kleiner. Aber gleichzeitig gibt es viel, viel mehr Voxels. Je mehr Voxels wir nehmen, desto besser funktionieren diese Algorithmen.

EN

You may ask: how does that work? The resolution of fMRI is — well, it is not at the level of individual neurons. On the left, for comparison, is roughly the volume of one fMRI voxel: it contains orientation columns with multiple orientations. Here we exploit the fact that within each voxel, various orientations are present, but not evenly distributed. A voxel will contain a little bit of one orientation, and the next voxel a little bit more of another orientation. And these small differences can be extracted from the voxels using machine learning approaches. In the image on the left, the differences between voxels are shown in an exaggerated way. The differences in reality are much, much smaller. But at the same time there are many, many more voxels. The more voxels we take, the better these algorithms work.

Orientation decoding

From (Kamitani and Tong 2005)

DE

Dieser Ansatz wurde zuerst bei Kamitani und Tong in 2005 verwendet. In fMRI nennt man solche Analyze Multi-Voxel-Pattern-Analysis (MVPA), weil man viele Voxels (das sind so volumetrische Pixels im Gehirn) zusammen gleichzeitig betrachtet. Man hat so einen Algorithmus darauf trainiert, welche Orientierung der Gitter welchem Muster der Voxel-Aktivitäten entspricht. Man konnte dann erfolgreich vorhersagen, welche Orientierung die Person jetzt gerade anschaut.

EN

This approach was first used by Kamitani and Tong in 2005. In fMRI, this type of analysis is called Multi-Voxel Pattern Analysis (MVPA), because it involves examining many voxels (which are essentially volumetric pixels in the brain) together at the same time. An algorithm was trained to determine which grid orientation corresponds to which pattern of voxel activity. It was then possible to successfully predict which orientation the person was currently looking at.

Image decoding

(Naselaris et al. 2009)

DE Kamitani und Tong war der erste Versuch, die Wahrnehmung mittels machine learning vorherzusagen. Allerdings sind Gittermuster nicht so spannend. Darum ist man weitergegangen und in dieser Studie von Nasselaris et al., hat man schon versucht, natürliche Bilder aus einem großen Datenbank zu rekonstruieren, die die Menschen gerade betrachtet haben.

Der Decoder in diesem Fall war viel komplexer. Man hat nicht nur ein Mapping zwischen Orientierung und Gehirnaktivität dem Decoder beigebracht, sondern verschiedene Aspekte des Bildes - Kontrast, lokale Information über die Orientierung der Kanten im Bild, und auch semantische Information (zu jedem Bild gab es eine Kategorie - eine Pflanze, ein Tier, eine Szene). Und wenn man das alles kombiniert, dann kann man das gesehene sehr gut rekonstruieren.

Hier sind ein paar Beispiele. In der oberen Reihe links ist das Bild, das man gesehen hat. In der Mitte ist das ähnlichste Bild anhand von lokalen Informationen im Bild, ohne Semantik. Die zwei Bilder sind physikalisch ähnlich, aber nicht inhaltlich ( in beiden ist etwas im Vordergrund und Gebäude im Hintergrund. Wenn man aber semantische Informationen auch berücksichtigt, dann kann man schon sehr ähnliche Bilder im Datenbank finden, die dem Target-Bild entsprechen.

Ähnlich ist es mit der unteren Reihe. Obwohl es nicht perfekt ist (Weintrauben vs. Champignon), aber trotzdem schon ziemlich erstaunlich.

Danach ist man weitergegangen und hat versucht, Inhalte der mentalen Vorstellungen (mental Imagery) und Inhalte der Träume zu rekonstruieren.

EN Kamitani and Tong was the first attempt to predict perception using machine learning. However, grid patterns are not so exciting. So they went further, and in this study by Naselaris et al., they already tried to reconstruct natural images from a large database that people were currently looking at.

The decoder in this case was much more complex. They not only taught the decoder a mapping between orientation and brain activity, but also various aspects of the image - contrast, local information about the orientation of edges in the image, and also semantic information (each image had a category - a plant, an animal, a scene). And when you combine all that, you can try to find an image in the database that is most similar in terms of features to what the subject is viewing.

Here are a few examples. In the top row, left is the image that was seen. In the middle is the most similar image based on local information in the image, without semantics. The two images are physically similar, but not semantically (in both there is something in the foreground and buildings in the background). But if you also consider semantic information, then you can already find very similar images in the database that correspond to the target image.

Similarly with the bottom row. Although it’s not perfect (grapes vs. mushroom), it’s still pretty amazing.

Video decoding

(Nishimoto et al. 2011)

(Nishimoto et al. 2011)

Interestingly, the newest (11th) edition of Sensation and Perception already presents a video example, while the previous edition (10th) the static image example

A recent example

Image credit: (Cheng et al. 2023)

Image credit: (Cheng et al. 2023)

DE In den Beispielen, die wir gerade besprochen haben, lernt kaum was darüber, wie das Gehirn funktioniert. Man nutzt eher die Kenntnisse über das Gehirn, um Wahrnehmungsinhalte zu dekodieren. Diese allerneueste Studie, die natürlich schon Deep Neural Networks verwendet, ist etwas spannender, weil man daraus etwas lernt.

Hier hat man auch anstatt ein Mapping zwischen dem Bild und Gehirnaktivität, ein Mapping zwischen den Features im Bild und der Gehirnaktivität dem Decoder beigebracht. Aber diese Features (Features sind Eigenschaften des Bildes) waren nicht einfach nur Kanten oder Kontrast. Diese Features wurden von einem Deep Neural Network extrahiert. Diese Deep Neural Networks können sehr komplexe Aspekte des Bildes extrahieren.

Wenn man das macht und dem Decoder ein Mapping zwischen Features und Gehirnaktivität beibringt, kann man nun nicht nur natürliche Bilder, sondern visuelle Täuschungen zeigen. Mann nimmt dann Gehirnaktivität während der Wahrnehmung der visuellen Täuschungen, schaut, welchen Features im Decoder dieser Gehirnaktivität entspricht und nutzt ein zweites neuronales Netzwerk, das Bilder generieren kann, um die Wahrnehmung zu rekonstruieren.

Für diese visuelle Täuschung, wo wir eine Kante in der Mitte wahrnehmen, obwohl die Linien horizontal verlaufen, die eigentlichen Features im Bild sind die horizontale Linien, unsere Wahrnehmung ist aber beides, die vertikale Linie und die horizontalen Linien.

EN In the examples we just discussed, we hardly learn anything about how the brain works. Rather, we use knowledge about the brain to decode perceptual content. This very latest study, which of course already uses deep neural networks, is a bit more exciting because we learn something from it.

Here, instead of teaching a mapping between the image and brain activity, they taught a mapping between features in the image and brain activity to the decoder. But these features (features are properties of the image) were not just edges or contrast. These features were extracted by a deep neural network. These deep neural networks can extract very complex aspects of the image.

When you do that and teach the decoder a mapping between features and brain activity, you can now not only show natural images, but also visual illusions. You then take brain activity during the perception of visual illusions, see which features in the decoder correspond to this brain activity, and use a second neural network that can generate images to reconstruct the perception.

For this visual illusion, where we perceive an edge in the middle even though the lines are horizontal, the actual features in the image are the horizontal lines, but our perception is both, the vertical line and the horizontal lines.

Perceptography

Physical stimulus

Stimulus features

Brain-decoded features

Modified from (Cheng et al. 2023)

References

Cheng, Fan L., Tomoyasu Horikawa, Kei Majima, Misato Tanaka, Mohamed Abdelhack, Shuntaro C. Aoki, Jin Hirano, and Yukiyasu Kamitani. 2023. “Reconstructing Visual Illusory Experiences from Human Brain Activity.” Science Advances 9 (46). https://doi.org/10.1126/sciadv.adj3906.

Cohen, Jonathan D, Nathaniel Daw, Barbara Engelhardt, Uri Hasson, Kai Li, Yael Niv, Kenneth A Norman, et al. 2017. “Computational Approaches to fMRI Analysis.” Nature Neuroscience 20 (3): 304–13. https://doi.org/10.1038/nn.4499.

Haxby, J V, M I Gobbini, M L Furey, A Ishai, J L Schouten, and P Pietrini. 2001. “Distributed and Overlapping Representations of Faces and Objects in Ventral Temporal Cortex.” Science (New York, N.Y.) 293 (5539): 2425–30. https://doi.org/10.1126/science.1063736.

Haynes, John-Dylan, and Geraint Rees. 2005. “Predicting the Orientation of Invisible Stimuli from Activity in Human Primary Visual Cortex.” Nature Neuroscience 8 (5): 686–91. https://doi.org/10.1038/nn1445.

Kamitani, Yukiyasu, and Frank Tong. 2005. “Decoding the Visual and Subjective Contents of the Human Brain.” Nature Neuroscience 8 (5): 679–85. https://doi.org/10.1038/nn1444.

Naselaris, Thomas, Ryan J. Prenger, Kendrick N. Kay, Michael Oliver, and Jack L. Gallant. 2009. “Bayesian Reconstruction of Natural Images from Human Brain Activity.” Neuron 63 (6): 902–15. https://doi.org/10.1016/j.neuron.2009.09.006.

Nishimoto, Shinji, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu, and Jack L. Gallant. 2011. “Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies.” Current Biology 21 (19): 1641–46. https://doi.org/10.1016/j.cub.2011.08.031.

Peelen, Marius V., and Paul E. Downing. 2023. “Testing Cognitive Theories with Multivariate Pattern Analysis of Neuroimaging Data.” Nature Human Behaviour 7 (9): 1430–41. https://doi.org/10.1038/s41562-023-01680-z.