而更为不幸的事实是爱因斯坦的大脑，那颗充满着无数的智慧和提出相对论这种跨时代理论的大脑——不见了!
但是，这只是事情的开始，爱因斯坦的大脑最终被切成1000片和240块，将它们封进了赛璐珞(硝化纤维塑料)做的方块中，现在也在进行展出。
爱因斯坦死后负责爱因斯坦治病的医生托马斯·斯托尔茨·哈维，在7小时后表示自己被允许对爱因斯坦尸体进行了解剖并称解剖获得了相关许可。
在确认死因后，哈维取出了爱因斯坦的大脑，进行了测量和称重。事后，哈维称他“知道医院已经获得了尸体解剖的许可，因此顺理成章的认为医院要研究爱因斯坦的大脑”。
但是直到现在，没有人发现任何当时允许医院进行尸体解剖的文件和授权。
做完所有的检查测量后，哈维将爱因斯坦的大脑放到了福尔马林里，接着取出了爱因斯坦的眼球。
眼球后来给交给了爱因斯坦的眼科医生亨利·亚当斯(Henry Adams)——至今依然有传言称，爱因斯坦的眼球被保存在纽约某处的保险箱内。最后，哈维医生将爱因斯坦剩下的遗体送还以备火化。
取出大脑和眼球这两件事都违背了爱因斯坦的遗愿。根据布赖恩·伯勒尔(Brian Burrell)的著作《来自大脑博物馆的明信片》，爱因斯坦生前曾留下非常明确的指示。
爱因斯坦希望自己的遗体能完整的火化，火化后的骨灰秘密抛撒，以“防止偶像崇拜”。
但哈维的所作所为不光违背了爱因斯坦的个人意愿，他也没有任何法律和医学依据去保管爱因斯坦的大脑。
哈维甚至不是神经外科医生，也不是脑科专家。他唯一的责任就是确认爱因斯坦的死因——心力衰竭与大脑并没有什么太大联系(至少没有直接联系)。
伯勒尔推测，哈维之所以会取出爱因斯坦的大脑并私自保存可能有两个原因：一个原因是，爱因斯坦的私人医生哈利·齐默尔曼(Harry Zimmerman)是哈维的导师，哈维这么做是遵循导师的要求。
齐默尔曼从未公开澄清过此事，不过，他确实提出过要求希望得到爱因斯坦的大脑。
除此之外，伯勒尔认为，哈维可能是受到了1926年对列宁大脑研究的启发，从而想“了解伟人”。
不论哈维这么做的理由是什么，4月19日，在擅自取出并私藏了爱因斯坦的大脑后，哈维才开始向爱因斯坦的儿子——汉斯·阿尔伯特·爱因斯坦(Hans Albert Einstein)请求获得解剖许可。
汉斯同意给哈维许可，但同时也让哈维承诺将他父亲的大脑用于科学研究，并将研究结果发表在正式的医学期刊上。
4月20日，《纽约时报》发布爱因斯坦的讣告，称哈维在进行解剖时“获得了爱因斯坦儿子的授权”，同天还有另一条文章标题为：“爱因斯坦之子要求研究爱因斯坦的大脑”。但报道并没有提到，所谓的授权是哈维已经取出了大脑之后才获得的。
当哈维保管着爱因斯坦大脑的消息传开之后，来自世界各地的请求蜂拥而至，很多医学家都希望有幸一睹爱因斯坦的大脑并进行研究。就像上文提到的，哈利·齐默尔曼从纽约发来请求，而哈维也承诺让齐默尔曼第一个研究爱因斯坦的大脑。
齐默尔曼及其所在的纽约医院都做足了准备，迎接哈维和爱因斯坦的大脑，但结果却什么都没有等来。不久，普林斯顿医院宣布，爱因斯坦的大脑将留在新泽西州。
《华盛顿邮报》当时以《哪个医院将研究爱因斯坦的大脑惹起争议》为标题进行了报道，另一家报纸则刊登了名为《医院争夺爱因斯坦大脑》的文章。
当爱因斯坦大脑的争夺战愈演愈烈，甚至成为了一场闹剧的时候，更离奇的事情却发生了。
从技术上来说，普林斯顿医院从来没有真正拥有过爱因斯坦的大脑，哈维才是实际上的保存者。
哈维把爱因斯坦的大脑放在自己家办公桌上的一个罐子里。在同齐默尔曼闹翻之后，对爱因斯坦大脑的研究依然没有动静，哈维被普林斯顿医院炒了鱿鱼。他在离开普林斯顿医院的同时也带走了爱因斯坦的大脑。
之后，哈维去了宾夕法尼亚大学，在技术人员的帮助下，将爱因斯坦的大脑切成1000片和240块，将它们封进了赛璐珞(硝化纤维塑料)做的方块中。
他最后还是给了齐默尔曼医生一些切片，把剩余的切片存放于两个福尔马林罐中，自己保管。其他研究人员提出要求希望获得剩余的大脑切片，哈维拒不答应，并称“还要一年的时间完成对切片样本的研究”。
在婚姻破裂后，哈维很快离开了普林斯顿前往美国中西部。在他离开前，他的前妻曾威胁要“处理掉”这些切片。显然，哈维不会让这种事发生，他带走了切片，前往了堪萨斯州的威奇托。
搬到威奇托之后，哈维在当地一家生物实验室担任医疗主管。据传他在威奇托工作期间，将爱因斯坦的大脑保存在啤酒冷冻柜下层的酒箱里。
在接下来的30年里，哈维带着爱因斯坦的大脑切片在中西部四处辗转，期间从未发表过任何研究。每隔一段时间就会有研究者联系哈维，而哈维会寄给他们一两块切片，希望他们能做出一些他从未做过的研究。
有那么几次，爱因斯坦的大脑曾一度重新获得了公众的。尤其是1978年，地区杂志《新泽西月报》发表了一篇史蒂芬·莱维(Steven Levy)的文章，提到了他与哈维第一次见面的经历。
起初，他(哈维)什么都不愿意告诉我，但过了一段时间，他终于承认自己有爱因斯坦的大脑。很久之后，昏昏欲睡的哈维告诉我，大脑“就放在我们现在坐的这个办公室里”。他走向一个标有“科斯塔苹果酒”的箱子，拿出了两个玻璃瓶，里面装的就是改变了世界的大脑。
另一项报道是关于日本教授、爱因斯坦研究专家杉本健二(Kenji Sugimoto)，他曾前往堪萨斯拜访哈维：
杉本谦逊地向哈维提出，自己能否带一片切片回日本。“当然可以。”哈维说着，走进厨房取了菜刀和案板。他找出一个旧药杯，把切片放进去，然后又倒了一些福尔马林。
1985年，爱因斯坦去世后30年，终于有人在获得哈维的切片后发表了一篇研究报告——加州大学洛杉矶分校的玛丽安·戴亚蒙德(Marian Diamond)在《实验神经学》上发表了她的成果。
虽然玛丽安的研究成果远远算不上确凿，但她的研究指出爱因斯坦大脑神经元中的胶质细胞比普通的大脑更多。
这或许意味着，爱因斯坦的脑细胞有着“更大的新陈代谢需求”——即大脑消耗的能量和所需的能量都比常人更多，也就有可能说明爱因斯坦在概念和思维能力方面超出常人。
虽然今后的研究很可能会打破这一理论，但终于在正规的医学期刊上有了关于爱因斯坦大脑的研究。不过，这颗大脑的旅程到此还没有结束。
1988年，哈维因为没有通过密苏里州的从业能力测试，被吊销了行医执照。几年后，他回到普林斯顿，在作家米歇尔·帕特尼提的劝说下前往加利福尼亚与爱因斯坦的孙女会面。
当然，他带上了爱因斯坦的大脑切片。在帕特尼提的著作《送爱因斯坦回家》(Driving Mr. Albert)中这样描述：“装着大脑切片的罐子就在行李袋里，静静躺在哈维汽车的后备箱里，开始前往阳光明媚的加州。”
他们在伯克利见到了艾芙琳·爱因斯坦，在离开时，哈维把爱因斯坦的大脑切片落在了艾芙琳家里。可是之后艾芙琳找到哈维，归还了切片，别无所求。
2007年，托马斯·哈维去世。死前，他将爱因斯坦的大脑切片捐赠给了普林斯顿医院，让它回到了50多年前这次荒诞旅程的起点。
外界这时又开始爱因斯坦的大脑，曾经从哈维那儿收到过大脑切片的研究人员也纷纷将切片还给普林斯顿医院和宾夕法尼亚大学(爱因斯坦大脑进行切片的地方)。
2013年，一部分切片曾在马里兰州的国家健康与医学博物馆展览。如今，费城的马特博物馆(Mutter Museum)成了唯一能看到爱因斯坦大脑切片的地方。在那里，你还能看到哈维亲手写下的笔记。