“在切下爱因斯坦的大脑后，我先从脑动脉中注入防腐剂，又从各个角度拍了很多照片。”1955年，哈维偷走了爱因斯坦的大脑，并请人切成240片，保存在福尔马林溶液中。
1955年4月，爱因斯坦在普林斯顿医院去世，为了弄清他的死因，需要对其进行解剖尸检。按照程序，主刀的应该是爱因斯坦的私人医生哈里·齐默曼教授，但奇怪的是那天他因故没去医院。
结果当天为爱因斯坦解剖遗体的是哈维博士，他是齐默曼的学生，也是普林斯顿大学医院病理科的主任。
整个解剖过程是在爱因斯坦的遗嘱执行人奥托·内森在场的情况下进行的，最终确定爱因斯坦的死因为“大动脉瘤破裂”。
但哈维博士神不知鬼不觉地竟“顺”走了爱因斯坦的大脑。爱因斯坦的家人按照遗嘱将其火化。
天下没有不透风的墙，很快爱因斯坦的家人知道了哈维偷大脑的事情。普利斯顿医院也要求哈维交出大脑，却遭到哈维的拒绝。
哈维向爱因斯坦的家人表达了歉意，并辩解称标准的解剖程序就包括摘除大脑。
此后哈维多次给爱因斯坦的儿子汉斯打电话，解释爱因斯坦是天才，保存他的大脑具有伟大的科学价值，并发誓要做爱因斯坦大脑的忠实保卫者。
最终汉斯同意哈维保管父亲的大脑。
哈维在世人的骂声中从医院辞职，为了便于携带保存，他请人将爱因斯坦的大脑切成240片，保存在福尔马林溶液中分装保存，走到哪里就将装有组织切片的箱子带到哪里。
但他毕竟只是个病理学医生，对大脑的研究，神经学科一窍不通。之后的多年中，他联系过众多医学专家对爱因斯坦的大脑进行研究。
有人研究发现爱因斯坦的后脑枕叶区大于常人，这使他有着超于常人的视觉空间认知能力、数学能力和运动想象能力。
普通男子的大脑重量1400克左右，爱因斯坦的重量只有1230克，但神经细胞密度却比普通人高。
另外爱因斯坦后脑左右半球的上部顶下叶区域比常人大15%，非常发达，此区域负责视觉思考和空间推理。而大脑颞叶中主管语言的区域的神经元密度低于常人。
这也印证了记载中所说爱因斯坦3岁才会说话，父母一度怀疑他的智力有问题。
爱因斯坦自己也曾说过自己几乎不以语言文字的方式思考，而是像放电影一样用图画般的想象力来思考问题。
1998年，85岁的哈维将爱因斯坦的大脑归还给普林斯顿大学，在这之前，他帮助爱因斯坦完成了遗愿。
病中的爱因斯坦一直有一个愿望，那就是横贯美国。
1997年10月，哈维在一名作家的陪同下，带着爱因斯坦的大脑切片从东向西，由新泽西州一直开到了加利福尼亚州，全程4000公里，完成了爱因斯坦的遗愿。
其实哈维一直不知道，从他将爱因斯坦大脑从实验室取出的那一刻开始，他就处于美国联邦调查局的视线中了，包括这4000公里的旅途工程，联邦调查局一直在暗中跟踪保护。