Гейер Андерсон-паша был английским офицером, изучавшим медицину в Лондоне. В 1904 году он был назначен врачом английской армии, а в 1907 году был направлен в Египет.
В 1935 году Гейер Андерсон подал в Ассамблею по сохранению арабских древностей просьбу поселиться в двух домах и обставить их в исламско-арабском стиле. Он предложил собрать коллекцию времен фараонов, исламских и азиатских древностей. Эти древности будут принадлежать египтянам после его смерти или когда он навсегда покинет Египет. Собрание согласилось. Когда Андерсон покинул дом в 1942 году, его просьба была удовлетворена, и два дома перешли во владение Ассамблеи сохранения арабских древностей, которая превратила здание в музей Гейера Андерсона.
Дом на самом деле представляет собой комбинацию двух домов, построенных в период Османской империи (16-17 века ).
Первый дом был построен ученым Абд аль-Кадиром аль-Хададом в 947 г.х./1545 г. н.э. Позже он принадлежал леди Амине бинт Салем. Второй дом принадлежал Хаджу Мухаммаду ибн Салему ибн Джилмаму аль-Джазару в 1041 г.х./1631 г. н.э. В нем жили разные семьи, пока он не перешел во владение дамы с Крита, и тогда дом стал называться Байт аль-Критлия.