Awal mula Hanung memiliki ide untuk membangun Museum Bumi Manusia bisa dikatakan cukup unik. Berawal dari dirinya yang diminta oleh putri Pramoedya Ananta Toer membersihkan set rumah Nyai Ontosoroh dan Annelies, suami dari Zaskia Adya Mecca ini langsung memiliki ide membangun museum untuk mengenang karya Pramoedya Ananta Toer.
"Pada saat datang ke sini, 'Tolong dibersihkan' (pinta bu Astuti). Daripada saya sapu dan pel saja, sekalian saja saya hidupkan, saya kembalikan lagi menjadi set Bumi Manusia, biar para pecinta Pak Pram terus ingat kita," jelasnya.
"Ini sebagai sebuah monumen. Ini juga bukan tanah pribadi saya, jadi tidak ada kepentingan pribadi apapun sebetulnya pada tempat ini," sambung Hanung.