Menurut salah satu versi cerita, bangunan ini dulunya adalah tempat tinggal seorang profesor dari Universitas Gajah Mada, yang bernama Profesor Soedomo.
Ia tinggal bersama istri dan anaknya, yang bernama Rini. Suatu hari, ia mendapat kabar bahwa istrinya selingkuh dengan seorang pria lain, yang ternyata adalah sahabatnya sendiri.
Ia pun marah dan membunuh istrinya dan sahabatnya, lalu mengubur mayat mereka di halaman belakang. Anaknya, Rini, yang menyaksikan kejadian itu, menjadi trauma dan gila.
Ia pun dikurung di kamar atas oleh ayahnya, yang kemudian bunuh diri karena menyesal.
Konon, hantu-hantu mereka masih gentayangan di bangunan itu, dan sering menampakkan diri kepada pengunjung yang datang.
Versi lain dari cerita ini mengatakan bahwa bangunan ini adalah tempat tinggal seorang pangeran dari Keraton Yogyakarta, yang bernama Pangeran Dipokusumo. Ia tinggal bersama istri dan anaknya, yang bernama Rara.
Suatu hari, ia mendapat kabar bahwa istrinya selingkuh dengan seorang pria lain, yang ternyata adalah adiknya sendiri. Ia pun marah dan membunuh istrinya dan adiknya, lalu membakar mayat mereka di halaman depan.
