Benteng ini juga memiliki kisah mistis yang mengejutkan.
Salah satu elemen misteri yang mengelilingi Benteng Vastenburg adalah penjara bawah tanahnya, tempat di mana pejuang Indonesia ditahan pada masa lalu.
Selama periode ini, tidak hanya para tahanan yang harus menderita penahanan, tetapi mereka juga disiksa dengan kejam.
Tak hanya kisah horor di dalam sel penjara, namun juga laporan mengenai penampakan makhluk misterius di depan Benteng Vastenburg.