Существует легенда о том, что изначально, на месте дворца, Асеевым был построен деревянный терем, однако после насмешливых замечаний гостей дома о том, что такой состоятельный человек как Асеев мог бы позволить себе каменный особняк, Михаил Васильевич Асеев пригласил гостей во двор и поджег терем, на месте которого был построен ныне существующий дворец.
