Den store bygning, der har facade ud til både Overgade, Paaskestræde og Adelgade, der opført i typisk renæssancestil med stokværksfremspring og rosetudskæringer, er fredet. Den første del af bygningen (den gule bygning i Paaskestræde) stammer fra ca. 1530 og indtil 1777 var det en købmandsgård.
I starten af 1800-tallet blev gården købt af Odense Bys Fattigvæsen, der indrettede det til fattiggård med boliger mod Påskestræde, forskellige værksteder i udlængerne og skolestue ud til Overgade. På mindepladen kan man læse, at det var her, byens berømte digter, H.C. Andersen, gik i skole de sidste år, han boede i Odense. Ifølge hans egne erindringer ville han hellere have gået på latinskolen ved Domkirken, hvor eleverne havde bedre bøger og fik en grundigere undervisning.
