Zámek v z druhé poloviny 18. století vzniklý na místě tvrze ze 14. století. Od roku 1835 zde několik let bydlí mladý Bedřich Smetana. V sedmdesátých letech zřízeno muzeum s expozicí Hudební tradice Podblanicka, která je zde dodnes.
První zmínka o vsi Lhotice je z roku 1363, kdy se uvádí Oneš Tluksa ze Lhotic. V roce 1388 je zmiňován Pešík řečený Steklo ze Lhotic. Ve stížném listu na obranu Jana Husa jsou mimo jiné podepsaní Jetřich Vácha a Markvart ze Lhotic. První zmínka o tvrzi ve Lhotcích je až z roku 1421, kdy Váchova manželka Jitka prodala své věno zapsané na lhotecké tvrzi Zdeňkovi a Petrovi z Lukavce. V roce 1542 prodal Petr Malovec Dříteňský z Malovic své dědictví bratrům Janovi a Jiříkovi Růžkům svobodníkům z Miřetic. Ve výčtu majetku je zde tvrz uváděna už jako pustá. Po zmíněných majitelích Lhotice mění jméno na Růžkovy Lhotice. V druhé polovině 18. století byl na místě tvrze postaven prostý patrový zámek. V roce 1835 dostává Lhotice do podnájmu a později i kupuje rodina Smetanova. Z toho důvodu je umístěna v průčelí busta Bedřicha Smetany, který zde strávil několik let. Po druhé světové válce patřil zámek zemědělcům – až do roku 1973, kdy se dostal do zprávy Okresního muzea v Benešově. Zámek byl poté zrekonstruován do podoby, kterou měl v době Bedřicha Smetany (odstraněny vyzdívky arkád, dostavěny vnitřní zdi) a stal se muzeem s expozicí Hudební tradice Podblanicka. Dnes spadá pod muzeum Vlašim.
Petr Nožička, čerpáno z: kol.: Hrady, zámky a tvrze v Čechách, na Moravě a ve Slezsku, díl VI. , Svoboda, Praha 1989, 6.3. 2010