王琼(1459~1532年)，字德华，号晋溪，别署双溪老人，明朝的兵部尚书。正德年间，太监刘瑾得宠，乱党专政。王琼为人正直，因不肯贿赂刘被赶出京城，贬去南京任职。后嘉靖皇帝唧位，王琼被人诬陷下狱，致使屡建功勋的王琼竟然谪居绥德整整达五年之久。

在被贬官的五年时间里，王琼看透了世态炎凉，产生了弃官归隐的念头。 于是王琼就对儿子说，如能在家乡悬瓮山下，建一居所静养于山水之间以度晚年也就如愿了。儿子领会了父亲的意思，回到家乡开始建造园子。五年后园子建成，以王琼之号为园名，称之为晋溪园。

整个园子选址幽雅，建筑适中。园子三面环水，园门朝东，隔通向奉园寺小道，对面是一片的荷花塘。园内遍植翠竹与水稻，还配有假山喷泉，有着山林的幽静。

晋溪园建成不久，嘉靖六年春诏令王琼还籍为民。于是，王琼离开了整整谪居五年的绥德，回到了家乡，住进了新建的晋溪园内。王琼回到家乡后，终日居住在晋溪园里过着自由自在的田园生活。有人问他：你为什么不效仿古代先贤，直接归隐山林，过着隐居的生活，却要住在这花园里？王琼回答说：大隐隐于市，小隐隐于野，想要超凡脱俗并不一定要远遁山林，在尘世中也可以做到断欲断念，心如止水。

王琼的大隐臨于市之言，正是对“不必绝人以逃世，不必绝欲以灰心”，的最好说明。只要心在世外，那么无论身处世中还是世外都无坊。