虞夏为徐州之域。

商为卞明国。

周为鲁国卞邑。

秦仍为卞邑，属薛郡。

西汉置卞且，属徐州鲁国。东汉沿用西汉旧制。

三国属魏。

西晋属鲁郡。西晋末全境沦于石勒，366年（东晋太和元年）陷于燕。373年（宁康元年）陷于秦。

南朝宋初，卞县废。466年（明帝泰始二年）复置，属鲁郡。因兖州刺史毕敬众降魏，其后，所属忽宋忽魏。至宋末梁初常属北魏。

北魏，县境西部为汶阳县，东部为卞县，均属鲁郡。

隋，591年（开皇十一年）因泗河发源于境内而更名为泗水县，隶属鲁郡。

唐，属河南道兖州鲁郡。

后五代，属兖州。

宋，为京东西路袭庆府所辖。

金，为山东西路兖州所辖。

元，属济宁路兖州，1336年（至元二年）泗水县并入曲阜。1337年（至元三年）春，因治理不便，于泗城西8里音义置锦川县。同年冬，废锦川县，复置泗水县，仍隶属兖州。

明，洪武初，隶属济宁府兖州。

清，隶属兖州府。

1913年，裁府制改省、道、县三级制，泗水县为山东岱南道所辖。1914年，为济宁道所辖。1927年，直属省辖。1936年，泗水隶属第一行政督察区。

1938年1月，日本侵略军占领泗水，日伪成立泗水县政府（驻地今星村镇大李家庄），属第十五行政督察区。1939年末，游击泗水县政府宣告结束。

1939年春，建立抗日民主政权，以滋临公路为界，划为两个县：公路以南为邹东县，以北为泰泗
宁中心县。1940年春，泰泗宁中心县撤销，恢复泗水县，归鲁南一地委领导。1941年7月，泗水与曲阜合并，成立曲泗县。1946年4月，撤销曲泗县，恢复泗水县，归鲁南第一专属济宁专区。1983
年10月1日，属泰安地区。1985年5月1日始，属济宁市。