1954年,时任高崖区委书记王荐丞、区长陈昌虞建议修建高崖水库。1955年,甘肃省水利局派工程技术人员勘测。1957年10月,榆中县委决定,从高崖、甘草店、清水驿、龙泉、新营、双堡、隆山、黄坪8乡抽调3500名民工于同年12月5日开工建设。全体民工风餐露宿,昼夜轮流作业,于1958年8月8日竣工。用工日51万个,完成工程量44.04万立方米;国家投资15万元,群众自筹资金5万元。
水库建成后,当年开挖西干渠14公里。1963至1965年,进行复修改建,渠道延伸为16.6公里,衬砌14.5公里;建成支渠37条,长54.3公里,衬砌24条,长15.2公里;建成各类建筑物120座。1986年10月,将高崖镇上街口山坡上的盘山明渠改建为隧洞。1958年完成了东干渠土建,因多年没有使用,无人管理,破坏严重。1988年8月开始复建,1990年10月完成,长12.7公里。高崖水库建成后,灌区有效面积由1963年的7723亩,增加到1990年的1.15万亩。1961年至1970年,还给灌区以外的夏官营公社中河堡、红柳沟、夏官营、太平堡4个大队调剂灌地600亩。