水的提升對于人類生活和生產都十分重要。古代就已有各種提水器具，例如埃及的鏈泵(公元前17世紀)，中國的桔槔(公元前17世紀)、轆轤(公元前11世紀)和水車(公元1世紀)。比較有名的還有公元前三世紀，阿基米德發明的螺旋桿，可以平穩連續地將水提到幾米高處，其原理仍為現代螺桿泵所利用。

公元前200年左右，古希臘工匠克特西比烏斯發明的滅火泵是一種原始的活塞泵，已具備典型活塞泵的主要元件，但活塞泵只是在出現了蒸汽機之后才得到迅速發展。

1840-1850年，美國沃辛頓發明泵缸和蒸汽缸對置的，蒸汽直接作用的活塞泵，標志著現代活塞泵的形成。1851-1875年，帶有導葉的多級離心泵相繼發明，使發展高揚程離心泵成為可能。

19世紀是活塞泵發展的高潮時期，當時已用于水壓機等多種機械中。然而隨著需水量的劇增，從20世紀20年代起，低速的、流量受到很大限制的活塞泵逐漸被高速的離心泵和回轉泵所代替。但是在高壓小流量領域往復泵仍占有主要地位，尤其是隔膜泵、柱塞泵優點，應用日益增多。