I 1100-tallet blev Voer Kloster grundlagt af benediktinermunke, der byggede en vandmølle og ledte det meste af Gudenåens vand over i den 1300 meter lange Klosterkanal. Med byggeriet af møllen blev fiskenes vandring i Gudenåen spærret. Skov og naturstyrelsen etablerede i 1992 et 225 meter langt stryg ved riværket og byggede en fisketrappe, så det igen efter næsten 900 år er muligt for fiskene at passere ved Klostermølle. Ved reformationen i 1536 blev klosteret nedlagt, men Klostermølle fortsatte som kornmølle. I 1872 begynder en ny æra i Klostermølles historie, idet ejeren Holst også ønskede at drive træsliberi til fremstilling af papirmasse. I 1899 købte Frederik Bodenhoff Klostermølle, som blev i familiens eje, til den lukkede i 1974, hvor en del af produktionsbygningerne brændte. Området er fredet, og flere af bygningerne er blevet renoveret. Miljøministeriet købte Klostermølle i 1975, og siden først i 1980'erne har landsforeningen Natur og Ungdom lejet hovedbygningen.

Klostermølle ligger i Voerladegård sogn, der eksisterede før munkene kom, og som menes dannet inden den kristne tid. Man sognede sammen om et offersted, og i et grandelag for at holde ret og skel i hævd. Senere blev sognet en egns befolkning, der søger sammen, eller et område hvorfra man søger sammen om en kirke.

Samtidig eller kort efter, at munkene byggede Voer Kloster, blev kirken i Voer(ladegård) bygget, og de omkringliggende bøndergårde flyttedes nu sammen ved kirken, hvorved landsbyen opstod. Klosteret fik senere overdraget alle tre gårde i landsbyen og gjorde dem til klosterets ladegård. Da kronen overtog gårdene efter reformationen, var der fire fæstebønder. Ved folketællingen i 1787 var der seks bøndergårde og fire huse med i alt 50 personer.

Historien om Voer er fra Fællesrådets folder Voerladegård.