Le château est à l'origine du village, construit avant même l'église. Le premier château appartenait à Richard de Villerville dans les années 1195. Il est détruit lors de la Guerre de Cent Ans et est reconstruit dans les années 1450 avec des tourelles et meurtrières sous les ordres du seigneur Robert de Grente. Celui-ci fut détruit en 1767 par Louis Jacques Labbey afin de reconstruire un château plus au goût du jour dans un style Louis XIII.
Depuis la mort du seigneur Labbey le château est passé entre les mains des Legge, des Landal et des Nétumières, apparentés à Richard de Villerville. Il est donc resté dans la même famille à travers les siècles.
Depuis 1946 le château est renommé La Ferme du Château et appartient à la famille De la Porte des Vaux qui produit des fruits et légumes biologiques en biodynamie.