Au début du Moyen-âge, les Saxons connaissaient déjà cet endroit qu'ils nommaient : « Whit Flow » signifiant flot blanchi.
Plus tard, les Vikings utilisaient le suffixe « floch » pour désigner un flot, une marée ou une étendue d'eau. Cette terminologie évolua pour donner « fleur », Le nom de « Vik Fjord », signifiant une baie envahie par la mer, fut également donné par les Vikings.
L'ensemble de ces dénominations héritées des langues nordiques permet de penser que la mer remontait jusqu'à Vittefleur.
Le site de Vittefleur est occupé depuis la plus haute Antiquité mais la paroisse a été fondée à l'époque mérovingienne par le Comte Warreng, fondateur de l'abbaye de Fécamp.
En 988, Richard 1er de Normandie restitua à l'abbaye de Fécamp les prairies, vignes, bois, églises et moulins situés sur le domaine de Vittefleur.
Richard II, duc de Normandie, céda une partie de ses paroisses à l'archevêque de Rouen pour y imposer la juridiction de Saint-Siège. L'abbé de Fécamp récupéra ainsi les droits sur ces communes, dont Vittefleur, et en devint le haut justicier.
Les religieux vont jouer un rôle important dans le développement du village. Sous leur protection, la paroisse prospère. Au recensement des activités en 1793, on y dénombre des moulins à blé, un moulin à huile, un autre à tan et une filature de lin.
Au début du 20e siècle, une minoterie et une linerie fonctionnent toujours en plus d'activités maraîchères.