In 1963 had de VVD voor het eerst sinds haar oprichting in 1948 een nieuwe lijsttrekker: Pieter Oud had plaatsgemaakt voor Edzo Toxopeus, die in 1971 weer zou worden opgevolgd door Molly Geertsema. Bij de Tweede Kamerverkiezingen van 15 mei 1963 verloor de VVD drie zetels en kwam zij uit op zestien zetels. Ondanks deze teruggang was de partij in deze periode in electoraal opzicht opmerkelijk stabiel: in 1967 en in 1971 kreeg zij respectievelijk zeventien en zestien zetels. In dezelfde tijd verloren de drie grote confessionele partijen (ARP, CHU en KVP) samen voor het eerst sinds 1918 de meerderheid in de Tweede Kamer. Hun verlies kwam echter nauwelijks ten goede aan de gevestigde niet-confessionele partijen als de VVD en de PvdA; vooral nieuwe partijen, zoals de Boerenpartij en Democraten ‘66 (D66), die met de VVD concurreerden om de stem van de kiezers, profiteerden hiervan.
Deze electorale verschuivingen vielen samen met sociaal-culturele veranderingen die doorgaans worden beschreven met termen als ontzuiling, deconfessionalisering, democratisering en individualisering. Godsdienst en sociale klasse zouden veel minder dan vóór 1963 veelal het geval was geweest, het stemgedrag bepalen. Zo nam de categorie zwevende kiezers toe. Tot 1972 zou de VVD deze kiezers nog weinig aanspreken.
In 1959 was de VVD na bijna zeven jaar oppositievoeren weer tot de regering toegetreden. Het kabinet-De Quay, dat bestond uit de confessionele partijen ARP, CHU en KVP en verder de VVD, zat de gehele regeringsperiode uit. Na de Kamerverkiezingen van 1963 werd de confessioneel-liberale coalitie voortgezet in het kabinet-Marijnen. In februari 1965 kwam dat ten val: de VVD wilde meer ruimte voor reclame in het omroepbestel, waar de confessionele partijen en hun geestverwante omroepen weinig mee ophadden. De KVP en ARP gingen vervolgens met de PvdA verder in het kabinet-Cals; de VVD belandde in de oppositie. In oktober 1966 kwam er in de zogeheten ‘Nacht van Schmelzer’ al weer een einde aan de rooms-rode coalitie. Na de Kamerverkiezingen van 1967 koos het confessionele drietal weer voor de VVD. Ondanks de onrust en het rumoer in deze jaren, weet het kabinet-De Jong zijn termijn te voltooien.
Bij de Tweede Kamerverkiezingen van 1971 boekte de VVD een zetel verlies. De ontzuilde en gedeconfessionaliseerde kiezers van KVP en CHU gingen grotendeels aan haar voorbij, op weg naar D66 en Democratisch Socialisten ‘70 (DS’70), de partij van behoudende socialisten die de door Nieuw Links geradicaliseerde PvdA in 1970 hadden verlaten. In het zuiden van het land tekende zich enige vooruitgang voor de VVD af. De partij haalde in 1967 in Limburg 5,1% van de stemmen, tegen 2,3 % in 1963.