Na de groei van de VVD onder het leiderschap van Hans Wiegel, kreeg de partij in de jaren tachtig een zware terugslag. Electorale neergang, onduidelijk en omstreden leiderschap, veel gedoe en geruzie en interne verdeeldheid bepaalden het beeld van de partij.
In april 1982 kondigde partijleider Wiegel zijn vertrek aan. De VVD stond er goed voor: bij de Provinciale Statenverkiezingen werd de partij de tweede van het land, het tweede kabinet-Van Agt van CDA, PvdA en D66 – zo’n half jaar oud – kraakte in zijn voegen, en het ledental zat behoorlijk in de lift. De jeugdige maar onervaren Ed Nijpels werd Wiegels opvolger. De partijtop verwachtte dat de nieuwe fractievoorzitter zich in de oppositie rustig zou kunnen ontwikkelen tot partijleider. Daarvan kwam niets terecht, omdat het kabinet een maand later viel. Met de debuterende lijsttrekker behaalde de VVD bij de Tweede Kamerverkiezingen op 8 september 1982 36 zetels, een record. De liberalen vormden een regeringscoalitie met het CDA, onder leiding van premier Ruud Lubbers. Nijpels bleef in de Tweede Kamer, net als eerder Pieter Oud. In de daaropvolgende jaren raakte zijn leiderschap omstreden: enerzijds leek Nijpels graag de teugels in handen te houden, anderzijds ontglipte hem de regie nogal eens. Ook de vele affaires die de VVD teisterden en de bemoeienis van Wiegel vanuit Leeuwarden deden afbreuk aan zijn leiderschap. Geleidelijk aan ontstond het beeld van een partijleider die zijn partij niet in de hand had.
Bij de Tweede Kamerverkiezingen van 21 mei 1986 verloor de VVD negen zetels, waarna de interne spanningen zich ontlaadden. Op initiatief van Frits Bolkestein kwam er een einde aan het partijleiderschap van de afgebladderde Nijpels. Wel werd hij minister in het tweede kabinet-Lubbers van CDA en VVD. Het tamelijk onbekende en onomstreden Kamerlid Joris Voorhoeve volgde Nijpels verrassend op als fractievoorzitter, Rudolf de Korte werd vice-premier. Binnen dit tweehoofdig partijleiderschap van de partij – ‘duolisme’ geheten – was De Korte als ‘teamleider’ aangewezen, maar zijn positie raakte al snel ernstig verzwakt toen premier Lubbers hem publiekelijk terecht wees. Voorhoeve kwam meer en meer als partijleider naar voren.
Binnen de VVD nam de weerstand tegen de regeringssamenwerking met het CDA toe; de liberalen meenden dat zij vaak moesten buigen voor hun machtige regeringspartner. De coalitie viel langzaam uiteen en Voorhoeve kwam ettelijke malen in botsing met premier Lubbers. In mei 1989 was de maat vol en liet de Tweede Kamerfractie het kabinet – en dus ook de eigen ministers – vallen over de voorgenomen afschaffing van het reiskostenforfait. Bij de vervroegde Tweede Kamerverkiezingen op 6 september verloor de VVD vijf zetels.
Na de Kamerverkiezingen belandde de VVD in de oppositie; Voorhoeve werd weer fractievoorzitter. Omdat de opiniepeilingen slecht bleven en er veel werd gemord over zijn leiderschap, schoof het hoofdbestuur onder leiding van partijvoorzitter Leendert Ginjaar hem in april 1990 aan de kant. Het gevolg was een conflict met de Kamerfractie, die zich buitenspel gezet voelde. Voorhoeve maakte als fractievoorzitter plaats voor Frits Bolkestein. Voor de VVD brak een periode van rust en electoraal herstel aan, en regeringssamenwerking met haar oude aartsvijand, de PvdA.
