In het voorjaar van 2001 stond de VVD er in de opiniepeilingen goed voor: met 44 zetels was zij de grootste partij. De kans dat Hans Dijkstal – de opvolger van Frits Bolkestein – de eerste premier van liberalen huize zou worden na Pieter Cort van der Linden tijdens de Eerste Wereldoorlog, was reëel. Door de opkomst van de rechts-populistische Pim Fortuyn een half jaar later liep het echter geheel anders. De flamboyante hoogleraar uit Rotterdam wist met uitgesproken opvattingen over immigratie, integratie en islam veel VVD-kiezers aan te trekken.
De VVD had in de voorgaande dertig jaar langer dan CDA en PvdA deel uitgemaakt van de regering. Als vicepremier van 1994 tot 1998 en daarna als partijleider had Dijkstal zich sterk vereenzelvigd met de paarse coalitie van PvdA, VVD en D66. De VVD was daarmee kwetsbaar voor Fortuyns aanval op het politieke establishment. Bovendien had de VVD-leider moeite Fortuyn weerwerk te bieden: anders dan Bolkestein, die graag de confrontatie zocht, was de joviale en ideologisch wat fletse Dijkstal een apaiserend politicus.
Bij de Tweede Kamerverkiezingen op 15 mei 2002 leed de VVD veertien zetels verlies. Na de ongekende nederlaag trad Dijkstal gedesillusioneerd terug. Hij werd opgevolgd door de ‘paarse’ minister van Financiën Gerrit Zalm, die meteen probeerde de VVD rechtser te positioneren. Met het CDA en de Lijst Pim Fortuyn (LPF) vormde de VVD het eerste kabinet-Balkenende, dat het nog geen drie maanden uithield. Bij de vervroegde Kamerverkiezingen op 22 januari 2003 won de VVD vier zetels. De LPF werd in de regeringscoalitie afgelost door D66. Zalm, die tijdens het eerste kabinet-Balkenende fractievoorzitter was gebleven, koos nu voor het kabinet. Als fractievoorzitter trad Jozias van Aartsen aan. Hij gunde zijn fractieleden veel vrijheid, soms ten koste van de eenheid. In september 2004 stapte Geert Wilders uit de fractie – als eerste VVD-Kamerlid sinds de oprichting van de partij in 1948. Hij had zich vooral gestoord aan de instemming van de fractie met onderhandelingen met Turkije over toetreding tot de Europese Unie. Hij zou op 22 november 2006 aan de Tweede Kamerverkiezingen meedoen met zijn Partij voor de Vrijheid (PVV) en negen zetels behalen.
Net als in de tweede helft van de jaren tachtig kende de VVD in de periode 2003-2006 geen eenduidig en onomstreden leiderschap. Van Aartsen ambieerde de eerste man van de VVD te worden, terwijl vicepremier Zalm zichzelf als partijleider beschouwde. In de herfst van 2004 probeerde Van Aartsen het leiderschap naar zich toe te trekken, maar van het partijcongres moest hij het doen met de aanduiding ‘politiek aanvoerder’. Toen de VVD bij de gemeenteraadsverkiezingen op 7 maart 2006 verloor, stapte hij op als fractievoorzitter.
In juni 2006 viel het tweede kabinet-Balkenende. Twee VVD’ers speelden hierbij een hoofdrol: minister Rita Verdonk voor Vreemdelingenbeleid en Integratie en het Tweede Kamerlid Ayaan Hirsi Ali. Eerder al had Verdonk zich kandidaat gesteld voor het lijsttrekkerschap. Deze functie was vacant omdat Zalm had aangegeven niet weer de lijst te willen aanvoeren. Staatssecretaris Mark Rutte had zich ook als kandidaat aangemeld. De leden konden voor het eerst de nieuwe lijsttrekker aanwijzen; op 31 mei 2006 zou bekend worden wie de lijsttrekker werd bij de vervroegde Kamerverkiezingen in november.