En juin 1995, Le Canard enchaîné publie un document interne de la Ville de Paris, signé par Alain Juppé, donnant ordre à ses services de diminuer le loyer de son fils Laurent, logé dans un appartement relevant des propriétés de la ville de Paris, rue Jacob. Il est locataire, à un prix défiant toute concurrence, d’un appartement de 189 m² dans la même rue, où sont réalisés des travaux pour plusieurs millions de francs aux frais des contribuables. Une plainte pour « prise illégale d’intérêts » est déposée par l’Association des contribuables parisiens, créée ad hoc par Arnaud Montebourg, à l’époque jeune avocat et adhérent du Parti socialiste.

Une information judiciaire est ouverte par le procureur de la République de Paris, Bruno Cotte, qui a considéré que le délit de « prise illégale d’intérêts » était établi. Il annonce cependant son intention de classer le dossier si Alain Juppé quitte son appartement. Le procureur général près la cour d’appel de Paris, Jean-François Burgelin, publie alors un communiqué, approuvé par le ministère de la Justice, affirmant que l’infraction n’était pas constituée et qu’elle était de toute façon prescrite. Cependant, la décision de classement impose à Alain Juppé de déménager.

En 1998, Alain Juppé est mis en examen pour « abus de confiance, recel d’abus de biens sociaux, et prise illégale d’intérêt » pour des faits commis en tant que secrétaire général du Rassemblement pour la République et maire adjoint de Paris aux finances, de 1983 à 1995. Il est considéré comme un élément clé d’un système de financement occulte d’emplois au sein du RPR financés par la mairie de Paris et des entreprises désireuses de passer des contrats publics (sa secrétaire personnelle au RPR fut elle-même rémunérée par une entreprise, le groupe immobilier Ségur, puis par la ville de Paris).

Le 30 janvier 2004, il est condamné par le tribunal correctionnel de Nanterre à dix-huit mois de prison avec sursis dans l’affaire des emplois fictifs de la mairie de Paris et à une peine de dix ans d’inéligibilité. Le tribunal juge notamment que :

« Alain Juppé dans la quête de moyens humains lui apparaissant nécessaires pour l’action du RPR a délibérément fait le choix d’une certaine efficacité en recourant à des arrangements illégaux […] Que la nature des faits commis est insupportable au corps social comme contraire à la volonté générale exprimée par la loi ; qu’agissant ainsi, Alain Juppé a, alors qu’il était investi d’un mandat électif public, trompé la confiance du peuple souverain. […] »

L’appel interjeté par Alain Juppé, immédiatement après sa condamnation, a pour effet de suspendre l’application de cette décision jusqu’à l’arrêt de la cour d’appel. Le 1er décembre 2004, celle-ci réduit la condamnation à quatorze mois de prison avec sursis et un an d’inéligibilité.

La cour d’appel formule quant à elle que :

« Il est regrettable qu’au moment où le législateur prenait conscience de la nécessité de mettre fin à des pratiques délictueuses qui existaient à l’occasion du financement des partis politiques, M.  Juppé n’ait pas appliqué à son propre parti les règles qu’il avait votées au parlement. Il est également regrettable que M. Juppé, dont les qualités intellectuelles sont unanimement reconnues, n’ait pas cru devoir assumer devant la justice l’ensemble de ses responsabilités pénales et ait maintenu la négation de faits avérés. Toutefois, M. Juppé s’est consacré pendant de nombreuses années au service de l’État, n’a tiré aucun enrichissement personnel de ces infractions commises au bénéfice de l’ensemble des membres de son parti, dont il ne doit pas être le bouc émissaire. »

Il démissionne le lendemain de son dernier mandat, celui de maire de Bordeaux. Nombre de commentateurs estiment alors qu’« Alain Juppé paye pour Jacques Chirac » et que, bien que l’ancien Premier ministre soit condamné pénalement, la justice a reconnu Jacques Chirac comme responsable moralement17.