Auf Initiative von Mitgliedern des Theaters der Jungen Welt wurde das Kabarett am 23. April 1954 gegründet, nachdem es bereits am 22. März 1954 das namenlose erste Programm zur Aufführung gebracht hatte. Noch im selben Jahr wurde es als „Politisch-satirisches Kabarett der Stadt Leipzig“ zur städtischen Einrichtung gemacht. Die Namensähnlichkeit mit dem ehemaligen Exil-Kabarett „Die Pfeffermühle“ war zufällig. Erste Probleme mit der SED gab es 1956 nach dem Ungarnaufstand durch das Programm mit dem Titel Rührt Euch, für das auch Erich Loest Texte beigesteuert hatte. Der Leiter der Pfeffermühle Conrad Reinhold ging daraufhin nach West-Berlin.

Im selben Jahr zog die Pfeffermühle in die Elsterstraße im Haus des Kulturbundes. 1959 gab Helga Hahnemann hier ihr Debüt. 1961 folgte der Umzug in das Bosehaus am Thomaskirchhof, wo das Kabarett bis Ende 2007 ansässig war. Seit 2008 kann man die Pfeffermühle in der Gottschedstraße 1 im Kosmos-Haus besuchen. 1964 wurde der seit 1961 amtierende künstlerische Leiter Edgar Külow abgelöst. Sein Nachfolger wurde Horst Günther bis 1979. 1966 erhielt die Leipziger Pfeffermühle den Kunstpreis der Stadt.

Als Autor arbeitete seit 1964 Rainer Otto, der zusammen mit Siegfried Mahler in den siebziger Jahren die meisten Texte verfasste. Als Aushängeschild der Messestadt Leipzig konnte sich das Kabarett verhältnismäßig viel zweideutige politische Anspielungen erlauben. Allerdings waren die Möglichkeiten eingeschränkt durch vorherige Programmabnahme und genehmigungspflichtige Improvisation. Wegen der Kleinheit des Raumes konnten nur höchstens 180 Zuschauer einer Aufführung beiwohnen, Fernsehübertragungen fanden nicht statt, zuweilen jedoch Rundfunkübertragungen. Als einziges Kabarett der DDR durfte die Pfeffermühle in den achtziger Jahren auch im Ausland gastieren.

Nach der Wende gab es beträchtliche finanzielle, strukturelle und inhaltliche Probleme. Im Januar 1993 wurde die Pfeffermühle in eine GmbH umgewandelt. 1994 brannten Teile der Bühne und des Zuschauerraumes aus, am 4. Juni 1995 kam es mit dem 72. Programm zur Neueröffnung. Am 23. April 2004 feierte die Pfeffermühle ihr 50. Jubiläum. Der jetzige Leiter der Pfeffermühle ist Dieter Richter.