Nach neunzehn Jahren Haft in den Steinbrüchen bei Toulon wegen Diebstahls eines Brotes wird Jean Valjean freigelassen. Als er in der Stadt Digne-les-Bains ankommt, will ihn dort nur der Bischof aufnehmen. Doch Valjean, verhärmt und voller Hass, geweckt von seinen Erinnerungen an den Steinbruch, steht in der Nacht auf, um ihm sein Silber zu stehlen. Als der Bischof ihn dabei erwischt, schlägt Valjean ihn nieder und flieht. Am nächsten Morgen bringen ihn Polizisten zurück. Doch der Bischof, der Valjeans Vergangenheit kennt, lügt, um ihm zu helfen, indem er behauptet, er habe Valjean das Silber geschenkt, und gibt ihm vor den Augen der Polizisten auch noch zwei Kerzenleuchter. Dann verabschiedet er Valjean mit den Worten: "Vergessen Sie es niemals: Sie haben mir versprochen, mit diesem Silber ein anständiger Mensch zu werden."
Neun Jahre später kommt ein neuer Polizeipräfekt in die kleine Stadt Vigo. Javert ist ein sehr strenger Mann, der zuvor in den Steinbrüchen bei Toulon Gefängniswärter war. Polizeikapitän Beauvais stellt ihn dem Bürgermeister vor. Dieser ist ein sehr seltsamer Mann; obwohl reich geworden, lebt er in einem kleinen Haus. Man nennt ihn 'Monsieur Le Maire' (frz.: Herr Bürgermeister), von seiner Vergangenheit ist nichts bekannt. Als er Javert sieht, scheint ihn das zu ängstigen. Der Zuschauer erkennt: Monsieur Le Maire ist kein anderer als Jean Valjean.
Zur gleichen Zeit in Valjeans Fabrik: Die Vorarbeiterin entdeckt, dass eine der Arbeiterinnen namens Fantine ein uneheliches Kind hat. Sie bittet Valjean, Fantine kündigen zu dürfen; dieser hört ihr kaum zu und willigt ein, da er noch ganz durcheinander von seinem Zusammentreffen mit Javert ist.
Fantine wird gekündigt und sie muss nun zusehen, wie sie genug Geld verdient, um das Ehepaar aus Montfermeil, bei dem ihre Tochter Cosette gegen Bezahlung lebt, zu entlohnen und selbst noch ausreichend zur Verfügung zu haben. Nachdem sie alles, inklusive ihrer Haare, verkauft hat, bleibt ihr nichts mehr als die Prostitution.
Eines Tages gibt es einen Unfall: Ein Mann, Lafitte, ist unter die Räder seines Karrens geraten. Es scheint keine Möglichkeit zu geben, ihn zu retten, da die Zeit knapp ist. Schließlich kommt Le Maire/Valjean und es gelingt ihm, den Karren zu heben. Lafitte wird gerettet, und Le Maire besorgt ihm eine Stellung als Gärtner in Paris, im Nonnenkloster Petit-Picpus. Javert, ebenfalls anwesend, erinnert sich, dass er nur einen Mann gekannt hat, der stark genug war, um diesen Karren zu heben: den Sträfling Jean Valjean.
Wenige Tage später wird Fantine während ihrer abendlichen Runde von einem Betrunkenen belästigt, es kommt zum Streit, der von Javert unterbunden wird, der dem Mann glaubt und Fantine abführt. Javert will Fantine für sechs Monate ins Gefängnis stecken, doch der Bürgermeister interveniert und sagt, dass nicht Fantine es gewesen sei, die den Streit begonnen habe. Als Javert darauf besteht, Fantine einzusperren, weist Le Maire ihn scharf zurecht und kümmert sich um die kranke Fantine.
Fantine hat Tuberkulose, und es geht ihr nur sehr langsam besser. Sie erzählt Le Maire ihre Geschichte und er verspricht ihr, ihr Kind zu holen; dazu lässt er sich von ihr ein Formular unterschreiben, in dem sie ihm erlaubt, Cosette mitzunehmen. Langsam entwickelt sich eine Liebe zwischen den beiden.
Javert ist inzwischen sicher, in Le Maire Valjean erkannt zu haben. Valjean wird gesucht, da er neun Jahre vor dem Ende seiner Bewährungszeit verschwunden war; angeblich steht darauf lebenslänglich. Er denunziert ihn, doch erhält er als Antwort, dass Valjean bereits gefunden worden sei. Er erzählt Le Maire von dieser Geschichte mit der Bitte, entlassen zu werden, da er der Meinung ist, dass es ihm gegenüber Le Maire an Respekt mangele.
Am nächsten Tag ist der Prozess des angeblichen Valjean. Der echte Valjean erscheint dort und gibt sich als Valjean zu erkennen, geht allerdings, bevor er verhaftet wird.
Zurück an Fantines Bett erzählt er ihr, er werde bald ihre Tochter holen. Fantine weiß, dass sie wohl kaum überleben wird. Sie gibt Valjean eine Kette, das einzige, was ihr geblieben ist, mit der Bitte, dass er sie Cosette gibt. Doch dann kommt Javert, um Valjean zu verhaften. Valjean bittet ihn um drei Tage, um Cosette zu holen. Javert, ungeduldig, erzählt Fantine die ganze Wahrheit, und der Schock ist zu viel für sie: sie stirbt. Valjean schlägt Javert nieder und flieht, wobei ihm Beauvais hilft. Javert verfolgt ihn, sobald er wieder auf den Beinen ist, doch es gelingt ihm nicht, Valjean noch einzuholen.
Dieser ist nach Montfermeil zu den Thénardiers gereist, um Cosette zu holen. Die Thénardiers haben sich die ganze Zeit über von Fantine gut bezahlen lassen und gleichzeitig Cosette als Dienstmagd ausgebeutet. Thénardier versucht nun auch Valjean auszunehmen, doch dieser zeigt ihm Fantines Unterschrift unter der Vollmacht, und Thénardier hat keine andere Wahl, als Cosette gehen zu lassen.
Valjean und Cosette kommen nach Paris. Dort wurden auf Javerts Wink hin die Kontrollen verstärkt, die beiden müssen über die Stadtmauer klettern, wobei Javert sie entdeckt. Doch auf der anderen Seite der Mauer ist ein Nonnenkloster, und zwar jenes, in dem Lafitte als Gärtner arbeitet. Valjean und Cosette erhalten Einlass, Javert wird auf der Suche nach Valjean der Eintritt verwehrt.
Jahre vergehen, Cosette wird zu einer jungen Frau und ist kurz davor, Novizin zu werden; doch es gelingt ihr, Valjean zu überreden, das Kloster zu verlassen. Auf einem Spaziergang lernt sie den jungen Revolutionär Marius kennen und die beiden verlieben sich. Marius wird jedoch von Javert beobachtet, da dieser ihn aufgrund seiner politischen Gesinnung für gefährlich hält. Der Straßenjunge Gavroche schließlich hilft Marius, Verbindung zu Cosette aufzunehmen. Die beiden treffen sich jeden Abend auf einer Parkbank vor Cosettes Haus. Dies bemerkt Javert, und da er Valjean nicht gesehen hat und für einen ehrbaren Bürger hält, will er ihn warnen, was seine Tochter treibt.
Er versucht Valjean zu sprechen, doch dieser hört den Namen und schickt Cosette, die behauptet, er sei nicht da. Javert hinterlässt Valjean einen Brief. Als Valjean diesen liest, wird er wütend auf Cosette. Es kommt zum Streit, an dessen Ende Cosette Valjean dazu bringt, ihr seine Vergangenheit zu erzählen.
Die Studenten planen die Revolution. Doch Marius, eigentlich ihr Anführer, hat anderes im Kopf, nämlich Cosette. Am Abend zuvor hat sie ihm erzählt, dass ihr Vater beschlossen habe, nach England auszuwandern. Auch wenn sie Marius die Gründe nicht erzählt, macht sie doch klar, dass sie mitkommen muss. Javert verkleidet sich als Spion, um die Studenten auszuspionieren. Schließlich ist die Barrikade gebaut, am Abend schleicht sich Marius weg, um Cosette noch einmal zu sehen. Javert folgt ihm und überwältigt ihn. Als Cosette kommt, nimmt er auch sie gefangen. Doch den beiden gelingt es, den Spieß umzudrehen, und Marius nimmt Javert als Gefangenen mit auf die Barrikade.
Cosette erzählt Valjean, was passiert ist, und dieser macht sich auf den Weg zur Barrikade. Er kann Marius dazu überreden, Javert erschießen zu dürfen; doch er lässt ihn gehen und feuert den Schuss in die Luft. Der Junge Gavroche wird erschossen, als er versucht, auf der anderen Seite der Barrikaden die Leichen um ihr Pulver zu erleichtern. Am nächsten Morgen ist die Lage ziemlich aussichtslos. Valjean versucht Marius zu überreden, die Barrikade zu verlassen, doch dieser will seine Freunde nicht verraten. Schließlich fällt die Barrikade. Valjean, als einziger unverletzt, flieht mit dem schwerverletzten Marius durch die Kanalisation. Die Aufständischen, die noch leben, werden erschossen. Javert, auf der Suche nach Valjean, entdeckt den verschobenen Kanaldeckel.
Nahe der Seine kommen Valjean und Marius aus der Kanalisation. Javert wartet bereits. Doch diesmal lässt er sich von Valjean dazu überreden, Marius zu Cosette zu bringen. In Begleitung zweier Polizisten kehrt Valjean zu seinem Haus zurück. Cosette, die die beiden Polizisten sieht, errät, was passiert ist. Sie will Valjean zurückhalten, doch dieser sagt, das sei der Handel gewesen, dass er Marius zu Cosette bringen dürfe. Zum Abschied gibt er ihr die Kette, die Fantine ihm anvertraut hatte.
Javert wartet am Ufer der Seine. Er schickt die Polizisten weg, kaum dass diese ihm den gefesselten Valjean gebracht haben. Doch zu Valjeans eigener Überraschung nimmt ihm Javert schließlich die Handschellen ab und stürzt sich in die Seine. Valjean macht sich auf den Weg zurück nach Hause und ist froh, nun frei leben zu können.