Rahmenhandlung: Pierre Morhange, ein berühmter Dirigent, erfährt in New York vom Tod seiner Mutter. Er fliegt nach Frankreich, um an der Beerdigung teilzunehmen. Anschließend besucht ihn Pépinot, sein früherer Schulkamerad aus dem „Fond de l’Etang“ (Franz. „Grund des Teiches“), einem Internat für Jungen aus schwierigen Verhältnissen. Pépinot überreicht Morhange das Tagebuch ihres damaligen Aufsehers Clément Mathieu, das längst vergessene Erinnerungen weckt.
1949: Clément Mathieu kommt als erfolgloser Musiker ins Internat, um dort als Aufseher (Pedell) für die Schüler zu arbeiten. Am Tor steht der kleine Pépinot, der auf seinen Vater wartet. Der Waise Pépinot glaubt, dieser werde ihn abholen, obwohl er wie die Mutter im Krieg gestorben ist. Der Hausmeister Maxence führt Mathieu zu Rachin, dem Internatsdirektor, der sich über Mathieus verspätete Anreise beklagt. Als Maxence bei einem Schülerstreich verletzt wird, lässt Rachin zum Appell läuten. Da sich niemand zu seiner Schuld bekennt, wird Mathieu von Rachin aufgefordert, für die Bestrafung einen beliebigen Jungen aus der Namensliste auszusuchen. Mathieus Vorgänger Régent verrät Mathieu den Schuldigen: Le Querrec. Statt ihn an den Direktor zu verraten, verpflichtet Mathieu den Jungen, sich in den Pausen um den verletzten Maxence zu kümmern.
Nachdem Mathieu eines Abends die Jungen ein Spottlied (schief) hat singen hören, kommt ihm die Idee, den Knaben das Singen beizubringen. Er beginnt erste Melodien zu komponieren. Als Pierre Morhange, ein laut Régent besonders schlimmer Schüler, den Direktor mit einer Zeichnung verärgert, muss er in den Karzer. Während er dort einsitzt, will ihn seine Mutter Violette außerplanmäßig besuchen; Mathieu soll sie wegschicken. Er erklärt ihr, sie könne ihren Sohn nicht sehen, da er gerade beim Zahnarzt sei, nichts Schlimmes. Mathieu ist hingerissen von der schönen Frau und verliebt sich in sie.
In der nächsten Unterrichtsstunde lässt Mathieu die Jungen vorsingen und teilt sie nach Stimmlagen ein. Er will einen Chor gründen, doch als er Rachin um Erlaubnis bittet, ist dieser wenig begeistert. Er lässt Mathieu jedoch gewähren.
Der nun vom Direktor legitimierte Chor probt stetig und wird immer besser. Pierre Morhange, der nach den Wochen im Karzer zusätzlich zu gemeinnütziger Arbeit gezwungen wird, lauscht den Chorproben. Nach einer Probe schleicht er sich ins Klassenzimmer und beginnt, für sich allein zu singen. Einige Zeit später wird er von Mathieu ertappt. Dieser ist von Morhanges Stimme begeistert. Er bekommt fortan Einzelunterricht und soll den Chor als Solosänger unterstützen.
Bereits im Februar ist der stark aggressive Mondain an die Schule gekommen, der seitdem Schüler wie Lehrer drangsaliert. Als er während einer Sportstunde verschwindet und Rachin wenig später den Verlust von 2000 Francs beklagt, ist der Direktor außer sich. Er macht in seiner Wut Mathieu und den Sportlehrer Chabert dafür verantwortlich und verbietet den Chor. Außerdem muss er die Bestellung neuer Kohle zum Heizen erneut aussetzen, da fast alle Ersparnisse gestohlen wurden. Chabert ermutigt Mathieu, sich über das Chorverbot und die Anordnung strikter Disziplin hinwegzusetzen und verwendet die persönlichen Holzvorräte des Direktors, um den Jungen nach Wochen das erste heiße Bad zu ermöglichen. Von nun an probt der Chor „im Untergrund“.
Als Mondain einige Tage später von der Polizei zurückgebracht wird, versucht Rachin den Verbleib des Geldes aus ihm herauszuprügeln. Nach vielen Schlägen ins Gesicht springt Mondain auf und versucht, Rachin zu erwürgen, wird aber vom herbeieilenden Chabert und dessen Kollegen daran gehindert. Rachin lässt ihn nun endgültig wegen Diebstahls und Mordversuchs von der Polizei verhaften.
Morhange muss in den folgenden Tagen mit ansehen, wie Mathieu mehr Zeit mit seiner Mutter verbringen kann als er selbst. Während Mathieu ihr von Morhanges verbesserten Leistungen im Unterricht und seinem außergewöhnlichen Gesangstalent berichtet, wird er aus dem Fenster im Obergeschoss von Morhange mit Tinte überschüttet. Als Mutter und Lehrer anschließend erfahren, wer für den Streich verantwortlich ist, verlässt die Mutter enttäuscht und beschämt das Internat. Zur Strafe streicht Mathieu Morhanges Solostellen im Chor. Bei einem späteren Treffen zwischen Mathieu und Morhanges Mutter eröffnet diese ihm, sie habe einen Ingenieur kennen gelernt, mit dem sie für ein gemeinsames Leben nach Lyon ziehen werde – Mathieu ist zutiefst enttäuscht.
Als sich herumspricht, dass die Problemjungen erfolgreich als Chor proben, will auch Madame la Comtesse, eine Gönnerin der Schule, den Chor singen hören. Der Direktor ist zwar empört über den Fortbestand des Chores, möchte aber bei der Comtesse keinen schlechten Eindruck erwecken und lässt die Jungen vorsingen. Während des Auftritts darf Morhange sein früheres Solo wieder singen, er ist glücklich und dankbar und versöhnt sich mit Mathieu.
Durch einen überraschenden Fund in einem „geheimen“ Versteck wird klar, dass nicht wie vermutet Mondain das Geld gestohlen hat, sondern ein Junge namens Corbin, der Mathieu ursprünglich mit seinem „falschen“ Gesang auf die Idee des Chores gebracht hatte. Mathieu berichtet dem Direktor von Mondains Unschuld, Rachin kümmert die Klarstellung allerdings nicht, da er den gewalttätigen Jungen ohnehin als gescheitert betrachtet. Er macht sich auf den Weg nach Lyon, wo er von der Comtesse eine Medaille für seine Dienste erhalten soll. Gerade angekommen erfährt er, dass das Internat brennt und Mondain aus dem Gefängnis entflohen ist. Eilig kehrt er zurück; zahlreiche besorgte Eltern haben sich bereits versammelt. In dem Moment kehrt Mathieu mit den Jungen aus dem Wald zurück, wo sie in Abwesenheit des Direktors Unterrichtszeit mit Spielen verbracht haben. Wegen Unterlassung der Aufsichtspflicht wird Mathieu entlassen. Rachin verbietet ihm außerdem, sich von seinen Schülern zu verabschieden. Enttäuscht verlässt Mathieu die Schule, wird aber auf den Gesang aufmerksam, der aus dem offenen Fenster des Klassenraums klingt. Die Jungen lassen Papierflieger in den Hof fliegen, auf dem sie sich bei ihrem Lehrer bedanken. Mathieu ist berührt von dieser Geste und schöpft neue Hoffnung für seine Zukunft und die Zukunft seiner Schüler.
Hier enden die Tagebücher Mathieus. In der Gegenwart berichtet der erwachsene Morhange (in Rückblende mit Narration), wie es für ihn und seine Freund weiterging: Morhange wird von seiner Mutter von der Schule genommen und geht mit ihr nach Lyon, wo er anschließend ein Konservatorium besucht. Der Ingenieur verlässt sie nach kurzer Zeit, aber Mutter und Sohn bleiben gemeinsam dort. Direktor Rachin wird wegen seines harschen Regiments entlassen, nachdem die Schüler als Zeugen gegen ihn Aussagen. Als Mathieu das Internat verlässt und in den Bus steigen will, kommt Pépinot angerannt und bittet Mathieu, ihn mitzunehmen. Zuerst schickt Mathieu ihn zurück, ändert dann aber seine Meinung und nimmt ihn doch auf. Dieser Tag ist ein Samstag – damit hatte Pépinot recht behalten, denn an einem Samstag sollte ihn sein Vater abholen.