Der fünfzigjährige Witwer Lasse Karlsson und sein achtjähriger Sohn Pelle reisen um 1900 aus dem verarmten Schweden auf die dänische Insel Bornholm, wo sich der Vater eine Anstellung als Landarbeiter bei den dortigen Großgrundbesitzern und ein paradiesisches Leben verspricht. Er findet jedoch keine Arbeit und kann schließlich nur auf dem Steinhof des reichen Gutsherrn Kongstrup eine schlecht bezahlte Anstellung als Stallknecht annehmen. Pelle muss als Viehhirt arbeiten, wobei er sich mit dem geistig behinderten Jungen Rud anfreundet und erfährt, dass Kongstrup dessen Vater ist.
Die Lebensbedingungen der Knechte und Mägde des geizigen Kongstrup sind extrem hart. Lasse und Pelle müssen beispielsweise in einem Verschlag im Hühnerstall wohnen. Außerdem werden sie von dem sadistischen Lehrling Kongstrups gequält, der Spaß daran hat, seine Untergebenen zu demütigen. Dennoch versucht Lasse, seinem Sohn ein möglichst gutes Leben zu bieten. Er schenkt ihm ein Taschenmesser zum Geburtstag und überrascht ihn mit Erdbeeren von einer eigens aus Tomelilla in Schweden mitgebrachten und sorgsam gehegten Wilderdbeerpflanze.
Pelle besucht mit Erfolg die Dorfschule, wird jedoch von seinen Mitschülern als Ausländer verspottet und erniedrigt. Gleichzeitig muss Pelle erkennen, dass sein Vater es nicht wagt, gegen die entwürdigenden Arbeitsbedingungen und die Obrigkeit aufzubegehren. Pelle freundet sich mit dem Knecht Erik an, der sich stark und unerschrocken präsentiert. Erik weiht den Jungen in seine Pläne ein, in zwei Jahren Dänemark zu verlassen und nach Amerika auszuwandern, wobei Pelle sich ihm anschließen möchte.
Nils, der Sohn eines Lieferanten, und Anna, eine Magd auf dem Steinhof, haben ein heimliches Verhältnis, das von Nils’ Vater strikt abgelehnt wird. Als Anna von Nils schwanger wird, tötet Nils das Neugeborene. Anna wird verhaftet, Nils kommt bei einer Seenot-Rettungsaktion ums Leben.
Erik rebelliert anlässlich einer entwürdigenden Behandlung offen gegen die sklavereiähnlichen Zustände auf dem Gut und bedroht den brutalen Verwalter des Gutsherrn mit seiner Sense. In dem Moment geht jedoch ein Pferd durch, worauf Erik vom Gegengewicht des Ziehbrunnens, einem schweren Stein, am Hinterkopf getroffen wird und fortan geistig behindert ist. Er fristet ein klägliches Dasein auf dem Gehöft und wird schließlich mit unklarem Ziel vom Hof geschafft.
Pelles Vater freundet sich mit einer Seemannsfrau an, Madame Olsen, deren Mann auf See verschollen ist und die in einer einsamen Kate lebt. Die Hoffnung auf eine Heirat und ein besseres Leben zerschlägt sich jedoch, als Bootsmann Olsen unerwartet zurückkehrt. Lasse betrinkt sich daraufhin, wird von seinem entsetzten Sohn aufgefunden und gelobt Besserung. Da er aber mit Madame Olsen eine Nacht verbracht hat, sieht Pelle sich dem Spott der gesamten Schulklasse ausgesetzt.
Am Rande eines ländlichen Volksfestes vergewaltigt Kongstrup seine eigene Nichte, Fräulein Sine. Die schweigt zwar, doch erfährt Frau Kongstrup durch Dritte davon, worauf sie Kongstrup mit dem Messer kastriert – auch aus Wut darüber, dass Kongstrup etliche Frauen im Umkreis geschwängert, doch seiner eigenen nie den ersehnten Sohn geschenkt hat.
Nachdem Pelle den Sohn des Pastors verprügelt hat, weil dieser Pelles Vater wegen der Affäre mit Madame Olsen verspottet hatte, bietet Frau Kongstrup, die den liebenswürdigen Pelle als Sohnersatz betrachtet, den Karlssons ihre Hilfe an und überlegt, Pelle zum Lehrling zu ernennen. Doch Pelle, dem der Steinhof zutiefst verhasst ist, fordert seinen Vater auf, stattdessen mit ihm den Hof zu verlassen und ein besseres Leben zu suchen. Lasse willigt zunächst ein, muss dann jedoch eingestehen, dass er zu alt für einen neuen Anfang ist und trotz der würdelosen Umstände lieber am Hof bleiben möchte. Die beiden verabschieden sich, Pelle bricht allein in eine ungewisse Zukunft auf.