Handlingen finner sted på 1880-tallet. i den lille skotske byen Leavenford. I huset til bisarre arkitektur, som prosjektet ble utviklet av James Brody selv, er det: en eldre mor til familiens leder, for hvem den eneste underholdningen er mat, hans kone Margaret, en livsliten kvinne, døtre Nancy (en utmerket student, hvis far vil ha en stor fremtid) og Mary (vågal og en bestemt jente, tvunget til å slutte med utdannelsen sin for å hjelpe moren rundt i huset), sønnen til Matthew, som faren hans skal sende til India, og eieren selv. James Brody, eieren av en hatbutikk, nyter berømmelse og innflytelse i byen, hovedsakelig på grunn av sine velstående kunder. Dette er en grusom og dominerende mann, som forakter alle de som han anser nedenfor seg selv. Han er streng med familien, og noen ganger til og med grusom. Så han forbød Mary å gå på den årlige messen - han ble oppmerksom på møtene hennes med Denis Foyle, en irsk avstamming og selger av et av handelsselskapene, og han ønsker å få slutt på dette bekjentskapet. I strid med forbudet sitt, går imidlertid Mary frem til messen. Der sykler han og Danis i en lystig runde, ser på forestillinger i en fair messe og drar deretter til elvebredden. Denise er fascinert av den unge sjarmen til Mary, og tar den i besittelse av henne, og den uskyldige jenta forstår ikke en gang hva som egentlig skjedde. Full av lidenskap gir den unge mannen henne et tilbud. Begge forstår imidlertid at det snart er umulig å registrere et ekteskap - Denis må først komme seg på beina og skaffe seg eget hjem. Forventningen er så lang at Mary, til hennes overraskelse, begynner å oppdage rare forandringer i figuren. Hun vet ikke hva hun skal tro, og går til legen som forteller at hun er gravid. Mary forteller Denis om dette og ber om å fremskynde bryllupet. Denise bestemmer seg for å be Brody om hendene hennes, men han prøver å slå ham. Den unge mannen klarer å smette unna, og i stedet for Denis Brody treffer veggen, som et resultat som han smertelig treffer hånden. Forvirret av raseri, setter han Mary under husarrest.
Mary er fortvilet - hun er på grensen til selvmord og er allerede klar til å ta gift, når han plutselig får en lapp fra Denis, der han skriver at han allerede har leid et lite hus og snart vil kunne flytte dit. Så kaster Mary ut giften, men føler at det er noe rart som skjer med henne. Magen hennes er uutholdelig smertefull. Hun gjemmer seg hjemmefra på rommet sitt, men plutselig kommer moren til henne. For første gang merker en kvinne datterens hovne mage og forstår alt. Forgjeves ber Mary henne om ikke å si noe til faren sin - oppvokst i hyklerisk moral og fryktet mannen sin i hjel, fru Brody gir datteren. Brody holder seg knapt til å ikke slå den uheldige Mary, men til slutt kaster hun henne utenfor.
På gårdsplassen natt, en storm; vinden skriker fryktelig, lynet glitrer. Mary, i en kjole, vandrer gjennom skogen. Etter lange vandringer i skogen drar hun endelig til elven, men snubler plutselig og faller i vannet. På mirakuløst vis klarer hun å rømme, men hun faller øyeblikkelig i sumpen, og ser knapt lyset fra boliger. Til slutt kommer Mary ut av det blå og vandrer knapt til huset. Hun er redd for mennesker, så hun kommer seg inn i stallen, hvor hun føder en gutt.
Vertinnen kommer tilfeldigvis inn i stallen og oppdager Mary som har mistet bevisstheten. Hun ringer lege, og den uheldige jenta blir ført til nærmeste sykehus,
I mellomtiden reiser Denis på oppdrag til en avsidesliggende skotsk by. Når toget hans passerer en skjelven, halvråtten bro, kan ikke støttene tåle det, og toget faller i avgrunnen. Denise er døende.
Noe senere har Brody en samtale med den berømte bysladderen Grirson, som han får vite at barnet Mary døde på sykehuset. En stor del av skjebnen til Mary tok Dr. Renwick; Foreldrene til Denis hjalp henne med å få en hushjelp i London. Men Brody ser ikke ut til å bry seg: han fornektet datteren og ønsker ikke å høre om henne, til tross for hennes ulykke. Med glede tenker han på Foyle's død.
Snart får Brody vite at i nærmeste fremtid, ved siden av butikken hans, vil et stort haberedyrfirma Manjo & K åpne, som også vil selge hatter. Brodys kontorist Peter Perry inviterer eieren til å innovere i handelen, men han er selvsikker og vil ikke høre noe. Imidlertid gjør vindusdressing av naboer, vakre mannequiner og andre reklame-triks Manjo-butikken til en seriøs konkurrent, og snart vil alle Brodys kunder flytte dit. For å toppe det hele, går også Perry dit, skuffet over det kjedelige, uinteressante arbeidet til den frekke og utakknemlige Brody. Og selv om Brodys økonomiske situasjon har blitt kraftig rystet, fortsetter han å være uhøflig mot kundene. Hans saker blir verre og verre.
Men Brodys viktigste problemer er ennå ikke kommet. Hjemme får han vite at Matthew kommer tilbake fra India på forhånd. Det er rykter i byen om at han ikke gjør dette av egen fri vilje - han fikk sparken for dårlig arbeid. Snart mottar Margaret Brody et telegram fra sønnen, der han ber om å sende ham førti kilo. Faktum er at han i løpet av åtte måneder sendte moren sin fem kilo for å beholde dem, men på grunn av den vanskelige økonomiske situasjonen for familien, brukte hun disse pengene. For å få førti pund, må hun henvende seg til pengeutlånere, og de låner henne ut penger til høye renter. En ulykkelig kvinne nekter seg selv alt, har vanskeligheter med å betale renter og tørker foran øynene.
Matthew er tilbake. Han har forandret seg mye; Han sover til middag, spiser i byen, presser ut penger fra moren, og når han ikke kan få det, stjeler han familiens timer. Det viser seg at med bruden Agnes oppfører han seg ikke bedre. Etter å ha snakket med henne, opplever Margaret et angrep av sykdom som lenge har plaget henne.
Etter å ha vunnet en stor sum penger på biljard, går Mat til et bordell. Burstende inn i et rom møter han en pen jente der og begynner å plage henne, når Brody plutselig dukker opp. En jente som heter Nancy, servitøren til en av bykafeene, venter på ham. En kamp følger; Matt skyter faren, men savner.
Fru Brody lider i mellomtiden utålelige smerter. Legen diagnostiserer kreft. Hun hadde ikke mer enn seks måneder igjen å leve. Hun tilbyr seg å skrive Mary slik at hun kommer til å drive husholdningen, men Brody motiverer skarpt.
Etter en tid innser Brody at han er fullstendig ødelagt. Når hun lærer dette, dør Margaret Brody.
For å mate familien hans, kommer Brody inn i verftet til den lokale rikmannen Sir John Latt. Han introduserer Nancy i huset som husholderske, men hun klarer ikke å styre husholdningen slik avdøde fru Brody gjorde. I tillegg ønsker hun å gifte seg og er lite fornøyd med sin nåværende situasjon. Huset er ødelagt. Brody drikker, og Nancy begynner å være mer oppmerksom på Matthew. Han gjengjelder henne, og hun håper at han gifter seg med henne.
Ser han fullstendig kollaps av sin egen karriere, har Brody nå alle håp om sin yngste datter, og tvinger henne til å studere gjennom hennes styrke for å få et universitetsstipend. Utmattet av underernæring og konstant forfølgelse, skriver Nessie til Mary og ber henne om å komme tilbake.
Snart kommer et brev fra Mary, der hun ber faren om tilgivelse. Han holdt på å skrive et hardt svar da han plutselig fant ut at Nancy hadde flyktet med Matt til Sør-Amerika. Han hadde ikke annet valg enn å gå med på ankomst til sin eldste datter.
Etter et fire års fravær kommer Mary tilbake til Leavenford. Hun er bekymret for søsterens tilstand, og henvender seg til Dr. Renwick, som en gang reddet livet. Han hjelper henne gladelig - han har lenge vært hemmelig forelsket i henne. Som om en tilfeldig undersøker Nessie, finner legen en jente med alvorlig nervøs utmattelse.
Brody lar imidlertid ikke datteren hvile: alt i huset er nå underordnet kampen for et stipend. Av frykt for faren sin, er Nesse redd for å innrømme å føle seg uvel og fortsetter å jobbe hardt. Hun får imidlertid ikke et stipend. Etter å ha lært dette, blir Nessie gal og henger seg selv i fortvilelsesmiljøet.
Da hun kommer hjem, oppdager Mary en søster på en støy og ringer Dr. Renwick. Han forstår at Mary bør tas bort fra dette huset så snart som mulig. Han erklærer hennes kjærlighet og gir et tilbud. De faller i hverandres armer.
I det øyeblikket kommer Brody tilbake fra jobb. Han anklager legen og Mary for utroskap, men legen peker ham på den skjøre kroppen til Nessie. "Nessie hengte seg fordi du ikke mottok et stipend, og du er den skyldige av hennes død," sier han, hvoretter hun og Mary forlater dette huset for alltid. Og så innser Brody skrekken for situasjonen hans: Han innser at han fikk være alene med en halvt sint mor , som, som alle andre, er redd for ham i hjel.