Forsker av den store dikteren Jeffrey Aspern kommer til Venezia for å møte sin tidligere kjæreste Juliana Bordero, som bor sammen med sin ugifte niese Tina i et stort hus og ikke kommuniserer med noen. Juliana har Asperns brev som helten i historien ønsker å ta tak i, men hun skjuler dem for alle og hindrer alle forsøk fra Asperns biografer og beundrere for å bli kjent med henne. Når hun vet at hun lever i fattigdom, bestemmer helten seg for å leie flere rom av henne. Besatt av ideen om å få brev, er han klar til å dra seg bak niesen sin for å oppnå målet sitt. Hans gamle venn Fru Perst, som han sjekker planene sine med, utbryter: "Å, se på henne først!" For ikke å vekke mistanke i Juliana, dukker helten opp i huset som en amerikansk reisende som vil leie en leilighet med en hage, og en hage i Venezia er en sjeldenhet. Tina aksepterer ham med skummel forvirring, men heltenes høflighet, hans selvsikkerhet og løftet om å sette hagen i orden fører til at hun lover å snakke med tanten. Helten med bated pust venter på et møte med den legendariske Juliana, som viser seg å være en mistenkelig og grådig gammel kvinne, mest interessert i penger. Hun ber helten et ublu gebyr for rommene, og han er til og med redd for at han ved å gå med på det, vil forråde seg: ikke en eneste vanlig reisende vil betale så mye. Men når han snakker om penger, glemmer Juliana alt i verden, er helten enig. Juliana demonstrerer stolt sin evne til å drive virksomhet til den upraktiske og hjelpeløse Tina. Hun bruker penger til Tina, forguder henne og omsorg for henne. Niesen er sympatisk med helten, og han håper å finne en assistent i henne. Helten bosetter seg med Juliana, men om halvannen måned av livet i huset ser han Tina bare en gang - når han tar med penger, men han ser aldri Juliana. Han ansetter en gartner og håper å få vertinne hjemme ved å sende dem blomsterbuketter. En gang han kom hjem på en uhørt time, møter han Tina i hagen. Helten er redd for at han flau henne over utseendet, men hun er glad for å se ham, og viser seg uventet å være veldig snakkesalig. Han prøver å spørre Tina om Aspern og innrømmer til slutt at han er engasjert i arbeidet sitt og leter etter nye materialer om ham. Tina forlater forferdelse. Siden den gang har hun unngått helten. Men så en dag møter han Tina i en stor sal, og hun inviterer ham til å snakke med Juliana. Helten er bekymret, men Tina sier at hun ikke sa noe til Juliana om interessen hans for Aspern. Juliana takker helten for blomstene, og han lover å sende dem fra nå av. Helten prøver alltid å skjule ansiktet til den tidligere Juliana - inspiratoren til Aspern, i den grådige gamle kvinnen, men ser bare den gamle gamle kvinnen som gjemmer øynene under et stygt grønt visir. Juliana vil at helten skal underholde niesen hennes, og han er villig til å gå en tur med henne rundt i byen. Ikke bortskjemt med oppmerksomheten til Tina mer og mer knyttet til helten. Hun forteller ham ærlig alt hun vet om Asperns brev, men hun vet bare at de eksisterer. Hun er ikke enig i å ta brevene fra Juliana og gi dem til helten - fordi det ville bety å forråde tanten hennes. Helten er redd for at Juliana ikke ville ødelegge brevet. Juliana tilbyr helten å forlenge oppholdet i huset deres, men han har allerede brukt så mye penger at han ikke lenger kan betale så dyrt for bolig. Hun samtykker til en fornuftig pris, men helten ønsker ikke å betale seks måneder i forveien og lover å betale på månedlig basis. Som for å erte helten, viser Juliana ham et miniatyrportrett av Aspern, som visstnok er i ferd med å selge. Helten later som om han ikke vet hvem det er, men han liker kunstnerens dyktighet. Juliana sier stolt at artisten er faren hennes, og bekrefter dermed heltenes huk etter hennes opprinnelse. Hun sier at hun på under tusen pund ikke vil skille seg med et portrett. Helten har ikke slike penger, i tillegg mistenker han at hun i virkeligheten ikke hadde tenkt å selge portrettet.
Noen timer senere blir Juliana syk, og Tina er redd for at hun er i ferd med å dø. Helten prøver å finne ut av Tina hvor Juliana holder Asperns brev, men i Tina sliter to følelser - sympati for helten og hengivenhet til tanten. Hun lette etter brev, men fant ikke, og hvis hun gjorde det, vet hun ikke selv om hun ville gi dem til helten: hun vil ikke lure Juliana. Om kvelden, når han ser at døren til Julianas rom er åpen, kommer helten inn og rekker sekretæren, der det, som det ser ut til for ham, kan lagres brev, men i siste øyeblikk ser han seg rundt og merker Julian på dørstokken. I det øyeblikket ser han først hennes uvanlig brennende øyne. Hun suser med raseri: "Den beryktede skribenten!" - og faller i hendene på en niese som har kommet i tide. Neste morgen forlater helten Venezia og kommer tilbake bare etter tolv dager. Juliana døde, og hun var allerede begravet. Helten trøster Tina, spør henne om planer for fremtiden. Tina har tap, og har ikke bestemt seg for noe ennå. Hun gir helten et portrett av Aspern. Helten spør om brevene sine. Han får vite at Tina forhindret Juliana fra å brenne dem. Tina har dem nå, men hun tør ikke å gi dem til helten - når alt kommer til alt Juliana beskyttet dem så misunnelig fra nysgjerrige øyne. Tina antydet skrekkelig til helten at hvis han ikke var en fremmed, hvis han var medlem av familien, så kunne hun gi ham brev. Helten innser plutselig at denne klønete gamle hushjelpen elsker ham og gjerne vil bli hans kone. Han skynder seg ut av huset og kan ikke innse noe på noen måte: det viser seg at han ufrivillig inspirerte den stakkars kvinnen med håp som han ikke kan oppfylle. "Jeg kan ikke gifte meg med en elendig, absurd, gammel provinsiell for en haug med frynsete brev," bestemmer han. Men i løpet av natten innser han at han ikke kan nekte de skattene han hadde drømt om så lenge, og om morgenen synes Tina ham yngre og penere. Han er klar til å gifte seg med henne. Men før han kan fortelle dette til Tina, forteller Tina ham at hun brente alle bokstavene, blad etter blad. Helten blir mørk i øynene. Når han kommer til sans, sprer trolldommen seg, og han ser igjen foran seg en vanlig, baggy-kledd eldre kvinne. Helten drar. Han skriver til Tina at han solgte portrettet av Aspern og sender et ganske stort beløp som han ikke kunne hjelpe med, hvis han virkelig vil selge det. Faktisk overlater han portrettet til seg selv, og når han ser på ham, får hjertet hans tanken på at han har mistet - selvfølgelig er Asperns brev ment.