Forsker af den store digter Jeffrey Aspern ankommer til Venedig for at møde sin tidligere elsker Juliana Bordero, der bor sammen med sin ugifte niese Tina i et stort hus og ikke kommunikerer med nogen. Juliana har Asperns breve, som historiens helt ønsker at få fat i, men hun skjuler dem for alle og modvirker alle forsøg fra Asperns biografer og beundrere for at lære hende at kende. I at vide, at hun lever i fattigdom, beslutter helten at leje flere værelser af hende. Besat af ideen om at få breve er han klar til at trække sig bag sin niese for at nå målet. Hans gamle ven Fru Perst, som han tjekker sine planer, udbryder: ”Åh, se på hende først!” For ikke at vække mistanke i Juliana vises helten i huset som en amerikansk rejsende, der ønsker at leje en lejlighed med en have, og en have i Venedig er en sjældenhed. Tina accepterer ham med engstelig forvirring, men heltens høflighed, hans selvsikkerhed og løftet om at få haven i orden får hende til at love at tale med hendes tante. Med et synkende hjerte venter helten på et møde med den legendariske Juliana, der viser sig at være en mistænksom og grådig gammel kvinde, mest interesseret i penge. Hun beder helten et ublu gebyr for værelserne, og han er endda bange for, at ved at acceptere det, vil han forråde sig: ikke en enkelt normal rejsende ville betale så meget. Men idet hun sørger for, at Juliana, når han taler om penge, glemmer alt i verden, er helten enig. Juliana demonstrerer stolt sin evne til at drive forretning foran den upraktiske og hjælpeløse Tina. Hun bruger penge til Tina, der forguder hende og trofast sørger for hende. Niesen er sympatisk med helten, og han håber at finde en assistent i hende. Helten bosætter sig med Juliana, men efter halvanden måned af at bo i huset ser han Tina kun én gang - når han bringer penge, men han ser aldrig Juliana. Han ansætter en gartner og håber at få husets elskerinner og sende dem blomsterbuketter. En gang han vender hjem på en uforstyrret time, møder han Tina i haven. Helten er bange for, at han flovede hende med sit udseende, men hun er glad for at se ham og viser sig uventet at være meget snakkesalig. Han prøver at spørge Tina om Aspern og indrømmer endelig, at han er engageret i sit arbejde og leder efter nye materialer om ham. Tina forlader forfærdelse. Siden da har hun undgået helten. Men så en dag møder han Tina i en stor hall, og hun inviterer ham til at tale med Juliana. Helten er bekymret, men Tina siger, at hun ikke sagde noget til Juliana om hans interesse i Aspern. Juliana takker helten for blomsterne, og han lover at sende dem fra nu af. Helten forsøger altid at skelne i den grådige gamle kvinde udseendet af den tidligere Juliana - inspiratoren fra Aspern, men ser kun den gamle gamle kvinde, som skjuler øjnene under et grimt grønt visir. Juliana vil have, at helten skal underholde hendes niese, og han er villig til at gå en tur med hende rundt i byen. Ikke forkælet af Tinas opmærksomhed mere og mere knyttet til helten. Hun fortæller ham ærligt alt, hvad hun ved om Asperns breve, men hun ved kun, at de findes. Hun er ikke enig i at tage breve fra Juliana og give dem til helten - fordi det ville betyde at forråde hendes tante. Helten er bange for, at Juliana ikke ville ødelægge brevet. Juliana tilbyder helten at forlænge sit ophold i deres hus, men han har allerede brugt så mange penge, at han ikke længere kan betale så dyrt for boliger. Hun accepterer en rimelig pris, men helten ønsker ikke at betale seks måneder i forvejen og lover at betale månedligt. Som for at drille helten, viser Juliana ham et miniatyrportræt af Aspern, der angiveligt er ved at sælge. Helten foregiver at vide, at han ikke ved, hvem det er, men han kan godt lide kunstnerens dygtighed. Juliana siger stolt, at kunstneren er hendes far, hvorved han bekræfter heltenes trang til hendes oprindelse. Hun siger, at hun på under tusind pund ikke vil skille sig med et portræt. Helten har ikke sådanne penge, derudover har han mistanke om, at hun i virkeligheden ikke ville sælge portrættet.
Få timer senere bliver Juliana syg, og Tina er bange for, at hun er ved at dø. Helten forsøger at finde ud af fra Tina, hvor Juliana holder Asperns breve, men i Tina kæmper to følelser - sympati for helten og hengivenhed til tanten. Hun kiggede efter breve, men fandt ikke, og hvis hun gjorde det, ved hun ikke selv, om hun ville have givet dem til helten: Hun vil ikke narre Juliana. Om aftenen, da han ser, at døren til Julianas værelse er åben, kommer helten ind og når hen til sekretæren, hvor, som det ser ud til ham, kan der gemmes breve, men i sidste øjeblik ser han sig rundt og bemærker Juliana på døren fra soveværelset. I det øjeblik ser han først hendes usædvanligt brændende øjne. Hun suser med raseri: "Den berygtede skribler!" - og falder i hænderne på en niese, der er ankommet i tide. Den næste morgen forlader helten Venedig og vender først tilbage efter tolv dage. Juliana døde, og hun var allerede begravet. Helten trøster Tina, spørger hende om planer for fremtiden. Tina er tabt og har ikke besluttet noget endnu. Hun giver helten et portræt af Aspern. Helten spørger om sine breve. Han får at vide, at Tina forhindrede Juliana i at brænde dem. Tina har dem nu, men hun tør ikke give dem til helten - når alt kommer til alt, Juliana så nidkogt beskyttet dem fra nysgerrige øjne. Tina antyder skyvende til helten, at hvis han ikke var en fremmed, hvis han var et familiemedlem, så kunne hun give ham breve. Helt indser pludselig, at denne klodsede gamle pige elsker ham og gerne vil blive hans kone. Han skynder sig ud af huset og kan ikke komme til noget på en måde: det viser sig, at han ufrivilligt inspirerede den fattige kvinde med håb om, at han ikke kan opfylde. ”Jeg kan ikke gifte mig med en elendig, absurd, gammel provinsiel for en masse flossede breve,” beslutter han. Men i løbet af natten er han klar over, at han ikke kan nægte de skatte, han havde drømt om så længe, og om morgenen synes Tina ham yngre og smukkere. Han er klar til at gifte sig med hende. Men før han kan fortælle dette til Tina, fortæller Tina ham, at hun brændte alle breve, blad efter blad. Helten bliver mørk i øjnene. Når han kommer til sans, spredes trylleformularen, og han ser igen foran sig en almindelig, baggy-klædt ældre kvinde. Helten forlader. Han skriver til Tina, at han solgte portrættet af Aspern og sender et ret stort beløb, som han ikke kunne hjælpe med, hvis han virkelig ønsker at sælge det. Faktisk overlader han portrættet til sig selv, og når han ser på ham, ømmer hans hjerte ved tanken om, at han har mistet - naturligvis menes Asperns breve.