Agnes er en engelskprofessor som er følelsesmessig knust i etterdønningene av et seksuelt overgrep. Selv om verden beveger videre, så blir hun låst fast til denne hendelsen. Filmen er fortalt i fem kapitler som strekker seg over flere år, og skildrer Agnes' indre kamp mens hun prøver å gjenvinne en følelse av kontroll, identitet og tilknytning. Agnes' reise støttes av hennes dype vennskap med Lydie (Naomi Ackie), og en mild romanse med naboen Gavin (Lucas Hedges). I stedet for å skildre den traumatiske hendelsen direkte, fokuserer historien på de måtene den omformer Agnes’ verden – vennskapene hennes, undervisningen hennes og evnen til å være sårbar. Sorry, Baby tilbyr et stille, kraftfullt, sjangerblandende portrett av en kvinne.