Le narrateur est enfin reçu chez les parents de Gilberte pour lesquels il éprouve une grande attirance. C’est chez eux qu’il rencontre Bergotte, l’écrivain à la mode qu’il admire depuis si longtemps. Ses visites chez les Swann se multiplient et Gilberte finit par trouver que, trop envahissant, le narrateur empiète sur sa liberté. Peu à peu, les relations entre les jeunes gens se tendent et ils cessent de se voir. Attristé par cette séparation, le jeune homme continue cependant de fréquenter les parents de la jeune fille. Avec le temps, sa peine s’estompe jusqu'à le détacher de Gilberte.
Deux ans plus tard, il part à Balbec avec sa grand-mère pour se soigner. D’abord déçu par la ville et l’hôtel, il finit par s’habituer. Sa grand-mère rencontre une amie d’enfance, Mme de Villeparisis, qui présente le narrateur à son neveu Saint-Loup. Après un premier contact très froid, les jeunes gens deviennent amis. Le narrateur retrouve également un ancien ami, Bloch, lui aussi en villégiature à Balbec, puis il fait la connaissance du baron de Charlus, oncle de Saint-Loup, au comportement étrange. Son attention est attirée par une bande de jeunes filles joyeuses et insolentes. Grâce à Elstir, le célèbre peintre qui séjourne près de Balbec, il parvient à les rencontrer et tombe amoureux de l’une d’elles, Albertine. Ce qui ne l’empêche pas de ressentir parfois une certaine attirance pour d’autres jeunes filles de la bande. Un jour qu’il tente d’embrasser Albertine, celle-ci le repousse durement, le laissant fâché. La fin de la saison arrive et les jeunes filles quittent Balbec avant qu’à son tour, le narrateur rentre à Paris.
