Garner és Affleck először a 2001-es Pearl Harbor-ban szerepeltek együtt, majd a 2003-as Daredavil - A fenegyerek című képregény-adaptációban már mindketten főszerepet kaptak. A forgatáson megkedvelték egymást, de csupán 2004 júliusában kezdtek randevúzgatni, miután Affleck felbontotta eljegyzését előző menyasszonyával, Jennifer Lopezzel, Garner pedig elvált Scott Foley színésztől, akivel mindössze két és fél évig élt házasságban. Hogy elkerüljék Ben Affleck előző kapcsolatának sorsát, melyet nagyrészt a körülötte csapott óriási médiahírverés tett tönkre, a páros csak ritkán mutatkozik együtt a nyilvánosság előtt, és nem szívesen beszélnek a magánéletükről.

Az esküvőt 2005. június 29-én, szerdán tartották meg a karib-térségi Parrot Cay szigetén, amely igen népszerű a sztárok körében, ez többek között Britney Spears, Julia Roberts és Justin Timberlake törzshelye is. A ceremónia  a család és a barátok jelenlétében zajlott, állítólag Garner Alias-beli partnere, Victor Garber is a meghívottak között volt.

2005. december 1-én született meg kislányuk, akit Violet Anne Affleck-nek hívnak.