Фрэнсис Бретт Гарт родился 25 августа 1836 года в Олбани (штат Нью-Йорк), где отец его был преподавателем греческого языка в колледже. Своё имя получил в честь прадеда — Фрэнсиса Бретта (Francis Brett). Отец со временем сменил фамилию с Hart на Harte, а сам Фрэнсис Бретт Гарт предпочитал второе имя, которое он сократил до Брет.
