La que quizá es la banda de rock más compleja que ha surgido en años fue fundada en Nueva York, concretamente en Brooklyn, por Eleanor y Matthew Friedberger en 2000. Muchas bandas esperan a tener varios discos en el mercado para lanzar operas-rock y discos conceptuales, pero The Fiery Furnaces lo hizo en su segundo disco, "Blueberry Coats" tan solo dos años después de firmar con el sello Rough Trade en 2002 y lanzar su primer disco "Gallowbird's Bark", que recibió una calurosa recepción por parte de la crítica especializada. Ese disco fue solo uno de los ejemplos que ha llevado a The Fiery Furnaces a ser considerados aunténticos camaleones sónicos, imprevisibles y a ser comparados constantemente con White Stripes, y no solo por que Eleanor y Matthew sean hermanos. Tras esos primeros discos, en 2004 los Fiery Furnaces estuvieron casi todo el año girando con Ted Leo & the Pharmacists, Franz Ferdinand and the Shins, sin dejar de preparar nuevos temas, que finalmente vieron la luz con su tercer y cuarto disco, además de publicar caras B, y Eps que no hacían más que demostrar la hiperactividad de este dúo. "I'm Going Away" es el octavo disco de The Fiery Furnaces. Fue grabado y mezclado por Jason Loewensteins a finales de 2008 y principios de 2009 en Nueva York.