R.E.M. se formó en Athens, un pequeño pueblo universitario en el noreste del estado de Georgia, Estados Unidos. Descubriendo que tenían gustos musicales similares, el vocalista Michael Stipe y el guitarrista Peter Buck empezaron a trabajar juntos, y con el tiempo conocieron al bajista Mike Mills y al batería Bill Berry.
En abril de 1980, la banda debutó bajo el nombre de Twisted Kites en la fiesta de cumpleaños de su amiga Kathleen O’Brien. Para el verano del mismo año, la banda ya eligió el nombre que emplearía en las siguientes décadas: R.E.M. Este nombre fue elegido aleatoriamente con la ayuda de un diccionario, y en realidad designa una fase del sueño (Rapid Eye Movement, en inglés), que es aquella en la que ocurren los ensueños más profundos.
En esta misma época, la banda conoció a Jefferson Holt, quien se convertiría en el mánager del grupo después de haber visto la primera actuación de la banda fuera de su estado, concretamente, en Carolina del Norte. Más tarde, los miembros de la banda dejaron la universidad, con la firme intención de concentrarse en su carrera musical.
En el siguiente año y medio, la banda hizo una gira por todo el sur de su país, tocando una gran variedad de versiones. En este período, Peter Buck comenzó a desarrollar su distintivo estilo al mismo tiempo que Stipe comenzó a escribir sus primeras letras, muy enigmáticas y crípticas. En el verano de 1981, el grupo grabó su primer single, «Radio Free Europe», producido por Mitch Easter, que incluía como cara B la canción «Sitting Still».
El single fue publicado por el sello discográfico Hib-Tone Records (en realidad, el estudio casero de un amigo del grupo), del que apenas se editaron 1000 copias. El sencillo se convirtió en un éxito inmediato en las radios independientes que tenían una gran influencia en colegios y escuelas de todo el sur. Las letras indescifrables de Stipe y su distintiva voz hicieron del sonido de R.E.M. un sonido único e inimitable en los tiempos que corrían.