Prameny se rozchází, jestli to bylo desátého či sedmnáctého, jisté však je, že v lednu 1964 vydali Rolling Stones debutové EP. Společnost Decca Records si chtěla vyzkoušet potenciál kapely. Dlouhohrající desky byly tehdy v hudebním průmyslu zaslíbené jen hvězdám. Za ty v Británii byli Beatles, Stouni si to museli teprve „vyhrát“.
Mimochodem, právě od dvojice Lennon – McCartney pocházel první hit Stounů, který se vyšplhal na dvanácté místo britské hitparády. Úspěch singlu I Wanna Be Your Man z listopadu 1963 manažery v Decca přesvědčil, aby podnikli další krok a vydali Stounům EP. Opět šlo ovšem o covery, na nahrávání vlastní muziky si museli Jagger a spol. ještě chvíli počkat.
Kapela ve studiu přezpívala Bye Bye Johnny Chucka Berryho, Money (That’s What I Want), což byl první hit Berry Gordyho a jeho slavného labelu Motown, You Better Move On country-soulového zpěváka Arthura Alexandera a tehdy velký R&B hit Poison Ivy od The Coasters.
Ze skladatelského hlediska se tak Stouni moc neměli šanci projevit, zvukově však zaujali prakticky okamžitě. Jejich rozervaný projev nešlo přeslechnout, vynikal hlavně v Poison Ivy. Dobový uhlazený hit syrovější kytary Keitha Richardse a Briana Jonese, hutnější bicí Charlieho Wattse a floutkovský Jaggerův zpěv posouvaly téměř do jiné galaxie.
Pár týdnů po vydání se The Rolling Stones dostala na špici nejprodávanějších „épíček“ v Británii. V Decca Records neváhali promarnit ani minutu, takže už tou dobou nechali manažeři Stouny naplno pracovat na první dlouhohrající desce, která vyšla na jaře téhož roku.