Универсальный футболист, может сыграть как в центре полузащиты, так и на любом из флангов. Три последних сезона провел в составе АЗ, с 17 лет играл за "Кальмар". Мастер стандартных положений, много забивает со штрафных ударов, является штатным пенальтистом клуба из Алкмара.

В сборной Швеции Эльм начал выступать в 2009 году, в отборочном цикле Евро-2012 сыграл 5 матчей. Начало пропустил из-за травм, которым Расмус постоянно подвержен. Последнюю получил в середине апреля - за полтора месяца до старта чемпионата Европы.

Два старших брата Расмуса Эльма - футболисты. Давид выступает за "Эльфсборг", Виктор - за "Херенвен", успев сыграть и в национальной команде. Три брата Эльм сыграли в победном для "Кальмара" финале Кубка Швеции 2006 года с "Гетеборгом", а в 2008-м Эльмы привели клуб к чемпионскому титулу.