Йохан Эльмандер долгое время подавал большие надежды, однако звездой европейского уровня так и не стал, хотя играл на чемпионате мира и Европы. Открыл его для большого футбола нынешний наставник сборной Швеции Эрик Хамрен, а в 19 лет Эльмандер оказался в "Фейенорде". Но толком там не заиграл (хотя и выиграл Кубок УЕФА), и с тех пор обретался в основном в средних клубах. Немало забивал в "Брондбю" и "Тулузе", три сезона провел в премьер-лиге в составе "Болтона" (18 голов в 92 матчах). Последний год отыграл на острие атак "Галатасарая", забив 12 мячей – больше у него было только в Дании.

В сборную привлекается с 2002 года, на чемпионате мира-2006 дважды вышел на замену в групповом турнире, на Евро-2008 сыграл три матча на позиции правого инсайда. Хамрен использовал Эльмандера как второго форварда.

В отборочном цикле Евро-2012 сыграл во всех 10 матчах, сделал дубль в гостевом матче с Молдавией (4:1). Братья Эльмандера - Петер и Патрик - играют в шведских клубах.