Первоначально "По долинам и по взгорьям..." была маршем дроздовцев, самой что ни на есть белогвардейской песней. Она описывала реальное историческое событие - переход отряда под командованием полковника Дроздовского из Румынии в Россию в состав Добровольческой армии. Деникин так описывал тяжелые бои под Новочеркасском:
"... в наиболее тяжелый момент свершилось чудо: неожиданно в семи верстах к западу от Новочеркасска, у Каменного Брода, появился офицерский отряд полковника Дроздовского, силою до 1000 бойцов, который и решил участь боя.
Это была новая героическая сказка на темном фоне русской смуты: два месяца из Румынии, от Ясс до Новочеркасска, более тысячи верст отряд этот шел с боями на соединение с Добровольческой армией..."
"...26 марта Дроздовскому подчинился шедший походом из Измаила отряд полковника Жебрака в составе 130 человек, главным образом из состава так называемой Балтийской морской дивизии (пехотн.)..."

В честь этого похода и родился марш, который стал визитной карточкой дроздовского полка:

"Из Румынии походом
Шел дроздовский славный полк,
Для спасения народа
Исполняя тяжкий долг"...

Упомянутый полковник Михаил Жебрак-Рустанович служил в отдельной Балтийской морской дивизии, которая вошла в состав 6-й армии Румынского фронта и действовала в районе устья Дуная. В начале 1918 сформировал в Измаиле на базе дивизии добровольческий отряд (в составе 130 человек), с которым выступил на соединение с отрядом полковника Дроздовского, двигавшегося в сторону Дона. Из Измаила он принёс "дроздовцам" знамя Балтийской дивизии - морской Андреевский флаг, который стал полковым знаменем офицерского стрелкового полка.

После его гибели 23 июня того же 1918 года в одном из боев с красной армией полк принял полковник Витковский, в честь которого написали другую песню -

"Чей черный "форд" летит вперед
пред славными полками
и кто к победе нас ведет
умелыми руками..."

Через пару лет эта песня превратилась в популярную советскую "Наш паровоз, вперед лети...": новый текст был сочинен к 7 ноября 1922 рабочими киевских главных железнодорожных мастерских...