Гармонь пришла в Россию из Западной Европы в первой половине XIX в. и вскоре стала одним из самых популярных народных инструментов. Русскими мастерами было создано множество разновидностей гармоней, которые назывались по местностям, где их делали: тульская (г. Тула), саратовская (г. Саратов), «черепашка» (г. Череповец), петербургская (г. Петербург) и др. Отличаются они друг от друга размерами, расположением клавиш и кнопок, количеством рядов кнопок (отсюда названия двухрядка, трëхрядка).

На гармони исполняли русские народные мелодии, аккомпанировали пению (см. частушка) и пляске. Без гармониста – музыканта, играющего на гармони, – не проходило ни одно народное гуляние, ни один праздник. Гармонь до сих пор является довольно популярным народным музыкальным инструментом, хотя в наши дни шире распространены еë более совершенные виды – баян и аккордеон.

Русские композиторы (П.И. Чайковский, И.Ф. Стравинский, Д.Д. Шостакович) использовали характерное звучание гармони в своих произведениях. Гармонь – обязательный инструмент в составе оркестра русских народных инструментов.

О гармони написано много стихов, среди самых известных – глава «Гармонь» из поэмы А.Т. Твардовского «Василий Тёркин»:

В русском языке существуют выражения в гармошку и гармошкой, то есть в частых параллельных складках. Например, сапоги в гармошку, то есть с приспущенными голенищами, образующими складки.

В обиходной речи часто используется разговорная форма слова гармошка.