Nyckelharpan var under medeltiden vanligt förekommande i Norden, Baltikum och Nordtyskland, dvs i hela Östersjöområdet. Man avbildade ofta nyckelharpor på kyrkornas kalkmålningar och den äldsta bilden på en nyckelharpa är från 1350-talet och finns i Källunge kyrka på Gotland.

Instrumentet tros ha uppkommit någon gång på 1200- eller 1300-talet. Den äldsta bevarade nyckelharpan är från 1526.

De tangenter med vars hjälp man avkortar strängen för att få olika toner kallas nycklar, därav nyckelharpa.

Från början var nyckelharpan ett ganska enkelt instrument med få strängar, mindre klanglåda än dagens samt inte så många nycklar.
Efter hand har nya modeller utvecklats som har varit anpassade efter nya tiders klangideal.

På 1700-talet försågs nyckelharpan med resonanssträngar, efter förebild från indiska instrument som engelsmännen hade fört med sig tillbaka till Europa. 
Resonanssträngarna går ej att nå med stråken, utan har som uppgift att svänga med och skapa en fyllig klang.
Alla äldre typer av nyckelharpa, som tex moraharpa, kontrabasharpa och silverbasharpa är borduninstrument, dvs att de förutom melodisträngen även har en bordunsträng som låter oavbrutet.

Den moderna nyckelharpan, som också kallas kromatisk nyckelharpa då man kan spela alla halvtoner och i alla tonarter, är inte längre ett borduninstrument.
Den idag vanligaste modellen, som fått sin utformning av spelmannen och byggaren Eric Sahlström, har 4 spelsträngar, 12 resonanssträngar samt 37 nycklar.
Som alla nyckelharpor spelas den horisontellt hängande på bröstet, med en kort stråke.

Från att de sista tvåhundra åren endast förekommit i Uppland, har nu nyckelharpan börjat spridas igen över det ursprungliga utbredningsområdet, men också vidare ut i världen.