Mandolina wywodzi się z miniaturowej lutni. W jednej z galerii w Waszyngtonie znajduje się obraz pędzla Agnola Gaddiego (1350-1396, mal. od 1369) przedstawiający anioła grającego na miniaturowej lutni nazwanej mandora. Teraz znaną jako mandolina barokowa.

Mandolina była instrumentem typowym dla wiejskiego i miejskiego folkloru w Europie południowej i wschodniej. Wraz z napływem emigrantów z tych regionów do USA mandolina stała się popularnym instrumentem w Ameryce. Była też jednym z pierwszych instrumentów, którego dźwięk zapisano na cylindrach wynalezionych przez Edisona. Mandolina szybko stałą się popularnym instrumentem muzyki bluesa, country i folk.