Il primo conventino fu voluto da San Giacomo della Marca, che ottenne il permesso di costruirlo dal Papa Nicolò V, con la bolla del 22 agosto 1449.
Iniziarono i lavori e a nord del piccolo convento fu edificata anche la chiesa che il Santo volle dedicare alla Madonna delle Grazie.
Intorno alla metà del 1500 sorse l’attuale chiesa, e a nord venne costruito un convento più grande del precedente. Nel 1712 è stata riedificata l’abside, prolungando la zona del coro ed è stata rifatta la torre campanaria.
Tra il 1737 e il 1739 veniva riedificata la facciata della chiesa e sopraelevata la volta. Il portale della chiesa, in pietra è datato 1546, pregevole anche il portone ligneo del sec. XV. Appena entrati, sulla sinistra vediamo i resti di affresco di un anonimo artista del 1500 raffigurante S. Bernardino da Siena e S. Sebastiano. Proseguendo troviamo un altare in legno di stile barocco che racchiude una pregevole tavola di Vincenzo Pagani da Monterubbiano (1525), rappresentante l’Incoronazione della Vergine con i santi: Antonio di Padova, Giovanni Battista, Francesco d’Assisi e Caterina d’Alessandria. Qualche metro più avanti, troviamo un secondo altare in legno, pure barocco, con la tela attribuita a Durante Nobili di Caldarola (sec. XVI), che raffigura la Madonna in trono con i santi Francesco e Andrea Apostolo.
Sempre proseguendo in avanti possiamo vedere una tela del pittore Alessandro Ricci di Fermo (1803) raffigurante il sogno di San Giuseppe.
Portandoci al centro della chiesa e osservando l’abside, possiamo ammirare tre pezzi artistici di grande valore: un bellissimo crocifisso ligneo del sec. XVI (attribuito a Cola dell’Amatrice) e al suo fianco la Madonna e San Giovanni evangelista, tavole sagomate e dipinte da Vincenzo Pagani intorno al 1540. In basso c’è il coro ligneo del 1721 proveniente dall’ex chiesa degli osservanti di Fermo. Da ammirare anche l’artistico tabernacolo in legno intarsiato datato 13 settembre 1692, opera di due frati francescani: Giuseppe da Montalboddo e Francesco da Urbino.
Spostandoci sulla destra troviamo un’altra tela del pittore Vincenzo Civita (1803) raffigurante Santa Margherita da Cortona. Le vetrate della Chiesa sono state eseguite dalla ditta Mellini di Firenze nel 1977, sono raffigurati: L’annunciazione, Madonna col Bambino che sconfigge il drago apocalittico, il cardinale Francesco della Rovere che dona l’immagine della Madonna a San Giacomo, la Pentecoste, i simboli di San Giacomo(Calice e libro dei Vangeli), lo stemma francescano, il monogramma del Nome di Gesù. Sopra la porta d’ingresso c’è la vetrata di fra Arturo Cicchi che rappresenta gli Apostoli Filippo e Giacomo. L’organo elettrico a canne è del 1956 ed è opera della ditta Mascioni di Cuvio (Varese).
