Armas Järnefelt aloitti säveltäjänuransa 1880- ja 1890-lukujen taitteessa, aikana jolloin kansalliset pyrkimykset värittivät Suomen musiikkia. Myös Järnefelt osallistui kansalliseen projektiin, omaleimaisen suomalaisen sävelkielen luomiseen, mutta samalla hän omaksui vaikutteita Wagnerilta ja ajan myöhäisromanttisista virtauksista. Näiden ainesten synteesistä tuli hänen säveltäjyytensä ydintä.

Järnefeltin varhaiseen tuotantoon kuuluu useita piano- ja kamarimusiikkiteoksia. Näitä ovat belle époquen tuntoja maalaileva Romanssi viululle ja pianolle (1891), keskeneräiseksi jäänyt mutta 2000-luvulla esityskelpoiseksi täydennetty sarja F-duuri viululle ja pianolle (1892) sekä kolme pianokappaletta op. 4 (1895). 1890-luvun edetessä Järnefeltin sävellystyön painopiste siirtyi kuitenkin orkesterimusiikkiin, josta tuli yksinlaulujen ja kantaattien rinnalla yksi hänen tuotantonsa keskeisistä alueista.

Vuosien 1892-1904 välillä Järnefelt sävelsi kymmenkunta orkesteriteosta, joukossa useita laajamuotoisia teoksia kuten sinfoninen runo Korsholma (1894), Sinfoninen fantasia (1895) ja Heimathklang (1895) sekä sarjamuotoiset Serenadi (1893), Sarja pienelle orkesterille (1895) sekä Sarja Es-duuri (1897). Järnefelt sävelsi 1890-luvun alkupuolella myös sinfoniaa, mutta teos jäi keskeneräiseksi ja on saattanut luovuttaa aineistoaan muihin teoksiin, lähinnä Korsholmaan ja Sinfoniseen fantasiaan. Kansainvälisesti tunnetuimpia Järnefeltin teoksista ovat kaksi viehättävää miniatyyriä, orkesterisarjan avausosa ja usein itsenäisenä kappaleena esitettävä Preludi (1895) sekä viululle ja orkesterille sävelletty Berceuse (1904), joka tunnetaan myös erilaisina pienemmän kokoonpanon sovituksina.

Järnefelt sai useimpien oman aikansa suomalaissäveltäjien tavoin vaikutteita Sibeliukselta, mutta hänen tyylilliset ihanteensa erosivat kuitenkin selvästi tästä. Järnefelt oli Sibeliukseen verrattuna säveltäjäolemukseltaan enemmän lyyrikko, jolle sarjamaiset, lyhyistä osista rakentuvat teokset sopivat sinfonista hahmotusta paremmin. Vaikka hän sovelsi teoksissaan usein suomalaiskansallisia aineksia, hän ei kirjoittanut varsinaisia Kalevala-aiheisia orkesteriteoksia. Aikalaiset kuulivat joissakin varhaisissa teoksissa vaikutteita ranskalaisesta musiikista, mm. Massenet'lta, jonka johdolla hän opiskeli Pariisissa, ja myös Tšaikovskin musiikki jätti jälkensä hänen teoksiinsa. Keskeisimmät kansainväliset virikkeensä hän ammensi kuitenkin Wagnerin musiikista. Wagnerista tuli yksi hänen uransa johtotähdistä, jonka teoksia hän usein johti myös kapellimestarina. Selvimmin Wagner-vaikutteet tulevat esiin Korsholmassa ja Sinfonisessa fantasiassa, ja aikanaan niiden "uussaksalaiset" ainekset edustivat uutta ulottuvuutta suomalaisessa musiikissa.

1900-luvun alkuvuosien jälkeen Järnefeltin orkesterisäveltäminen hiipui ja jäi hänen kapellimestarinuransa varjoon. Säveltämisestä hän ei silti luopunut. Yksinlaulutuotanto karttui edelleen, ja uusina teoslajeina mukaan tulivat näyttämömusiikki ja kantaatit.