Նախնական կրթությունը ստացել է ծխական դպրոցում, ապա՝ Երևանի պրոգիմնազիայում։ 1877 թվականին ընդունվել է Մոսկվայի Լազարյան ճեմարանի III դասարանը, 1884 թվականին՝ համալսարանի պատմալեզվագրական ֆակուլտետը, որն ավարտել է 1888 թվականին։ 1889 թվականին ճանապարհորդել է Եվրոպայում (Կոստանդնուպոլիս, Փարիզ, Վիեննա, Լոնդոն)։ Երկար տարիներ Էջմիածնի Գևորգյան ճեմարանում դասավանդել է ռուս գրականություն և լեզու, ընդհանուր գրականություն, հունարեն։ 1912 թվականին կարճ ժամանակով աշխատել է Բաքվում։ Բաքվի կոմունայի օրերին (1918 թվական) եղել է նրա լուսբաժնի վարիչը։ Ողջունել է սովետական կարգերի հաստատումը Հայաստանում, նվիրվել երկրի վերաշինության ու լուսավորության գործին։ Եղել է Վաղարշապատի գավառի լուս-բաժնի վարիչ։ 1922 թվականին աշխատել է ՀՄՍՀ ժողկոմխորհի օրենսդրական հանձնաժողովում։
Երկար տարիներ Էջմիածնի Գևորգյան ճեմարանում դասավանդել է ռուս գրականություն և լեզու, ընդհանուր գրականություն, հունարեն։ 1912-ին կարճ ժամանակով աշխատել է Բաքվում։ Բաքվի կոմունայի օրերին (1918) եղել է նրա լուսաբաժնի վարիչը։
Ստեղծագործություն
1883 թվականին «Աղբյուր»-ում լույս է տեսել Հովհաննիսյանի առաջին բանաստեղծությունը։ 1887 թվականին հրատարակվեց «Բանաստեղծություններ» ժողովածուն, որը ճանաչում բերեց հեղինակին։ 1908 և 1912 թվականներին լույս տեսած ժողովածուներն ամրապնդեցին նրա տեղը հայ պոեզիայի պատմության մեջ։ Հովհաննիսյանը ստեղծեց արևելահայ բանաստեղծական նոր դպրոց, որի ներկայացուցիչները դարձան Հովհաննես Թումանյանը, Ավետիք Իսահակյանը և ուրիշներ։ Հովհանիսյանի պոեզիան հագեցած է բնության սիրով, ռոմանտիկական մեղմությամբ ու քնարականությամբ («Ա՜խ, տվեք ինձ քաղցր մի քուն», 1884)։ Սիրային բանաստեղծությունները («Իզուր է, հոգիս, իզուր, իմ հրեշտակ», 1885, «Կուզեի լինել կարկաչուն վտակ», 1888) աչքի են ընկնում մարդու և բնության կապի ներդաշնակությամբ։ Նրա պոեզիան դեմոկրատական է, ժողովրդային։ Հովհաննիսյանը ընդգծել է իր սերը ճնշվածների ու հարստահարվածների նկատմամբ, պատկերել ժողովրդի ցավերն ու մտահոգությունները («Երկու ճանապարհ», 1883 թվական, «Մնաք բարով, արև, գարուն», 1887, «Աշուղ», 1887)։ Հայ պոեզիայում Հովհաննիսյանն առաջինն է, որ ռեալիստական ճշմարտացիությամբ ներկայացրել է գյուղական կյանքի ներքին հակասությունները («Գյուղի ժամը», 1886, «Հատիկ», 1886)։ Հովհաննիսյանի քնարերգության որոշ նմուշներ ձևով ու բովանդակությամբ առնչվում են ժողովրդական պոեզիայի հետ («Արազն եկավ լափին տալով», 1887, «Ալագյազ բարձր սարին», 1901)։ Դրանց մեջ արտահայտված են ժողովրդի պանդուխտ զավակների ապրումները, պատկերված է հայկական բնաշխարհը։ Հովհաննիսյանը մեծ հայրենասեր է։ Այդ սերը սկզբում ռոմանտիկական էր («Տեսե՞լ ես արդյոք այն բլուրները», 1880)։ Հետագայում նա գրեց «Մայրս» (1896), «Տղմուտ» (1887), «Նոր գարուն» (1897) ռեալիստական գործերը, որոնք արտահայտում էին հայ ժողովրդի կրած տառապանքները։ Հովհաննիսյանի հայրենասիրական ստեղծագործությանը հատուկ են քաղաքացիականությունը, հերոսականությունն ու լավատեսությունը։ Հայրենիքի անձնվեր զինվորը («Մարն ի վեր», 1896), բանաստեղծի համոզմամբ, չպետք է հանձնվի հուսահատության ու լքման տրամադրություններին։ Բանաստեղծը, խորանալով հայոց պատմության և ժողովրդական զրույցների մեջ, ստեղծել է գործեր, որոնցով ոգևորել է ժամանակակիցներին։ «Մյունյաց իշխանը» (1887) պատմահոգեբանական պոեմում Հովհաննիսյանը նորովի է մոտեցել հայոց պատմության որոշ հարցերի, մասնավորապես Վասակ Սյունու դերի լուսաբանմանը։ Հովհաննիսյանը անհաշտ է եղել չարի հանդեպ, տենչացել է լավն ու բարին («Արտավազդ», 1887, «Վահագնի ծնունդը», 1904, «Լուսավորչի կանթեղը», 1904)։ Հովհաննիսյանը բնագրից թարգմանել է եվրոպական և ռուս գրականության դասականների՝ Հոմերոսի, Գյոթեի, Շիլլերի, Հյուգոյի, Պուշկինի, Լերմոնտովի, Նեկրասովի, Հայնեի, Պետեֆիի, Ուլանդի և այլոց երկերը։ Դրանցից մի քանիսը (Վ. Միրակոմլյա, «Անգրագետ», 1886, Ուլանդ, «Երգչի անեծքը», 1888 և այլն) ինքնուրույնի արժեք ունեն։ Հովհաննիսյանը բյուրեղային պարզության հասցրեց հայ նոր պոեզիան, հարստացրեց հայ գրական լեզուն։
1913 թվականին նշվեց բանաստեղծի գրական գործունեության 25-ամյակը, իսկ 1965 թվականին պետականորեն տոնվեց Հովհաննիսյանի ծննդյան 100-ամյակը։ 1948 թվականից ծննդավայրում գործում է Հովհաննիսյանի տուն-թանգարանը։