1408년(태종 8)에 현유(賢儒)의 위패를 봉안하고 지방민의 교육과 교화를 위하여 창건하였다. 임진왜란으로 소실되었다가 1600년(선조 33) 부사 정기남(鄭奇男)이 김해읍 동쪽 다전동에 중건하였다. 1683년(숙종 9) 향교 뒷산이 사태로 무너지자, 1688년에 김후수(金後修)와 부사 이행익(李行益)이 현재의 위치로 이전하여 대성전과 동무·서무를 건립하였고, 이듬해에 동재·서재를 건립하였다. 1693년 부사 이하정(李夏禎)이 명륜당과 남루(南樓)를 중건하였으며, 1769년(영조 45) 화재로 소실되자 이듬해 재건하였다. 1880년(고종 17)에는 김익성(金益成)이 중수하였고, 1887년에는 교궁을 보수, 단청하였으며, 내삼문(內三門)도 수리하였다. 1904년에는 군수 이근홍(李根洪)이 중수하였고, 1972년 대성전·명륜당·삼문(三門)을, 1975년 서무(西廡)를 보수하여 오늘에 이르고 있다. 현재는 교육적 기능이 없어지고 봄·가을에 석전(釋奠：공자에게 지내는 제사)을 봉행하고 초하루·보름에 분향을 올리고 있으며, 전교(典校) 1명, 장의(掌議) 여러 명이 운영을 담당하고 있다. 이 향교는 현재 경상남도 유형문화재로 지정되어 있으며, 소장 전적 가운데 ≪김해향안 金海鄕案≫·≪김해효열전 金海孝列傳≫ 등은 향토사연구에 좋은 자료가 된다.