Erken keçeli kalem örnekleri 1940larda görülmüştür. Tasarımı sıradan kalemlere benzemeyen bu keçeli kalemler de mürekkep bir hazne üzerinden değil de gözenekli bir madde aracılığı ile aktarılır.
Sidney Rosenthal, keçeli kalem tasarımında 1953 yılında önemli iyileştirmeler yaptı. Küçük bir cam mürekkebi yünden bir fitil ve yazma ucu ile birleştirdi ve bu icadına herhangi bir yüzey üzerine yazabildiği için "Magic Marker" (sihirli kalem) adını verdi. Rosenthal'ın bu icadının ardından keçeli kalemlerin kullanım oranı büyük oranda arttı.
1962 yılında Tokyo Kırtasiye Şirketi'nden Yukio Horie, günümüzde kullanıldığı şekliyle bilinen modern keçeli kalemi icat etti. Bu keçeli kalem, kendisinden önceki keçeli kalemlere oranla daha küçük bir kalem ucu içerdiğinden kağıt üzerine yazı yazılmasını kolaylaştırıyordu. Horie, kalem gibi kolayca kullanılabilen ancak Japonya'da sıklıkla kullanılan bir tür yazı fırçası geliştirmek istemişti. Akril lifleri birbirine bağlayarak daha sert ve ince bir uç oluşturan Horie'nin keçeli kalemi aynı zamanda mürekkep yerine boya kullanan ilk kalemdi ve bu sayede çok daha çeşitli renklere sahip keçeli kalem üretmek mümkün hale geldi.