玛瑙由于常具红色，我国古时曾称之为“赤琼”或“赤玉”，是一种很早就被人们利用的玉石。在各个时代，玛瑙一直是人们心目中的珍宝，并用于制作各种艺术品和装饰品。金代更把玛瑙钦定为帝王贵胄专用的瑰宝，明文规定，百姓不准使用玛瑙器皿，及用之装饰刀把和鞘。元代继承了金代的传统，把玛瑙的利用推向更加鼎盛的时期。在宫廷中专门设置了玛瑙玉局，并“领玛瑙匠户五百有奇”，专为帝王贵胄制作玛瑙等玉器，以供赏玩。明清时玛瑙也很盛行，迄今仍有不少当时的玛瑙制品流传下来。

玛瑙一名，据说始于汉代。有人认为源自佛经，在梵文中本为“阿斯马加波”，意即“马脑”。后又因“马脑”属玉，遂转写为“玛瑙”。很有文才的魏文帝曹丕（187—226）曾写过一首《玛瑙勒赋》，曰：“玛瑙玉属也，出西域，文理交错，有似马脑，故其方人因以名之。命夫良工，是剖是镌，追形逐好，从宜索便，乃如砥砺，刻方为圆，沈光内照，浮景外鲜，繁文缛藻，文采接连”。道出了玛瑙一名的来历。

在国外，玛瑙也是人们很早就已利用的珍宝之一。据报道，大约最早的玛瑙制品发现于爱琴海公元前约四千年的早期文化里。位于中东两河流域的古苏美尔人也很早就用玛瑙来制作饰品和象征权势的工具，迄今美国纽约的自然历史博物馆中还可看到，苏美尔人在公元前3 000～前2 300年制作的玛瑙玉斧。此外，远在亚洲东北侧的日本古墓中，人们也发现有与苏美尔玉斧差不多同时代的玛瑙制品。在古埃及、古波斯也都有使用玛瑙的记录。那时的古埃及人和古波斯人常用玛瑙制作戒指，戒面上则刻有伊斯兰圣经、魔术符号或数字，用作代代相传的护身宝贝。有趣的是，在古波斯，人们还相信玛瑙是解蝎毒的良药；还认为一种表面带有斑点似狮皮的玛瑙可以使人免除蝎子的毒害。他们还认为把玛瑙扔进装满油和颜料的坛子里煮2小时，若玛瑙的颜色变成朱红，就能给人提供战无不胜的力量，保证胜利。古希腊人则相信，把玛瑙系在通向海底的绳子上，就能指引潜入海底的采珠人找到珍珠。

玛瑙，在英文中写作“agate”，据说其名源自古希腊的哲学家赞奥法拉托（前372—前287），他在西西里岛的Achates河发现了这种美丽的宝石，并作了相应的描述。