故老相传，在当朝洪武年间，有一日下午时分，碛口镇的上空，忽然乌云密布，地上也是漆黑一片，大白天的，就已伸手不见五指，过了一会，天空中电闪雷鸣，骤雨倾盆，黄河怒啸，波涛骇人，有人在闪电中，看见卧虎山上，有一条巨大的黑龙，在半空盘旋飞舞，而且奇怪的是，接连三日，皆是如此。

天现异象，当地之人便议论纷纷，然众说纷纭，有说预示灾难的，有说仙人渡劫的......没个定论。没过几天，来了一位须眉皆白的道人，告知当地乡民，黑龙显身，要尽快在卧虎山上修建庙宇祭祀，才能保得一方平安。

因确有很多人亲眼看见了黑龙，且老道人说了那番话后，青天白日间，众目睽睽之下，一瞬就不见了踪迹，众人都认为，那老道长是个神仙，特意来点化他们的。

于是，由当地德高望重的人牵头，联络了周边一十三个村社，共同筹资，计划依照老道长所说的，在卧虎山上，修建一座庙宇。

他们筹划了好些天，建庙的主材大木，却难住了众人，卧虎山道路险峻，平常人就是空手上山，也得小心翼翼，那重达几百上千斤的大木，如何运得上去？

正在人人发愁，又束手无策的时候，一日夜间，黄河与湫水河同时暴涨，两河之水相互堵截，河面一直升到了卧虎山的半山腰处。

这水来得非常怪异，水涨起来的时候，既快且急，按说应该是水往低处流，可山脚下有几十户人家，却都没有被水淹到。

到了第二日清晨，洪水退去，人们便在卧虎山上，看到大批木材。众人都觉得，定然是黑龙显圣，这番更是心诚，人人出力，就地取材，便建起了这个黑龙庙。

自庙建成后，卧虎山周边，就没有遇到过大的天灾，当地乡民都认为是黑龙庇佑，黑龙庙香火因此也甚是兴旺。

在黄河上行船的人，抬头远远望见黑龙庙，就能长长的舒上一口气，知道已靠近碛口，终于可以离船登岸，告别那艰险的黄河水道了。