云集在长安、洛阳、扬州等重要城市。以长安为例，主要聚集在西市附近的坊区，如醴泉坊、延康坊、光德坊、崇化坊等。
很多胡商从事的是珍宝的收购生意，他们面对的，往往是持宝但不知道宝贝价值的唐朝人。而胡商慧眼识珠，往往出手阔绰，不惜以巨资购宝。
武则天时，西域蕃国向朝廷敬献佛教毗娄博义天王的下颌骨和辟支佛的舌头，同时送上珠子一颗。武则天很高兴，派人将这佛家之宝悬于长安城楼，展示给百姓看。天王的下颌骨大如交椅，辟支佛的舌头大如牛舌，那珠子则如拇指一般，呈浅青色，不怎么起眼。
随后把镜头对准长安西明寺。这是长安最大的寺院，面积占去所在延康坊的四分之一。有一天，寺里举办了一个讲经活动，在听讲座的人中有一名胡商，他似乎心不在焉，眼睛一直盯着大殿上的金刚像。这样的状况一直持续了十多天。寺僧感到奇怪，把他拉到一边，细问缘故。
胡商说：“金刚像额头上的那枚珠子，我很感兴趣，可以卖给我吗？”
僧人说：“你要买这珠子？”
胡商说：“我出高价。”
僧人开口报价，说要一千贯钱。
胡商大笑：“才一千贯？”
僧人似乎觉得自己要低了