有通往蜀地的栈道。任安认为武功是一个小县，没有豪门大族，容易提高自己的地位，就留居下来，代替别人做求盗，亭父。后来做了亭长。县里的百姓都出城打猎、任安常常给人们分配麋鹿、野鸡、野兔等猎获物，合理安排老人、孩子和壮丁到或难或易的地方，大家都很高兴，说：“没有关系，任少卿分析辩别事情公平，有智谋。”明天又集合开会，聚会的有几百人。任少卿说：“某某的儿子名叫甲的，为什么不来呢？”大家都惊讶他认识人的迅速。后来他被任命为乡中的三老，举荐为亲民之吏，主持乡邑之事，后
又被任命为享受三百石俸禄的官长，管理百姓。由于皇帝出巡时陈设帷帐供给使用的事情没有做，被罢免官职。
这以后就做了卫青将军的门客，和田仁在一起，都做门客，住在将军府里，二人知心友爱。这二人都家中贫困，没有钱去买通将军的管家，管家让他们喂养主人的烈马。两人同床而眠，田仁悄悄地说：“太不了解人了，这个管家！”任安说：“将军尚且不了解人，何况他是管家呢？”一次卫将军让他俩跟随自己拜访平阳公主，公主家的人让他们俩和骑奴同在一张席子上吃饭，这两人拔刀割裂席子和骑奴分席而坐。公主家的人都惊异而厌恶他俩，也没有谁敢大声喝斥。
后来皇帝下诏书征募选拔卫将军的门客做自己的侍从官，将军挑选了门客中富裕的人，让他们准备好鞍马、绛衣和用玉装饰的剑，然后想去进宫报告。正好贤能的大夫、少府赵禹前来拜访卫将军，将军召集所举荐的门客给赵禹看。赵禹依次考问他们，十多个人中没有一个通晓事理有智谋的。赵禹说：“我听说，将军家中一定有能当将军一类的人才。古书说：‘不了解那个国君看一看他任用的人，不了解那个人看一看他结交的朋友。’现在皇帝下诏书命令举荐将军门客的原因，想要以此看一看将军能够得到怎样贤德的人和文武人才。现在只是挑选有钱人的子弟上报，这些人没有智谋，就像木偶人穿上锦绣衣服罢了，你准备怎么办呢？”于是赵禹召集卫将军的全部门客一百多人，又依次考问他们，发现了田仁，任安，说：“只有这两个人行啊，其余的都没有能够任用的。”卫将军看到这两个人贫困，内心忿忿不平。赵禹走后，对他们俩人说：“各人自己去准备鞍子和新绛衣等。”两人回答说：“家中贫困没有可用的东西。”卫将军发怒说：“现在您两位自己是贫穷的，为什么说出这样的话呢？愤愤不平的样子好像对我有过恩德，这是为什么？”卫将军出于无可奈何，只得写了报告让皇帝闻知。皇帝下达诏书召集卫将军的门客，这两个
