根据我个人的看法，这个词确实一直在公家中存在，但只是口语中使用。找了几篇公卿日记，记主没有一个自称麻吕的，一般都是用“余”或者“予”。