Po smrti Václava III. zakusili obyvatelé panství lanšperského a lanškrounského mnohou svízel. Hned v roce 1306 táhl sem z Olomouce Heiman z Dubé, zmocnil se násilně obou zboží a provozoval nad krajinou dva roky krutou vládu. Zejména vybíral na poddaných veliké platby. I museli klášterníci zboží své z rukou Heimanových tisícem těžkých hřiven vyprostiti. Ale tím nebyl utrpení lidu učiněn konec. Hrady v poříčí Orlice jsouce doupaty šlechtických zbojníků a rytířských loupežníků, staly se obyvatelům více postrachem nežli záštitou a ochranou. Rytířové počali za vlády Jindřicha Korutanského (1307 – 1310) činiti z hradů časté výpady a lid na statcích klášterských nelítostně obírati. Proto mniši, aby zboží jejich prosto bylo loupeží, dali sousedním lupičům veliké výkupné. Hrozno je čísti, co očitý svědek opat Petr ze Zbraslavi , sem roku 1325 doraziv,  o utrpeních lidu kolem Ústí, Třebové, Lanšperka a Lanškrouna píše. Lid byl olupován a denně nejhorší hanebnosti na něm konány. Z tohoto vypravování lze tušit, že klášter zbraslavský z obou panství jen nepatrného míval užitku, proto smlouvou z roku 1356 prodal oboje Janu II., biskupu litomyšlskému.

Tak obec naše, která roku 1350 pod duchovní vládu biskupů litomyšlských přišla, nyní i pod jejich světskou moc se dostala.

Každá obec byla povinna jisté roboty ke hradu Lanšperku konati a určitý poplatek biskupovi odváděti. Kupříkladu obec Hrušová platila 40 kop grošů, Kozínoha a Trpík 240 kop grošů ročně.

Ze skromných zpráv soudíme, že biskupové litomyšlští nad panstvím svým mírnou vládu vykonávali. Biskup Jan V. listinou z roku 1412 zprostil obec Českou Třebovou robot „od starodávna“ ke hradu Lanšperk - konaných za poplatek 20 grošů z každého lánu pole.