我委托的律师不做为，想与该律师解除委托合同，该怎么办？

我于08年代我弟弟委托海口某律师事务所的律师代理案件，一件民事纠纷，一件是刑事案件，每个案件各收费一万元。签合同当天每个案件各预付50%（五千元）。待案件诉讼结束后再付百分之50%。可该律师收钱以后只到我处了解案件一次以外，就再也没有去了解过案情，屡次打电话催他关注案情，但他都以各种理由搪塞过去，甚至不接电话。对案件不闻不问。刑事案件的当事人在09年办理了“取保候审”。在这期间该律师没有一点做为，民事案件也于09年被高级法院驳回，不与立案。该律师表示继续申诉，但他又没有给予很好的建议，也不做为。今年，在我弟弟多方上访之后终于立案了。现在我弟弟想与该律师解除委托合同，该怎么办？