上流周りのコンサル案件をできるのは上司と自分の2人だけ。現職に残るべきか転職するべきか悩んでいます。

ご質問に率直に回答しますと、転職した方がベターかも知れません。前提としては、上流周りのコンサル案件をもっと大きくしていきたいという意図を持たれている、もしくは、いわゆるコンサルティングファーム出身者と呼ばれる人達と同じような力を身につけたいと考えている場合です。

また新しくコンサルファーム出身者が入ってくる可能性はゼロではありませんが非常に低いと私の経験上思われます。
現状のスキルでもコンサルへの転職が可能かは、色々な前提がありますが、可能性はあると思われます。

もう少しお話しましょう。
例えば、BIG4やアクセンチュアのコンサルタントが次のキャリアにどのような会社を選ぶか？という観点では、

・コンサルタントとして更に上を目指す、もしくは少し領域の違うコンサルタントを目指す
　→ 競合コンサルティングファームへの転職
・受託側ではなく発注側に行きたい、もしくはベンチャーで実力を試してみたい
　→ 事業会社への転職
・より上流かつ指示を出す側に行きたい
　→ ファンドへの転職

という流れが多くなっています。
戦略コンサルティングファームで経験を積んだ人が、わざわざ次のキャリアとしてWeb制作会社や専業代理店を考えるのは非常に想像しにくいですし、実際にカジュアル面談にも進んで頂けないケースが殆どです。

現状のスキルでもコンサルティングファームに転職できるかの点ですが、一定の学歴(最低MARCHや地方国公立、できれば理系)＋ベーシックな経験スキル(大手企業へのクライアントワーク、プロジェクトマネジメント経験、抽象的な課題に対して論理的な提案が出来るか、コミュニケーション力、一定の英語力、最近ではシステム開発の知見など)が求められます。

Web制作においては、最上流であるビジネス要件定義(⇔Web構築の要件定義)、大規模CMS/Adobeなどのプロジェクトマネジメント、UXデザイン(IAよりも前段階)の経験を持っていると有利でしょう。またポテンシャル採用としては20代が好まれます。