ということもありますよね？（ない？）
ListViewItemのテンプレートをいじればできます。 ただ、ListViewItemのテンプレートをコピーして編集しても、ListViewItemPresenterとかいうのがあるだけの小さなテンプレートでカスタムしようがありません。
ListViewItemのテンプレートは、generic.xamlにListViewItemExpantedという名前で定義されているものがあります。 GridのThemeResource ApplicationPageBackgroundThemeBrushあたりにマウスカーソルをあてて、F12で飛んで検索してコピーしてきましょう。
こいつにはPointerOverSelectedというVisualStateがあります。こいつの中身を、Selectedと同じにすれば出来上がりです。コードは長いので割愛。