まずアプリ内で表示する文字列はすべてres\strings.xmlから取得するように変更します。

strings.xml

プログラム中でstrings.xmlの文字列を取得するには

で取得できます。

xml内でstrings.xmlの文字列を取得する場合は
例えばボタンのラベルに使用するには

で取得できます。

次に、resフォルダ直下に「values-ja」という名前のフォルダを用意します。
そして、「values」フォルダと同じように、strings.xmlを作成します。
キャプチャ

values\strings.xmlには英語表記を、
values-ja\strings.xmlには日本語表記をそれぞれ入力します。

キャプチャ

これで、端末の言語設定が日本語になっている場合はvalues-ja\strings.xml、
それ以外の設定になっている場合はvalues\strings.xmlが参照されるようになります。

↓GooglePlayストアの説明文を英語に対応したい場合はこちら
[Android開発]Google Playストアで英語表記に対応する方法