Androidでは、以下でファイルの削除ができます。

File file = new File(Environment.getExternalStorageDirectory() + "/hoge.jpg");
file.delete();

ただしギャラリーからは削除されず、消した画像へのパスが残ったままになります。
これを解消するには、ContentProviderから任意のファイルを削除します。

context.getContentResolver().delete(
    MediaStore.Files.getContentUri("external"),
    MediaStore.Files.FileColumns.DATA + "=?",
    new String[]{ filePath }
);

↓ちなみにメディア全体をスキャンするsendBroadcast()は、Android4.4から使用できなくなりました。
呼ぶとSecurityExceptionが発生します。

// Android4.4から使用不可。エラーが発生します。
sendBroadcast(new Intent(Intent.ACTION_MEDIA_MOUNTED, Uri.parse("file://" + Environment.getExternalStorageDirectory()));

↓ギャラリーからファイルを削除する方法はこちらの記事を参考にさせていただきました。
ありがとうございます!
プログラミングノート MediaScanがKitKat(4.4)で動作しない件について