IPジオロケーションに独立したベンチマークが必要な理由

異なるペルソナ、共通の問題

IPジオロケーションデータに依存する人々は、自信を持った意思決定に必要な情報を持っていません。

3者すべてに共通するのは、中立的な真実の情報源がないことです。精度の主張はプロバイダー自身が、自社のデータセットを使い、自社が管理する条件下でテストし、方法論をほとんど開示しないまま発表しています。

研究が示すこと

ジオロケーションデータベースの限界は新しい問題ではありません。学術文献では10年以上前から指摘されています。

各研究は重要な貢献をしていますが、構造的な限界を共有しています。ある時点の固定されたIPセットをテストしていること、グラウンドトゥルースがプライベートデータ（ISPデータ）または合成データ（WHOIS、DNSホスト名、既知のランドマーク）に依存していること、そしてエンドユーザーの消費者トラフィックではなく主にインフラIPに焦点を当てていることです。

シカゴ大学の最近の論文では、消費者向けスピードテストから得られたデバイス位置データをグラウンドトゥルースとして使用する手法を探究しました。これは、実際のユーザー報告位置に対してIPジオロケーションを大規模に検証した初の研究です。精度は地域、通信事業者、アクセスモードにより大きく異なることが判明しました。こうした違いは、ユーザー位置レベルのグラウンドトゥルースでのみ明らかになります。

IP Accuracy Arenaの仕組み

アリーナは、ユーザー位置をグラウンドトゥルースとするアプローチを基盤とし、継続的なクラウドソーシング収集に適応させています。

1. 貢献者がアリーナにアクセスし、ブラウザのGeolocation APIを通じて位置情報の許可を付与します。モバイルデバイスでは通常GPS（精度5〜15m）が使用されます。デスクトップではWi-Fi測位などで概算位置が取得されます。精度は劣りますが、都市レベルの比較には有用です。
2. デバイスの座標が逆ジオコーディングされ、基準となる都市、地域、国が取得されます。これがグラウンドトゥルースです。
3. 貢献者のパブリックIPアドレスが、テスト対象のすべてのプロバイダーに同時送信されます。各プロバイダーが返す座標、都市、地域、国を取得します。
4. 各プロバイダーの座標は、グラウンドトゥルースと同じジオコーディングサービスで逆ジオコーディングされ、命名規則の一貫性が確保されます。逆ジオコーディング結果は正規化され、都市、地域、国の一致が比較されます。プロバイダー座標とデバイス座標間のハバーサイン距離誤差が算出されます。
5. 結果は逆分散加重（1/精度²）を用いてリアルタイムのリーダーボードに集計されるため、GPS精度が高い測定ほどランキングへの寄与が大きくなります。同一IPかつ同一場所からの繰り返しテストは7日間のウィンドウ内で重複排除され、最新の結果のみが保持されます。

比較ロジック

都市名の照合は単純ではありません。プロバイダーが返す生の名前を直接比較するのではなく、グラウンドトゥルースに使用したのと同じジオコーディングサービスで各プロバイダーの座標を逆ジオコーディングします。これにより、双方が同じ命名規則、行政区画、言語などを使用することが保証されます。

距離誤差の計算にはハバーサインの公式を使用しています。各プロバイダーの加重中央値距離誤差を報告しており、各テストは1/精度²（逆分散加重）で重み付けされます。GPS精度が5 kmを超えるテストは、IPベースのブラウザフォールバックによる結果汚染を防ぐため除外されます。同一IPかつ同一場所からの繰り返しテストは、7日間のローリングウィンドウ内で重複排除されます。

従来の研究との違い

プライバシー

デバイスの位置情報データは機密性が高い情報です。ユーザーの座標はリアルタイム比較のみに使用され、一切保存されません。

既知の制限事項

貢献する

貢献する最も簡単な方法は、テストを実行することです。データの少ない地域、モバイルネットワーク、非西洋圏からのテストは特に貴重です。これらの地域ではプロバイダー間の差異が最も大きく、データがほとんど存在しません。

方法論はオープンです。参加を希望するプロバイダーの方、またはデータセットに関心のある研究者の方は、arena@ipaccuracy.com までご連絡ください。