このプロジェクトについて

IPジオロケーションに独立したベンチマークが必要な理由

IPジオロケーションは、コンテンツのローカライズ、不正検出、広告ターゲティング、規制遵守など、現代のインターネットの驚くほど多くの分野を支えています。この市場には数千もの企業が参入し、毎日数十億件のAPI呼び出しが行われています。しかし、このデータの利用者には、プロバイダーを信頼性のある独立した方法で比較する手段がありません。

異なるペルソナ、共通の問題

IPジオロケーションデータに依存する人々は、自信を持った意思決定に必要な情報を持っていません。

デフォルトユーザー

無料プランに登録して、あとは運任せ

最初に見つけた無料APIやデータベースを組み込み、検証は一切行わない。「これで十分」「どのプロバイダーも同じ」という前提は、まったく検証されていない。

懐疑派

すべてのプロバイダーを等しく信用しない

明らかに間違ったジオロケーション結果に遭遇したチームは、カテゴリー全体を信用しなくなる。回避策を講じたり、位置情報依存の機能を避けたりする。実際のリスクを定量化するデータがない。

企業購買担当者

監査手段なしに年間数千ドルを支払う

コンプライアンス重視の組織は、商用ジオロケーションに年間1万〜10万ドル以上を費やしている。ベンダー選定は営業対応と自己申告のホワイトペーパーに基づいて行われる。

3者すべてに共通するのは、中立的な真実の情報源がないことです。精度の主張はプロバイダー自身が、自社のデータセットを使い、自社が管理する条件下でテストし、方法論をほとんど開示しないまま発表しています。

研究が示すこと

ジオロケーションデータベースの限界は新しい問題ではありません。学術文献では10年以上前から指摘されています。

  1. 2011

    IPジオロケーションデータベース：信頼できるのか？

    大規模なヨーロッパのネットワークのISPデータを用いた初のグラウンドトゥルース研究。結論：ジオロケーションデータベースは国レベルの精度は主張できるが、都市レベルの精度は保証できない。より細かいエントリは、むしろ精度を低下させる。

  2. 2011

    ジオロケーションデータベースの研究

    約10万件のIPアドレスを接続拠点（PoP）ごとにグループ化してデータベースを評価。都市レベルではデータベース間の整合性が低い。MaxMindはIPブロックの再割り当てにより、月あたり約1.5%の精度低下があると報告。

  3. 2017

    公開・商用データベースにおけるルータージオロケーションの考察

    CAIDAのArkデータセットから164万件のルーターIPを調査。データベース間で国レベルでは95.8%の整合性があるが、都市レベルでは71%にとどまる。精度は地域により大きく異なり、特にARIN（北米）の都市レベル精度が低い。

  4. 2024

    都市遅延特性に基づくIPジオロケーションデータベースの評価手法

    遅延に基づく評価手法を提案。データベースの信頼性は地域により均一でなく、主要商用プロバイダー間でも大きなばらつきがあることを確認。

  5. 2024

    ジオフィード：IPジオロケーションの革命か、幻想の約束か？

    ネットワーク事業者が自らのIPジオロケーションを公開するための仕組みであるRFC 8805ジオフィードを調査。この自己申告データにも重大な不正確さが含まれている。

各研究は重要な貢献をしていますが、構造的な限界を共有しています。ある時点の固定されたIPセットをテストしていること、グラウンドトゥルースがプライベートデータ（ISPデータ）または合成データ（WHOIS、DNSホスト名、既知のランドマーク）に依存していること、そしてエンドユーザーの消費者トラフィックではなく主にインフラIPに焦点を当てていることです。

シカゴ大学の最近の論文では、消費者向けスピードテストから得られたデバイス位置データをグラウンドトゥルースとして使用する手法を探究しました。これは、実際のユーザー報告位置に対してIPジオロケーションを大規模に検証した初の研究です。精度は地域、通信事業者、アクセスモードにより大きく異なることが判明しました。こうした違いは、ユーザー位置レベルのグラウンドトゥルースでのみ明らかになります。

IP Accuracy Arenaの仕組み

アリーナは、ユーザー位置をグラウンドトゥルースとするアプローチを基盤とし、継続的なクラウドソーシング収集に適応させています。

  1. 貢献者がアリーナにアクセスし、ブラウザのGeolocation APIを通じて位置情報の許可を付与します。モバイルデバイスでは通常GPS（精度5〜15m）が使用されます。デスクトップではWi-Fi測位などで概算位置が取得されます。精度は劣りますが、都市レベルの比較には有用です。

  2. デバイスの座標が逆ジオコーディングされ、基準となる都市、地域、国が取得されます。これがグラウンドトゥルースです。

  3. 貢献者のパブリックIPアドレスが、テスト対象のすべてのプロバイダーに同時送信されます。各プロバイダーが返す座標、都市、地域、国を取得します。

  4. 各プロバイダーの座標は、グラウンドトゥルースと同じジオコーディングサービスで逆ジオコーディングされ、命名規則の一貫性が確保されます。逆ジオコーディング結果は正規化され、都市、地域、国の一致が比較されます。プロバイダー座標とデバイス座標間のハバーサイン距離誤差が算出されます。

  5. 結果は逆分散加重（1/max(精度, 1 km)²）を用いてリアルタイムのリーダーボードに集計されるため、GPS精度が高い測定ほどランキングへの寄与が大きくなります。精度が1 km未満の場合は1 kmとして扱われるため、単一のテストがプロバイダーのスコアを左右することはありません。同一IPかつ同一場所からの繰り返しテストは7日間のウィンドウ内で重複排除され、最新の結果のみが保持されます。

比較ロジック

都市名の照合は単純ではありません。プロバイダーが返す生の名前を直接比較するのではなく、グラウンドトゥルースに使用したのと同じジオコーディングサービスで各プロバイダーの座標を逆ジオコーディングします。これにより、双方が同じ命名規則、行政区画、言語などを使用することが保証されます。

距離誤差の計算にはハバーサインの公式を使用しています。各プロバイダーの加重中央値距離誤差を報告しており、各テストは1/max(精度, 1 km)²（逆分散加重）で重み付けされます。精度が1 km未満の場合は1 kmとして扱われるため、単一のテストがプロバイダーのスコアを左右することはありません。GPS精度が5 kmを超えるテストは、IPベースのブラウザフォールバックによる結果汚染を防ぐため除外されます。同一IPかつ同一場所からの繰り返しテストは、7日間のローリングウィンドウ内で重複排除されます。

従来の研究との違い

  1. グラウンドトゥルース

    従来の研究 ISPデータ、WHOIS、DNSホスト名、ランドマーク

    IP Accuracy ユーザーデバイスの位置情報（GPS、Wi-Fi測位）

  2. IPの種類

    従来の研究 ルーター／インフラIPが多い

    IP Accuracy エンドユーザーのコンシューマーIP

  3. 鮮度

    従来の研究 一度きりの静的スナップショット

    IP Accuracy 継続的に更新されるリアルタイムランキング

  4. 範囲

    従来の研究 通常1〜2地域または単一ISP

    IP Accuracy 貢献に応じて拡大

  5. ネットワーク

    従来の研究 通常1種類のネットワーク

    IP Accuracy 家庭用、モバイル、企業、ホットスポット

  6. 再現性

    従来の研究 非公開データが必要な場合が多い

    IP Accuracy オープンな方法論、公開された結果

  7. プロバイダー

    従来の研究 2〜4個のデータベース

    IP Accuracy 14社のプロバイダー、拡張可能

プライバシー

デバイスの位置情報データは機密性が高い情報です。ユーザーの座標はリアルタイム比較のみに使用され、一切保存されません。

テストごとの保存データ

タイムスタンプ、IPアドレス、グラウンドトゥルースの都市/地域/国と精度（座標なし）、プロバイダーが返した都市/地域/国と座標、都市一致結果、国一致、距離誤差。

保存されないデータ

デバイスの座標、デバイスのフィンガープリント、ユーザーの個人情報は保存されません。

既知の制限事項

  • 位置精度はデバイスにより異なる。 モバイルGPSは5〜15mの精度を提供します。デスクトップのWi-Fi測位は50〜200m程度です。加重集計により、高精度の測定に大きな重みを付与することでこの問題を軽減しています。

  • サンプルの偏り。 クラウドソーシングによる貢献は地理的に均一ではありません。データが少ない地域の結果は慎重に解釈する必要があります。

  • VPN・プロキシトラフィック。 VPNユーザーの場合、デバイスの位置とIP位置の間に意図的な不一致が生じます。匿名、プロキシ、ホスティングトラフィックと判定されたテストはリーダーボードから自動的に除外されます。

  • プロバイダーAPIのティア。 プロバイダーによっては、ティア（プラン）ごとに精度が異なる場合があります。アクセス可能なティアでテストを実施しています。

貢献する

貢献する最も簡単な方法は、テストを実行することです。データの少ない地域、モバイルネットワーク、非西洋圏からのテストは特に貴重です。これらの地域ではプロバイダー間の差異が最も大きく、データがほとんど存在しません。

方法論はオープンです。参加を希望するプロバイダーの方、またはデータセットに関心のある研究者の方は、arena@ipaccuracy.com までご連絡ください。