AIを開発する際に必要なのは膨大なデータになります。自社内のデータを利用することもできますが、データ量が足りない場合や、もっと多様なデータを使いたい場合には、オープンデータを活用しましょう。オープンデータは、政府や企業が公開しているデータで、誰でも自由に利用できるものです。本記事では、オープンデータの探し方や活用法について解説します。

はじめに

オープンデータとは、政府や自治体、企業などが公開しているデータになります。その中でも特に個人・商用利用を問わず自由に使えるものがオープンデータと呼ばれます。各自治体に関連したデータが公開されているケースや、国ごとに調査されたデータなどが公開されています。

AI開発時において、オープンデータを活用することで、よりモデルの精度向上や新しいインサイトの発見につながることが期待できます。オープンデータは長い時間をかけて収集されたデータであるため、信頼性が高いというメリットもあります。また、オープンデータを利用すれば、AI開発のコスト削減や開発の高速化につながるでしょう。

LLMなどは一般的に汎用的なモデルとなっており、特定領域に強くするためにファインチューニングが行われます。たとえば犯罪問題に対して強くしたり、天気や金融などの領域に強くするためには、その領域に特化したデータが必要です。オープンデータを活用すれば、特定領域に特化したAIモデルを開発することが可能になります。

オープンデータの探し方

政府や自治体のWebサイトをはじめ、オープンデータポータルを利用してデータを探せます。また、KaggleやUCI Machine Learning Repositoryなどのデータセットも活用することができます。業界ごとに適したデータを探すためには、業界固有のデータベースやデータセットを探すのも重要です。

なお、自治体などで公開されているオープンデータはJSONなどの扱いやすいフォーマットではなく、PDFやExcel/CSVファイルなどで公開されている場合もあります。そうした場合には、まずデータを扱いやすくする整形作業から始める必要があります。

以下は、オープンデータを探す際の参考になるWebサイトです。

1. e-Govデータポータル
   日本政府運営のオープンデータのポータルサイトです
2. Kaggle
   データサイエンスと機械学習のコミュニティサイトであるKaggleでは、多くのオープンデータセットが提供されています。
3. Dataset Search
   Googleによるデータセット検索エンジンです。
4. UCI Machine Learning Repository
   カリフォルニア大学アーバイン校が提供する機械学習用のデータセットのコレクションです。
5. Registry of Open Data on AWS
   Amazon Web Services（AWS）が提供するパブリックデータセットです。

AI開発におけるオープンデータの利用法

実際にオープンデータを利用する際には、他のデータと同じように前処理が必要です。不要なデータを削除したり、欠損値を補う、正規化や集計なども必要でしょう。データによって項目の管理方法が異なるため、それらを適切に整える必要があります。

データ自体が正しいものであっても、クリーニングを行わずに取り込んでしまうと、モデルの精度に影響を及ぼす可能性があります。データの品質を確認し、適切な前処理を行いましょう。

また、オープンデータを利用する際には、ライセンスに注意する必要があります。オープンデータには利用に関する条件が記載されていることがあります。ライセンスに従って利用しましょう。AIでは学習元データがブラックボックスになってしまう問題がありますが、法的な問題が発生する可能性があるので注意が必要です。

オープンデータのメリットとリスク

オープンデータのメリットは、なんと言っても公開データを利用することによるデータ収集の工数を削減できることでしょう。また、ライセンスの問題がなければ、そのデータを安心して利用できるのもメリットです。販売されているデータなどもありますが、オープンデータは無料で利用できる点もメリットです。

逆にリスクとしては、データの品質が悪かったり、国や自治体によってデータが揃っていない場合があることです。中途半端なデータだけ学習してしまうと、精度にマイナスの影響がアルカも知れません。また、前述の通りライセンス違反のリスクもあります。

AI・機械学習プロジェクトにおける課題と解決策

AI・機械学習周りでは、英語のコンテンツが多かったり、白人男性のデータが多いなどの課題があります。ChatGPTなども英語で質問した方が品質の良い回答が得られるというのはよく知られている話です。

誤ちを犯すAI、なぜ男性や白人を“ひいき”してしまうのか 三津村直貴の“今さら聞けない”テクノロジー講座｜ビジネス+IT

学習データに偏りがあると、得られる結果もやはり偏りが出てしまいます。サービスのターゲットユーザーにもよりますが、多様なデータを使うことで、より公平なAIを開発することができるでしょう。

また、大量のデータを学習すると、それだけコストがかかります。パフォーマンスなどの問題も出るでしょう。より少ない学習データで精度の高い結果が得られるモデルが求められています。

まとめ

今回は、AI開発におけるオープンデータの探し方や活用法について解説しました。オープンデータは、AI開発において大事ですが、その活用法には一定の経験則も必要です。オープンデータを積極的に活用して、より高度なAI開発を行いましょう。

HexabaseではAIを用いた開発（AIドリブン開発）を行っています。システム開発を効率化・高速化するためにもぜひHexabaseをご活用ください。