どうも、カタミチです。
さて、昨日の続きで、AIシステムの実装・運用・評価のところですね。行ってみましょう。
「悪用」へのセキュリティ対策を行う
さて、運用が始まってからは、開発者が想定していなかった使い方や悪用の可能性があります。例えば、推論サービスに対して大量に無駄なデータを送信されたり、システム間の通信路が攻撃されてデータの質が落ちたり…といったことです。
また、敵対的な攻撃（adversarial attacks）というAIモデルの認識を混乱させる方法もあるようです。攻撃の手段としては、なりすましや、脆弱性を利用した不正アクセスなどが考えられます。これにより、データやモデルの改ざん・盗取や、それらの不正な実行ができてしまいます。
対策としては、各システムの稼働を監視した上で、通信相手の認証、アクセス制限、データの暗号化、データ改変の検知などが挙げられます。
予期しない振る舞いへの対処
社会実装時には、AI単体では精度の保証が難しいため、AI自体が予期しない振る舞いを起こすことがあります。システム全体でビジネスを担保する必要がある中において、そのような、予期しない振る舞いが致命的な事故を引き起こすようなことがあってはいけません。ということで、前にも触れられていましたが、業務を、AI＋人を前提としたプロセスにすることが重要です。
特に、AIシステムはまだまだ一般への認知と理解が追いついていない分野ですからねー。色々と叩かれる可能性は、常に頭に入れて置く必要があるでしょうね。
物損・人損事故が発生しそうな場合は、システム開発時に責任を見積もって保険に入るなどの対策も必要となります。
インセンティブを設計し多様な人材を巻き込む
プロダクトやサービスを設計するときに、現場の利用者や、それによって影響や恩恵を受けるステークホルダーのニーズを把握することが重要です。また、技術をうまく活用するためには既存業務と調和したデザインも必要です。
また、使う人の納得を得ることや使うためのインセンティブ設計などのソフト面の整備も大切です。これまで挙げたようなブラックボックス化の問題やセキュリティのリスクなど、不安要素も大きいものなので、関係者のインセンティブもうまくコントロールすることが大切…と、繰り返し本書でも述べられていますね。
ということで
今回も、警鐘を鳴らす感じの話でしたねー。まぁやはり、それだけインパクトの大きい技術だ…ということでもあると思うので、細心の注意を払いつつ、人類の進歩に寄与できるようなものができると楽しそうだなぁ、と感じました。
ではまた。
勉強に使ってる書籍はこちら↓
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版
