エコペイズ口座開設方法

産総研について ニュース アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ   ENGLISH EN 研究相談・研究データ・ 研究ユニット紹介研究者の方へ プロジェクト相談・ 研究依頼・各種協業相談ビジネスの方へ 産総研ってどんなとこ？ 科学の扉を開こう！一般の方へ 科学の楽しさ、産総研が 取り組んだ製品や事例のご紹介 ENG 研究者 ビジネス 一般 マガジン   研究者の方へ 研究相談・研究データ・ 研究ユニット紹介 ビジネスの方へ プロジェクト相談・ 研究依頼・各種協業相談 一般の方へ 産総研ってどんなとこ？ 科学の扉を開こう！ 科学の楽しさ、産総研が取り組んだ製品や事例のご紹介 産総研について ニュース アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ サイトマップ ご利用条件 プライバシーポリシー 個人情報保護 ホーム > 研究成果検索 > 研究成果記事一覧 > 2020年 > 機械学習品質マネジメントガイドラインを公開 ツイート 発表・掲載日：2020/06/30 機械学習品質マネジメントガイドラインを公開 －AIを用いた製品やサービスの品質を安全、安心に管理するために－ ポイント マネジメントが困難とされる機械学習を用いたAIシステムの品質管理方法をガイドラインとして公開 機械学習AIシステムの品質要件を分類・整理し、開発者が客観的に評価できる枠組みを構築 企業での利用とそのフィードバックにより有用性を高めながら、国際標準化を目指す 概要 国立研究開発法人 産業技術総合研究所【理事長 石村 和彦】（以下「産総研」という）サイバーフィジカルセキュリティ研究センター【研究センター長 松本 勉】ソフトウェア品質保証研究チーム【研究チーム長 大岩 寛】と人工知能研究センター【研究センター長 辻井 潤一】は、民間企業・大学などの有識者と共同で、AIシステムの設計開発における品質マネジメントについて体系的にまとめた「機械学習品質マネジメントガイドライン」をサイバーフィジカルセキュリティ研究センターのウェブサイトで公開した。 URL：https://www.cpsec.aist.go.jp/achievements/aiqm/ ITシステムを安全、安心に管理するために品質マネジメントは必須であるが、機械学習を用いたAIシステムは開発者の明示的なプログラムによる指示によらず、訓練データを用いた学習による間接的な構築が行われるため、一般のソフトウエアと比較して品質マネジメントが格段に難しい。今回のガイドラインは、対象となるAIシステムのライフサイクル全体にわたる品質マネジメントを扱い、AIシステムのサービス提供で求められる品質要求を充足するための必要な取り組みや検査項目を体系的にまとめたものである。開発の当事者間で品質について意思疎通できるよう、ガイドラインはAIシステムの利用時に求められる品質要求を（1）リスク回避性、（2）AIパフォーマンス、（3）公平性という3つの外部品質軸として新たに整理し、それぞれの要求の強さに応じてレベル分けした。開発の当事者は機械学習の正確性やデータ設計の十分性など8つの内部品質を開発作業中などに確認して、外部品質の充足性を客観的に判断する構成となっている。AIシステムの開発者と利用者が、システムに求められる品質要件を合意でき、品質に関する不透明性を取り除いて、AIシステムのビジネス活用を加速させることが期待される。 機械学習品質マネジメントガイドライン ガイドライン開発の社会的背景 機械学習を用いたAIシステムは、プログラムによる開発者の直接の指示ではなく、訓練データを用いた学習によって間接的に機能を獲得する。そのため、開発成果物であるソフトウエアプログラムの文面などを確認しても、目的の機能や品質を達成したかどうかが検査できない。このことが、AIシステムの品質マネジメントを一般のソフトウエアに比べて格段に難しくしている。今後AIシステムが、自動運転やロボット制御など安全性の確認が不可欠な分野や、個人の融資などの信用管理など公平性が重要な分野など、さまざまな用途で価値を発揮するには、AIシステムを安心して利用できるための品質マネジメントが不可欠である。近年、内閣府『統合イノベーション戦略推進会議』で決定された「人間中心のAI社会原則」のほか、OECD、EUなど海外のさまざまな機関からも人工知能技術の社会受容性に関する提言がなされ、AIシステムの開発や利用ビジネスの当事者が対応を迫られている。また、AIシステムやAIコンポーネントが部品としてサプライチェーンの中で多様なシステムに組み込まれて活用されるためには、AIシステムの開発関係者の間で品質を定義し、合意できるための枠組みが欠かせない。 現状ではAIシステムの品質の定量的な評価基準がないため、受発注などのやり取りの場面においてシステム要件を確認するための意思疎通に時間がかかることが多くなっており、この面からも総合的な品質マネジメントの仕組みが求められている。しかし、AIシステムの品質の要件定義や、要件を満たすために確認すべきAIシステムの性質とその方法について、システムライフサイクル全般にわたって系統だって網羅的にとりまとめたものや規格などはまだ存在していない。AIシステムの開発や利用でビジネスを行う企業には、AIシステムの構築工程全般を通じた品質マネジメントやその達成を、社会へ説明することが求められるため、今回のようなガイドラインの策定が期待されている。 技術開発の側面では、AIシステムの性能評価技術が多く開発され、研究会議などで発表されているほか、AI プロダクト品質保証コンソーシアムは「AI プロダクト品質保証ガイドライン」として、このような性能評価技術の適用方法や品質確保上の留意点などを応用事例ごとにまとめている。今回公開するガイドラインは、このような技術開発の成果も参考に、実際のAIシステムの開発現場が取り組むべきAI品質マネジメントの方向性を整理したものである。   ガイドライン策定の経緯 今回のガイドラインは、国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）からの受託事業として2018年度から検討を開始し1、2020年度に移行した「人と共に進化する次世代人工知能に関する技術開発事業／実世界で信頼できるAIの評価・管理手法の確立／機械学習システムの品質評価指標・測定テストベッドの研究開発」で、産総研が企業・大学・国立研究機関などの有識者委員とともに構成した「機械学習品質マネジメント検討委員会」でとりまとめた。産総研が作成したドラフトをベースとして、検討委員会での２年間の議論やレビューを経て第一版のガイドラインを策定した。 1　2018年度～2019年度は「次世代人工知能・ロボット中核技術開発／グローバル研究開発分野／機械学習ＡＩの品質保証に関する研究開発」事業で実施され、本ガイドラインはその成果である。   ガイドラインの内容 ● ガイドラインの位置づけ 今回のガイドラインは、内閣府『統合イノベーション戦略推進会議』による「人間中心のAI社会原則」の下位に位置づけられ、AIシステムの品質評価の枠組みと方法論を提供する。ガイドラインはAIシステムと、その中に含まれる機械学習技術で実装されたソフトウエアコンポーネント（機械学習要素）の、品質に関する基準と達成目標を定める。ガイドラインを利用する企業などが、AIを利用する製品の品質を自ら測定し向上させ、AIの誤判断による事故や経済損失などを減少させる一助となることを目的としている。また、このようなアプローチにより、達成した品質の認識を開発当事者間で共有し、社会に対し品質を基準として示せるようにすることで、受発注などの条件の明確化や問題点の特定、高品質による付加価値の提示などを実現して、「優れたAIシステムを作る事業者がより高く評価される」健全なビジネス環境実現への寄与も目的としている。 ● ガイドラインの概要 機械学習を利用したAIシステムにおける「品質」を、 AIシステム利用時に必要な「利用時品質」 AIシステム中で機械学習要素に要求される「外部品質」 機械学習要素そのものが持つ「内部品質」 の3つに分け、機械学習要素の「内部品質」の向上により「外部品質」を必要なレベルで達成し、最終的な製品の「利用時品質」を実現すると整理した（図1）。 本ガイドラインは検討委員会での分析と議論に基づき、「リスク回避性」「AIパフォーマンス」「公平性」の3つを、機械学習要素に特有の外部品質として特定した。AIシステムの利用時品質についても、この3つを基本として表現される。 一方で内部品質については、機械学習要素の構築プロセスや性能劣化原因の分析などを行い、（1）「要求分析の十分性」、（2）「データ設計の十分性」、（3）「データセットの被覆性」、（4）「データセットの均一性」、（5）「機械学習モデルの正確性」、（6）「機械学習モデルの安定性」、（7）「プログラムの健全性」、（8）「運用時品質の維持性」の8項目（図2）に整理した。これらの内部品質をプロセス管理や数値評価によって具体的に確認して、外部品質に求められる要件を達成する。 ガイドラインが求める品質マネジメントの対象は、機械学習要素の開発だけではなく、機械学習要素を組み込むAIシステムの品質要件定義、実証実験、システム開発、保守・運用までのシステムライフサイクル全体に及ぶ。それぞれのAIシステムの開発事情などに応じて、サービス提供者・システム開発者（SIベンダー・エンジニア）などのステークホルダーの間で役割分担を定め、これらの品質マネジメントの要求を満たしていくことが想定されている。また、開発作業の受発注・委託での合意形成や検収条件の設定などにも用いられることも想定している。 今回公開するガイドラインの第一版は、機械学習品質マネジメント検討委員会のAI実ビジネスに携わる企業委員との2年間に亘る議論と、2019年12月に、国立研究開発法人 科学技術振興機構（JST）・独立行政法人 情報処理推進機構（IPA）や大学の専門家と、プロダクト品質保証コンソーシアムの主要メンバーにより実施したレビューを経て策定されており、大枠の品質評価の枠組みを完成させ、企業での適用と評価に利用できる段階に達している。 なお、今回のガイドラインは、AIシステムを利用したシステム・サービスの開発を主導する企業などが、そのビジネスなどへの影響を踏まえて主体的にその採用の有無を選択し、共同開発者などとともに実践するものであって、法令・公的指針などとの関係では非拘束的なものである。 図1 品質実現の全体構造 図2 着目する内部品質特性   今後の予定 今後は、実ビジネスでの活用とそこからのフィードバックを元に、NEDOプロジェクト「人と共に進化する次世代人工知能に関する技術開発事業／実世界で信頼できるAIの評価・管理手法の確立／機械学習システムの品質評価指標・測定テストベッドの研究開発」において、定期的なガイドライン改訂と英文ガイドラインの作成、産業用途別の実アプリケーションを対象とする具体的適用事例としてのリファレンスガイドの作成、本ガイドラインを用いた評価作業を支援するソフトウエア開発基盤の構築、そして種々の評価技術の開発を予定している。また国内では、ステークホルダー間での品質マネジメントに広く用いられることによるデファクトスタンダード化を目指し、並行してISO/IEC JTC1/SC42 (Artificial Intelligence) などへの提案といった国際標準化活動を行う予定である。 用語の説明 ◆機械学習 人工知能のうち、特に計算機システムが明示的なプログラム指示に依ること無く、データのパターンを自動的に認識した結果を用いて推論・判断を行うようなシステムのこと。深層学習も機械学習の代表例である。[参照元へ戻る] ◆AIシステムのライフサイクル AI分析（データ分析）やそのAIが実装される中核部分の開発だけではなく、対象となるAIシステムの品質要件の定義、実証・予備実験、システム開発、保守・運用などを含む製品の利用工程全体のこと。[参照元へ戻る] ◆リスク回避性、AIパフォーマンス、公平性 AI品質マネジメントのゴールとして、本ガイドラインで整理した3つの外部品質の特性。人的な損害や経済的損失を想定し、AIの誤判断による人的/経済的危害を回避する「リスク回避性」、社会システムの効率化や需要予測などAIシステムによる平均利益を最大化する「AIパフォーマンス」、個人の取扱いの不平等を防止する「公平性」である。[参照元へ戻る] ◆外部品質 システムのコンポーネント（ここでは機械学習を用いたソフトウエア部品）がシステム全体に影響を与える品質のこと。従来のソフトウエア部品の場合には、ソフトウエア動作の仕様適合性、セキュリティー、効率性などが主な外部品質にあたる。[参照元へ戻る] ◆内部品質 システムの外部品質に影響を与える、ソフトウエア要素が内包する特性のこと。従来のソフトウエア部品の場合には、プログラム記述の整合性・簡潔性・コードレビューやモデル検査などで発見された誤りの頻度などが、内部品質にあたる。[参照元へ戻る] ◆AIプロダクト品質保証コンソーシアム 「AIプロダクトの品質保証に関する調査・体系化、適用支援・応用、研究開発を推進するとともに、AIプロダクトの品質に対する適切な理解を社会に啓発する活動」を産学協同で行うことを活動目的として、電気通信大学 西 康晴 教授や国立情報学研究所 石川 冬樹 准教授らが中心になり、2018年に設置されたコンソーシアム。 http://www.qa4ai.jp/ [参照元へ戻る] ◆機械学習品質マネジメント検討委員会 この検討委員会の委員の所属組織は、2020年6月現在で以下のとおり（五十音順）。 アドソル日進株式会社、株式会社サイバー創研、国立研究開発法人産業技術総合研究所、大学共同利用機関法人情報・システム研究機構国立情報学研究所（委員長 中島 震 教授）、テクマトリックス株式会社、株式会社デンソー、学校法人東京理科大学、トヨタ自動車株式会社、日本アイ・ビー・エム株式会社、日本電気株式会社、パナソニック株式会社、株式会社日立製作所、富士通株式会社、株式会社富士通研究所 [参照元へ戻る] ◆（内部品質の）8項目 このガイドラインで着目した内部品質特性は、 システムが要求される動作範囲を分析・整理し、必要な訓練データなどの範囲に反映する「要求分析の十分性」 動作範囲の中の高リスク状況などを十分に反映して訓練データを設計する「データ設計の十分性」 システムが要求される動作範囲のさまざまな状況に対して、設計に基づき漏れなく訓練データを用意する「データセットの被覆性」 機械学習システムの性能向上のために訓練をなるべく均等に行う「データセットの均一性」 訓練データに対して十分な機械学習が行われたことを確認する「機械学習モデルの正確性」 訓練データにない新しい入力に対しても正しく動作することを担保する「機械学習モデルの安定性」 機械学習要素が、ソフトウエアとしても正しい動作することを確認する「プログラムの健全性」 開発中に達成した品質が、システムの運用中に劣化していかないことを監視・確認する「運用時性能の維持性」 の8項目に整理され、それぞれの達成目標と確認すべき細目がガイドライン中に述べられている。[参照元へ戻る] ◆SIベンダー 顧客企業の要望に基づき、情報システムでの問題解決方法の検討から、システムの設計・開発・運用などまでを一貫して請け負う企業のこと。[参照元へ戻る] お問い合わせお問い合わせフォーム 産総研について アクセス 調達情報 研究成果検索 採用情報 報道・マスコミの方へ メディアライブラリー お問い合わせ English ニュース お知らせ一覧 研究成果一覧 イベント一覧 受賞一覧 研究者の方へ はじめての方へ 研究成果検索 研究情報データベース お問い合わせ 採用情報 ビジネスの方へ はじめての方へ 研究成果検索 事例紹介 協業・提携のご案内 お問い合わせ AIST Solutions 一般の方へ はじめての方へ イベント情報 スペシャルコンテンツ 採用情報 お問い合わせ 記事検索 産総研マガジンとは 公式SNS @AIST_JP 産総研チャンネル 公式SNS @AIST_JP 産総研 チャンネル サイトマップ このサイトについて プライバシーポリシー 個人情報保護の推進 国立研究開発法人産業技術総合研究所 Copyright © National Institute of Advanced Industrial Science and Technology （AIST） （Japan Corporate Number 7010005005425）. All rights reserved.