Q. 生成AIが、学習データの誤りや不足などによって、事実とは異なる情報や無関係な情報を、もっともらしい情報として生成する事象を指す用語として、最も適切なものはどれか。
ア:アノテーション
イ:ディープフェイク
ウ:バイアス
エ:ハルシネーション
「ITパスポートって、非エンジニアの人が受ける資格でしょ」
そんな風に感じているエンジニア経験者は多いと思いますが、実は近年、「生成AI」に関する知識も出題範囲に追加されていることをご存じでしょうか。
IPA(情報処理推進機構)が公開している、サンプル問題の一つがこちら。
Q. 生成AIが、学習データの誤りや不足などによって、事実とは異なる情報や無関係な情報を、もっともらしい情報として生成する事象を指す用語として、最も適切なものはどれか。
ア:アノテーション
イ:ディープフェイク
ウ:バイアス
エ:ハルシネーション
エンジニアの皆さんなら、迷わず答えられるはず……ですよね?
正解は「エ:ハルシネーション」。
ちなみに、『エンジニアtype』や『type』の開発を担当している現役エンジニア26人にこの問題を解いてもらったところ、ほぼ全員が正解。さすがの結果でした。
しかし、ここからが本番です。
次に出す2問では、約3割が誤答という結果になりました。
一体どんなサンプル問題だったのか……? エンジニアたちの解答結果や感想も交えて、「試験で問われる生成AIリテラシー」をのぞいてみます。
早速ですが、先ほどの「ハルシネーション問題」に続く残りの2問をご紹介します。皆さんもぜひ、どれくらいすんなり解けるか試してみてください!
【問1】生成AIの特徴を踏まえて、システム開発に生成AIを活用する事例はどれか。
ア:開発環境から別の環境へのプログラムのリリースや定義済みのテストプログラムの実行、テスト結果の出力などの一連の処理を生成AIに自動実行させる。
イ:システム要件を与えずに、GUI上の設定や簡易な数式を示すことによって、システム全体を生成AIに開発させる。
ウ:対象業務や出力形式などを自然言語で指示し、その指示に基づいて E-R 図やシステムの処理フローなどの図を描画するコードを生成AIに出力させる。
エ:プログラムが動作するのに必要な性能条件をクラウドサービス上で選択して、プログラムが動作する複数台のサーバを生成AIに構築させる。
【問2】AIにおける基盤モデルの特徴として、最も適切なものはどれか。
ア:“AならばBである”といったルールを大量に学習しておき、それらのルールに基づいた演繹的な判断の結果を応答する。
イ:機械学習用の画像データに、何を表しているかを識別できるように“犬”や“猫”などの情報を注釈として付与した学習データを作成し、事前学習に用いる。
ウ:広範囲かつ大量のデータを事前学習しておき、その後の学習を通じて微調整を行うことによって、質問応答や画像識別など、幅広い用途に適応できる。
エ:大量のデータの中から、想定値より大きく外れている例外データだけを学習させることによって、予測の精度をさらに高めることができる。
問1:ウ
従来はIT技術者などの専門知識を有する人が作成していた文書や画像などの業務上のコンテンツの生成を、生成AIを活用することによって、IT を利活用する人も担うことが可能になりつつある。本問では、システム開発における、生成AIの特徴を踏まえた活用事例の知識を問う。
問2:ウ
生成AIがどのような技術、仕組みで実現されているかを理解することは、IT を利活用する人がIT技術者とコミュニケーションする上で有用である。生成AIは、その多くが基盤モデルを基にして実現されていることから、本問では、基盤モデルに関する知識を問う。
●問1(生成AIの活用事例)
正答(ウ:23名)
誤答(ア:2名、イ:1名)
●問2(基盤モデルの特徴)
正答(ウ:19名)
誤答(ア:4名、イ:3名)
1問目は比較的正答率が高く、8割以上が正解!一方で問2は3割近くが誤答しており、やや難易度が高く感じられたようです。
所要時間は1問あたり30秒〜2分程度が多く、「すぐに分かった」「問題文と選択肢を何度か読んで悩んだ」という両極の傾向が見られました。
●最速:5秒
●最長:約5分
※中央値の体感は1分前後
「特に迷わなかった」という回答も一定数あった一方で、以下のようなコメントが寄せられました。
問1のアとウはどちらも生成AIで実現できそうに見えて迷った。
問2のイとウで悩んだ。どちらも正しそうに見える。
問2は一見どれも当てはまりそうで難しい。
回答者の多くが「難しすぎるわけではない」としつつも、
生成AIとAIはそもそも違うのか、機械学習とは何かなど、ある程度の基礎的知識がないと難しいように感じた。
AI活用系の問題だと思っていたため、思ったよりAI自体の知識が問われて驚いた。
日頃からAIに触れてはいるけど、迷う選択肢があって驚いた。
といった反応が寄せられました。
「案件で触れていたので悩まなかった」「AIを触ったことがあれば解ける難易度」といった声も多く、経験や学習状況によって大きく体感が分かれる問題だと言えそうです。
生成AIは、仕事でもプライベートでも当たり前に触れるようになりました。でも今回の結果を見ると、「使ったことがある」だけでは答えに迷うこともあるし、「知識として説明できるかどうか」は別問題だと分かります。
ITパスポートに生成AIが出てくるのも、そのギャップを埋めるためなのかもしれません。
さて、あなたは何問正解できましたか?
3問とも、スラスラ解けましたか? それとも「ちょっと怪しいかも……」と迷いましたか?
試験勉強がそのまま現場で役立つかはともかく、基礎を押さえておくことで「なんとなく使ってる」から一歩進めるのは間違いなさそうです。
文/今中康達(編集部)
タグ