G検定

単語カード

設定全面表示

• ダートマス会議

  1956年に開催された。「人工知能」の定義が与えられ、学問分野として認識された。
• 人工知能

  ルールベースと機械学習の2種に分けられる
• ルールベース手法

  人間があらかじめ設定した動作ルールに従って行動する。
• 機械学習

  学習を通じて、学習データから汎用的な法則、パターンを導き出す。学習を終えた学習済みモデルを用いて新しいデータに対する予測を行う。
• 特徴量

  予測の手がかりとなるデータの特徴を定量的に表した変数
• ディープラーニング

  機械学習の一手法。特徴量をデータから自動的に抽出できるため、画像やテキストなどの非構造化データの解析も得意とする。
• AI効果

  AIの仕組みを一旦知ると、「人工の知能ではなく、単なる自動化に過ぎない」と思ってしまう人間の心理のこと。
• 第1次AIブーム

  1950年代後半〜1960年代に開発された AIは、ゲームなどルールが明確に定義された問題に対しては性能を発揮したため注目されたが、実世界の複雑な問題を解けないと判明し、ブームが終わる。
• 第2次AIブーム

  主に1980年代に、専門知識を大量に蓄積し、専門家のように応答するエキスパートシステムが様々な産業企業分野にて実用化された。しかし、膨大な量の知識の整合性と一貫性を保つためのルール整備が困難であること(知識獲得のボトルネック)が判明したため、ブームが終わる。
• エキスパートシステムの代表例

  DENDRAL は有機化合物の分子構造を推定する。MYCIN は感染症の専門医のように診察を行う。CASNET は緑内障の診断支援を行う。
• 第3次AIブーム

  2000年以降、ビッグデータ時代に伴い機械学習の研究開発が盛んになり、特に自動的に特徴を抽出できるディープラーニングの技術が大きく進歩した。
• 探索

  初期状態から目的状態に至るまでの道筋を、場合分けや試行錯誤しながら最適解を探すこと。
• 推論

  既知の知識を基に、未知の出来事を推測すること。
• 探索木

  情報の場合分けを木構造で表現し、効率的な探索の道筋を探すための手段。
• 幅優先探索

  同じ階層をしらみ潰しに当たってから次の階層に進む探索木の仕組み。理論上最短距離の解は必ず見つかるが、メモリ消費が大きい。
• 深さ優先探索

  一旦深さ方向に進み、それ以上進めなくなったら一歩戻って再び探索する探索木の仕組み。ゴールまで時間がかかることもある。
• イライザ(ELIZA)

  1964年に開発された対話システム。知識を保持していないが、コンピュータと実際に会話している感覚を実現。
• エキスパートシステムの代表例

  DENDRAL は有機化合物の分子構造を推定する。MYCIN は感染症の専門医のように診察を行う。CASNET は緑内障の診断支援を行う。
• Cyc(サイク)プロジェクト

  人間が持つ「常識の全て」をコンピュータに取り入れることを目指した、現在未完成のシステム
• 意味ネットワーク

  ラベル付けした概念の間の関係性を表す記号で繋いだネットワーク。下位概念が上位概念の属性を引き継ぐ矢印が使われる。
• オントロジー

  知識概念を共有活用しやすいように体系的に記述することを目指す学術分野。後者を利用したAIの代表例は米国のクイズ番組 Jeopardy!に出たワトソン
• ヘビーウェイトオントロジー(重量オントロジー)

  厳密で哲学的な記述を重視する
• ライトウェイトオントロジー(軽量オントロジー)

  実用性を重視し情報をコンピュータに取り入れて自動的に概念問の関係性を見つける。代表例は米国のクイズ番組 Jeopardy!に出たワトソン
• セマンティックウェブは、

  オントロジーを活用して作成したウェブ上の意味ネットワークで、その主体は、LOD(リンクトオープンデータLinked OpenData)である。弱い AI(特化型 AI)特定のタスクに特化して性能を発揮するAI強い AI(汎用型AI)幅広いタスクにおいて人間のような自意識と自律性を持ち、臨機応変に知的活動を行ラAI
• トイプロブレム (おもちゃの問題)

  明確なルールが定まっている問題(パズル、迷路、チェスなど)は解けても、要件が暧昧で複雑な実世界の問題に対応できない。
• チューリングテスト

  AIに人間らしい知能があるかどうかを判断する実験手法。実験者が質問をし、画面に表示される回答に基づいて、裏に隠れているのは、人間なのかコンピュータなのかを判別できるかを試す。
• 身体性

  物理的な身体があり、周囲環境との相互作用を行うことによってはじめて知能の構築が可能であるという考え方。AIが人間の知能に近づくためには、身体性が必要と思われる。
• シンボル

  グラウンディング問題(記号接地問題)コンピュータは知識を記号間の相対関係として捉えているため、記号と実世界を結び付けることができないという問題。
• フレーム問題

  AIは、有限な情報処理能力しか持たないため、現実世界に起こりうる問題の全てに対処することができないという問題。世の中の全ての情報から現在の判断に必要な情報だけを選び出そうとすると、組み合わせ数が爆発的に増えてしまう。「爆弾とロボット」を使った説明が有名。
• シンギュラリティ (技術的特異点)

  AIが自ら知能を生み出せるようになり、その能力が人類の知能の総和を超えるという技術的転換点。
• 教師あり学習

  学習データは特徴量と正解ラベルのセットから構成され、特徴量と正解を結ぶ関係性を見出し、予測値を正解に近づけるように学習する。分類または回帰を行います。
• 教師なし学習

  学習データには正解ラベルがついておらず、クラスタリングや次元削減を通じて、データが持つ構造を見出すように学習する。
• 強化学習

  与えられた環境の中で、エージェントが最大の報酬を得られるように、最適な行動を学習する。
• 半教師あり学習

  教師あり学習と教師なし学習を組み合わせた手法。学習の最初の時点では一部のデータにのみ正解ラベルが付与されており、それらを用いて残りのデータに対し正解ラベルを予測する。最後に全てのデータを統合して教師あり学習を行う。
• 特徴量

  予測の手掛かりとなる変数。構造化データの場合、学習データの各列に該当する。
• ラベルエンコーディング

  1つのカテゴリが1つの数値に対応するようにマッピングを行うことで文字列をダミー数値に変更する手法。
• One-Hot エンコーディング

  カテゴリごとに列を作り、各行について1つの列項目だけを1、それ以外を0にするように文字列を数値化する手法。
• 回帰補完

  欠損している特徴量と他の特徴量の間に相関が強い場合、非欠損部分を学習データとして利用して欠損部分に入るべき値を回帰で予測する手法。
• 正規化/スケーリング

  正規化の一種であり、(データの値一最小値)/(最大値ー最小値)のような計算をすることでデータを0と1の間に揃える。正規化は、外れ値に敏感に反応する。
• 標準化

  平均が0、標準偏差が1になるようにデータを変換する。各データから全データの平均値を引き、標準偏差で割り算をする操作。標準化は外れ値に強い。
• 過学習 (オーバーフィッティング)

  モデルを訓練データに合わせ込みすぎて、テストデータに対する学習済みモデルの精度(汎化性能)が低い。特徴量の数が多すぎる場合、学習データが不足している場合、モデルが複雑である場合、特徴量間の相関が強い場合に過学習しやすい。
• バイアス(推定値と実測値)とバリアンス(推定値のばらつき)は

  トレードオフ関係にある。
• 線形回帰

  説明変数と定数項の線形結合として表される線形回帰式Y=aX1+a2X2+ .. +a,X、を用いて、説明変数で目的変数を説明するモデルを作る。ここで、a(i=1,2,…,n)は偏回帰係数と呼ばれる。線形回帰には単回帰(説明変数が1つ)と重回帰(説明変数が複数)がある。
• 多重共線性 (Multicollinearity)

  相関が高い説明変数同士を特徴量として組み合わせた時に、互いに干渉し合うため、精度を悪くしてしまう現象。
• ロジスティック回帰分析

  説明変数をもとに事象が発生する確率を求める非線形回帰の手法。マルチクラス分類に使うときはソフトマックス関数を、二値分類に使うときはシグモイド関数を使用する。
• 正則化

  損失関数に罰則項(ベナルティ項)を加えた上で最小化することで、過学習を抑制する手法。
• L1 正則化

  パラメータの絶対値の和をペナルティ項にする手法であり、これを取り入れた線形回帰はラッソ回帰。
• L2正則化

  パラメータの二乗和をペナルティ項にする手法であり、これを取り入れた線形回帰はリッジ回帰。
• Elastic Net

  ラッソ回帰とリッジ回帰を組み合わせた手法。
• 汎化性能の検証

  汎化性能を検証するために、学習データを「訓練データ」と「テストデータ」に分割する。
• ホールドアウト法

  データを固定の割合で分割し、テストデータを用いて一度で精度を評価する。比較的短時間で精度を算出できる一方で、分割後のデータの偏りに注意。
• 交差検証法 (K-分割交差検証法、クロスパリデーション法)

  データをいくつかの部分に分割し、毎回違う部分をテストデータにして(Kの数だけ)精度評価を複数回行う。データが少なめでも信頼できる精度評価が可能である一方、計算量が大きい。
• クラス分類の精度評価

  混同行列(Confusion Matrix)を基準に考える。
• 正解率 (Accuracy)

  正しく分類できたデータの割合。(TP+TN)/TP+TN+FP+FN
• 適合率 (Precision)

  陽性判定の正しさを表す。TP/(TP+FP)
• 再現率 (Recall)

  異常データの検出力を表す。TP/(TP+FN)
• F値 (F-measure)

  適合率と再現率の調和平均。F値=2×Precision×Recall/(Precision + Recall).
• ハイパーパラメータ

  モデルの複雑さや学習の進行を制御する役割を果たす。訓練データから一定量のバリデーションデータを取り出して、それを用いてハイパーパラメータの調整を行う。
• ハイパーパラメータの最適化によく使う手法

  グリッドサーチ：ハイパーパラメータの組み合わせを総当たりで試す。
  ランダムサーチ：指定された試行回数分だけランダムに値の組み合わせを試す。グリッドサーチの方が精度は高いが、探索に時間がかかる。
• 単純パーセプトロン

  隠れ層がなく、入力層、出力層だけからなる2層のニューラルネットワーク。線形分離可能な問題にのみ対応可能。
• 多層パーセプトロン

  入力層、隠れ層(中間層)、出力層からなる3層以上のニューラルネットワーク。隠れ層が存在することで非線形な問題にも対応可能。
• ニューラルネットワークにおける「学習」とは？

  正しい予測を出力できるよう、隠れ層におけるニューロン間の結合の強さ、つまり重みとパイアスを層ごとに最適化する作業である。ニューロンへの入力は、特徴の学習をしやすくするために、活性化関数を通じて処理されて、下流の層に渡す出力が決定される。
• 損失関数

  「出カデータと正解ラベルの間の誤差」を定量的に表すために使う。勾配降下法を利用して、損失関数の勾配(接線の傾き)に沿って、損失関数を最小化するパラメータの組み合わせである最適解を探索する。
• イテレーション

  パラメータ更新を何度も繰り返して、少しずつ最適解に近づく。1回の更新のこと
• 順伝播

  入力層から出力層に向けてデータを伝播していくこと
• 誤差逆伝播

  誤差を各層に伝播する際には、出力層から入力側に向かって逆方向に誤差を伝播し、重みの更新も出力側に近い層から行うことを
• 誤差逆伝播法

  出力側から入力側に向かって逆方向に誤差情報を伝播し、隠れ層の重みを更新する。
• 勾配消失問題

  ネットワークが深くなるにつれて、重みの更新に必要な勾配の情報が正しく伝播されなくなり学習が停滞してしまう現象。
• シグモイド関数、Tanh関数

  従来から使用されてきた隠れ層の活性化関数で勾配消失問題を引き起こしやすい。ReLU 関数を採用することで勾配消失問題が軽減。
• 勾配降下法

  パラメータの最適化に使われるアルゴリズム。損失関数の勾配(接線の傾き)に沿って、損失関数の最小点に向かってパラメータの値を探索する。特定の区間内の極小点である局所最適解に陥ることなく、真の最適解である大域最適解を目指す。
• プラトー

  勾配がゼロに近い平坦領域で、学習が停滞しやすくなる場所。
• 鞍点

  ある次元から見ると極小であり、別の次元から見ると極大となっている点。
• 学習率

  学習の進行を調整するハイパーパラメータで、一度に重みを更新する歩幅を制御する。
• イテレーション

  同じパラメータを更新する回数を表す量。
• エポック

  同じ訓練データを繰り返しモデルの学習に使う回数を表す量。
• 確率的勾配降下法(SGD Stochastic Gradient Descent)

  局所最適解に陥ることや異常値の影響を抑えるために、一気に全てのデータを学習に使わず、データをミニバッチごとモデルに入力して損失関数を計算し、少しずつパラメータを更新する(ミニバッチ学習)
• オンライン学習

  毎回サンプルを1つ取り出してパラメータを更新する方法。利点は局所解に陥りにくいこと、欠点は外れ値に敏感に反応し学習が不安定になりやすいこと。
• バッチ学習
  (最急降下法)

  パラメータの更新に全ての学習データを一度に用いる手法。安定しやすいが、計算コストが高い。データ総数が少ないときに使いやすい。
• 早期終了
  (Early Stopping)

  過学習を防ぐために、精度がこれ以上改善する見込みがないときに学習を早期に打ち切ること。
• 畳み込みニューラルネットワーク(CNN)

  画像認識に用いられるニューラルネットワーク。豊み込み層、プーリング層、全結合層の3種類のレイヤーから構成。
• 畳み込み層

  入力画像から特徴を抽出することが役割。フィルタを画像の上で一定幅(ストライド)でずらしながら、重なる部分の画素値に対し受み込み演算を行い、画像認識に必要な特徴を含む特徴マップを生成。
• プーリング層

  特徴マップにおける重要な特徴を残しつつ画像の情報量を圧縮することで、被写体の些細な位置変化によって認識結果が変わらないようにする。
• パディング
  (padding)

  入力画像データの周りを0など固定の値で埋める処理。畳み込み層によって画像のサイズが小さくならないようにすること、画像の端に近い部分も学習しやすくすることが目的。
• データ拡張

  データにランダムな変更(回転や平行移動など)を行うことによって人工的に訓練データのバリエーションを増やす。
• 転移学習

  膨大なデータで訓練した学習済みモデルの汎用的なパラメータ値を別のタスクに応用する。
• ファインチューニング

  転移学習に用いる学習済みモデルに、新しいタスクに特化した層を追加し、出力層に近い位置のパラメータを調整する。
• バッチ正規化

  層ごとに標準化(平均を引いて標準偏差で割る操作)を行うことで、データの分布の偏り(内部共変量シフト)を補正する。
• ドロップアウト

  学習時に一部のニューロンをランダムに無効化し、過学習を軽減し汎化性能を上げるための工夫。1つのノードの無効化の割合をpとすると、最終的に結果を出力する際に、当該ノードに(1-p)の重みをつける。以下はモデルを軽量化する手段
• プルーニング
  (枝刈り)

  汎化性能への寄与度が比較的低いノード間の接続を切る
• 蒸留

  大規模モデル(教師モデル)への入力データとその出力を用いて、小さいモデル(生徒モデル)を学習する
• 量子化

  パラメータをより小さいビット数で表現する
• RNN
  (リカレントニューラルネットワーク 再帰型ニューラルネットワーク)

  時系列データを扱うニューラルネットワーク。隠れ層のフィードバック機構の働きにより、一度処理した情報を再び同じ層に入力し保持できるため、過去の入力や順序を考慮した予測が可能。
• BPTT
  (Back-Propagation Through Time)

  RNN における、時間軸に沿って誤差を伝播する仕組みであり、勾配消失問題の原因になりうる。
• 重み衝突問題

  RNN を時間方向に展開すると長い順伝播型モデルと見なせるが、一般的なニューラルネットワークと同じく誤差逆伝播が適用されるため、時系列データを扱う上、「今の時刻では関係性が低いが、将来の時刻では関係性が高い」のような入力を与えた場合、重みを適切な値に設定しづらい。
• LSTM
  (Long Short Term Memory)

  従来のRNN の改良版。長い系列の学習が困難である問題を軽減。ゲートを取り入れて情報制御を行い、長期的に保存したい情報をメモリに書き留め、不要な情報を忘却する。
• 入カゲート

  入力重み衝突問題を防止するためのゲート機構(入力時の重みを制御)
• 出力ゲート

  出力重み衝突問題を防止するためのゲート機構(出力時の重みを制御)
• 忘却ゲート

  誤差が過剰にセルに停留することを防止し、リセットを行う
• CEC
  (Constant Error Carousel)

  長期依存を学習できるようにした RNNの拡張モデルであるLSTM における、過去のデータを保存するユニット。
• CTC
  (Connectionist Temporal Classification)

  RNN を用いた自然言語処理において、入力系列長と出力系列長が一致しなくてもよいように、空白文字(blank)を加えて処理をすることによって、形式的に系列長をそろえる技術。
• GRU

  LSTM を簡略化したモデル。3種類のゲートの代わりにリセットゲートと更新ゲートの2種類が用いられる。
• エージェント

  環境から受け取った状態のもとで、なるべく高い報酬を受け取れるような行動を選択できるように学習を行う。
• 割引率

  「将来もらえる報酬をどれくらい現在の価値として考慮するか」を表すハイパーパラメータで0と1の間の値を取る。将来からのリターンを割引して累積報酬を計算する。
• バンディットアルゴリズム

  報酬が高かった行動を積極的に選択しようとする「活用」と、別の行動を探す「探索」のバランスを整えることに用いられる。
• Q値
  (状態行動価値)

  各状態に対する行動により得られる報酬の期待値。
• 行動価値関数

  Q(s,a)は、特定の状態sにおいて特定の方策にしたがって行動aを取ったときに、将来もらえる価値(累積報酬の期待値)を表す。以下は行動を最適化する手段1最適な方策を直接的に見つける方策勾配法が代表的。方策関数のパラメータを勾配降下法で逐次的に更新しながら、直接的に方策(を表現するパラメータ)を最適化する。2行動価値関数を最大にするような行動を求めることで間接的に方策を改善するQ学習が代表的。価値が最大となる行動を導き出すことで、最適な行動を選択する能力が間接的に得られる。
• モンテカルロ法 (Monte Carlo Method)

  ランダムに多数のパターンを探索する手法。行動するたびにQ値の更新を行うことはせず、報酬が得られるまで行動し、報酬を得た段階で過去の価値関数を一気に更新する。
• TD学習 (時間的差分)

  実際にエージェントを行動させ、次の時点の状態を確認しながらQ値を更新し続けることで行動を最適化し、方策を間接的に改善する。
• SARSA

  各ステップで実際にとった行動を用いてQ値を更新する、方策オン(on-policy)のTD学習法
• Q学習

  最大の価値をもたらすと推定される行動を用いる、方策オフ(off-policy)のTD学習法
• greedy法

  その時の状態における価値関数が最大となるような行動を常に採用し方策を決定する。
• E-greedy 法

  探索可能な行動範囲を広げるために、一定の確率Eでランダムな行動をとらせる。
• マルコフ性

  現在の状態にのみ依存し、過去の状態には一切依存しないという仮定。
• マルコフ決定過程 (Markov Decision Process)

  マルコフ性に基づき、現在の状態と行動だけから将来の状態に遷移する確率を導出するモデル。
• DQN (Deep Q-Network)

  深層強化学習の代表的な手法。DeepMind 社により開発。設計の基本的な思想は強化学習のQ学習に基づいており、行動価値関数(Q値)を表現するためにディープラーニングを用いることで、膨大な数の状態の学習を可能にする。
• Experience Replay (経験再生)

  DQN においてサンプルのバッファーからー度に複数のサンプルを取り出してミニバッチ学習を行う仕組みによって、サンプル間の相関による影響を軽減する手法。
• AlphaGo

  DeepMind 社開発の囲基AI。基盤の学習、状態や行動の評価にCNNを使用し、打つべき手の探索にモンテカルロ木探索法を使用。
• AlphaGo Zero

  AlphaGo の強化版。自己のプレイデータだけで強くなる完全自己対局での学習が可能。
• 物体検出

  バウンディングボックス(矩形)を用いて物体の候補領域を切り出した後に、画像分類器でクラスを推定する。
  ·R-CNN では物体候補領域の検出に Selective Search を利用し、色や強度などが類似する隣接ピクセルをグルーピングする。
  ·R-CNNを高速化した改良版Fast R-CNN は「全体に対して一度のみCNNを適用」すること、Faster R-CNN、SSD、YOLO は「領域の切り出しと物体認識を同時に行う」ことで高速化を実現。
• 物体検出

  バウンディングボックス(矩形)を用いて物体の候補領域を切り出した後に、画像分類器でクラスを推定する。R-CNN では物体候補領域の検出に Selective Search を利用し、色や強度などが類似する隣接ピクセルをグルーピングする。R-CNN を高速化した改良版Fast R-CNNは「全体に対して一度のみCNNを適用すること、Faster R-CNN、SSD、YOLO は「領域の切り出しと物体認識を同時に行うことで高速化を実現
• セマンティックセグメンテーション

  物体の輪郭を画素単位で精密に切り出し、各画素にクラスを割り当てる。代表的なモデルは FCN、U-Net、SegNet など
• FCN (Fully Convolutional Network完全受み込みネットワーク)

  全ての層が畳み込み層から成り立つ。画素ごとにラベル付けした教師データで学習し、未知画像に対し、画素ごとにカテゴリを予測する
• SegNet

  エンコーダを用いて入力画像から特徴マップを抽出し、デコーダを用いて特徴マップと元の画像の画素位置の対応関係をマッピングする。メモリ効率がFCN より高い
• インスタンスセグメンテーション

  物体検出とセマンティックセグメンテーションを統合した手法。重なった物体や同ークラスに属する物体の境界形状の判別が強み。代表的なモデルは YOLACT や MASK R-CNN など
• コーパス

  自然言語処理に用いられる大規模なテキストデータ(P.241 に解説あり)
• Bag-of-Words(BoW)

  単語の出現頻度に基づいて、テキストを数値ベクトルに変換する手法
• 形態素解析

  言語解析の最初に行う。文章を、意味を持つ最小単位である形態素に分割(分かち書き)し、辞書を参照しながら各要素の品詞を推定する。
  有名な形態素解析のライブラリは、MeCab、JUMAN、Janome、Kuromoji、Sudachiなど
• N-gram

  文章をN文字ずつに区切っていきながら単語を分解する方法
• TF-IDF

  文章中の単語の重要度を定量化する手法。値が大きいほど単語の重要度が高いと推定される。1つの文章内での単語の出現頻度TF(Term Frequency;単語の出現頻度)とその単語が存在する文書の割合の逆数の対数IDF(InverseDocument Frequency;逆文書頻度)の積として計算される
• ストップワード

  情報量や出現頻度が少ない単語で、一般的に自然言語の解析に寄与しない。例えば、日本語では「は」「の」「です」、英語ではa,the,ofなどが該当
• 構文解析

  主部や述部などの係り受け構造を推定する。代表的なツールはCaboCha やKNP など
• 意味解析

  同じ文の中の意味構造を解析する。構文解析の後に適用
• 文脈解析

  複数文の関係性を解析する。代表的なタスクとして照応表現(代名詞など)が指す場所を推定する照応解析、因果と背景など解明する談話構造解析がある
• One-Hotベクトル

  その単語に対応するインデックスだけ1、残りは全て0であるような、高次元かつスパースな単語ベクトルである。
  単語の意味を表現できないことや単語の種類だけベクトルの次元が増えてしまうことから機械学習には向かない。
• 単語埋め込み

  変換行列を用いて単語を低次元の密なベクトル(分散表現)に変換。ベクトル空間モデルを用いて、各単語をベクトル空間上の点として捉えることで、意味や類似性をベクトルの演算で表現できた。単語同士の意味が近いほど座標問の距離が短い。
• Word2Vec

  ニューラルネットワークの隠れ層の最適化を通じて、単語の意味や関係性を数値ベクトルを用いて表現できるモデル。
• Doc2Vec

  文章間の類似度をベクトル演算で表現する手法。
• スキップグラム(Skip-gram)

  Word2Vec のアルゴリズム。「中心語」を与え、その前後の一定範囲内に「周辺語」が存在する確率を推定。
• CBOW (Continuous Bag of Words)

  Word2vec のアルゴリズム。周辺語を与えて中心にある単語を推定する。
• トピックモデル(Topic Model)

  クラスタリングを行うことで、文章中の話題(トピック)を導き出す。
• 潜在的ディリクレ配分法(Latent Dirichlet Allocation; LDA)

  近年のトピックモデルの主流。ディリクレ分布という確率分布を仮定して文章分類の確率値を生成する。
• fastText

  高速な文章分類と単語特徴の学習を特徴とする言語モデル。訓練データには存在しないOut of Vocabulary (OOV)に対する推測が可能。
• Sequence-to-sequence(Seq2Seq)

  入力された時系列(sequence)から新しい時系列へ変換し出力するモデル。エンコーダ(encoder)とデコーダ(decoder)という RNN(または Transformerなど)から構成されたエンコーダデコーダモデル。エンコーダが入力データを符号化(エンコード)することで固定長ベクトルに変換し、それをデコーダで複元(デコード)する。
• Bidirectional RNN(BiRNN)

  「過去用」と「未来用」の2つのRNN を組みわせることで、過去と未来の両方向の情報を学習や予測に活用できる言語モデル。
• ELMo(Embeddings from Language Models)

  BiRNN を用いた言語モデルで、双方向から文脈を考慮しながら単語の意味を把握できる。
• GNMT(Google Neural Machine Translation)

  Google 社が開発したニューラル機械翻訳モデル。当初はRNN の対から構成される Seq2Seq モデルが使われたが、後に Transformer を採用することによって、長文翻訳の精度が向上した。
• Attention(注意機構)

  系列データの各時刻の情報に重みを付加し、重要度の高い情報にだけ注意を向けて学習する。
• Source-Target Attention

  入力系列(source)と出力系列(target)の間で単語間の関連性を算出する。
• Self-Attention(自己注意機構)

  一文の中の各単語が他の全ての単語とどの程度関連しているかを評価し、文脈を捉える。
• Transformer

  RNN を用いず、全て Attentionで構成。Self-Attention で構成されたエンコーダとデコーダを Source-Target Attention で橋渡しする。並列演算が可能なため高速になり、離れた単語同士の関係性を捉えやすくなった。位置エンコーディングを用いて、単語の順序に関する情報を入力に加味。
• 事前学習モデル

  大規模なコーパスを用いて教師なし学習を行い、汎用的な特徴を学習し終えている学習済みモデル。ファインチューニングを通じて個別のタスクに利用する。
• スケール則

  モデルのサイズ(パラメータ数)が増加するにつれて、モデルの性能もほぼ同じ割合で向上するという経験則。
• BERT

  2018年にGoogleから提案された事前学習モデル。Transformer のエンコーダを活用し、事前学習のために Masked Language Model (MLM)と NextSentence Prediction(NSP)を実行する。パラメータ数は3億程度。2019年に軽量版である ALBERT や DistilBERT が公開された。
• GPT (Generative Pre-trained Transformer)

  OpenAl が開発した、Transformer のデコーダを利用した事前学習モデル。ランダムな位置で文章の後半を隠し、前半部分を頼りに後半の単語を当てる「穴埋め問題」を繰り返すことで、次の単語を予測し、文章を自動で確率的に生成できるようになる。 パラメータ数はGPT-3が1750億、GPT-4が1兆以上。
• GLUE

  文章要約、固有表現抽出、質問応答などを含む代表的な言語タスクのベンチマークの1つ。
• A-D変換

  アナログデータを機械で処理可能な離散的なデジタルデータに変換。1標本化(サンプリング)連続的な音波を一定の時問問隔ごとに切り出す。2量子化波の強さを離散的な値に近似する。3符号化量子化された値をビット列で表現する。
• サンプリング定理 (標本化定理)

  A-D変換でデジタル化後のデータから元のアナログ信号の波形を正確に再現できるためには、「元の信号に含まれる最も高い周波数の2倍を超えるサンプリング周波数で標本化をすれぱよい」音の基本属性のうち、音を区別する上で一番重要なのは音色であり、音響モデルで使用される特徴量の1つでもある。
• スペクトル包絡

  音声を変換した周波数スペクトル上の穏やかな変動で、メル周波数ケプストラム係数(MFCC)を用いて計算される。
• フォルマント周波数

  音韻を区別する特徴となるスペクトル包絡上の周波数ピーク。
• 音韻

  言語に依存せずに人の発声を区別できる音の要素。音韻が近ければフォルマント周波数も近い値をとる。
• 高速フーリエ変換

  複数の周波数成分の重なりである時間ごとの音声信号を、周波数スペクトルに高速に変換する手法です。
• 隠れマルコフモデル (Hidden Markov Model;HMM)

  音声処理のための統計学に基づいた確率モデル。辞書を使って音索列と単語をマッチングする。
• WaveNet (ウェーブネット)

  DeepMind 社により発表された音声生成モデル。既存手法よりも人間に近い自然な音声を高速に生成できる。音声を多数の点からなる系列として捉え、1つ1つの点をCNN を用いて生成することで音声波形を形成。
• Dilated Causal Convolution

  層が深くなるにつれて畳み込むユニットをスキップする仕組み。
• Sim2real

  シミュレーションを用いてあらかじめ方策(policy)を学習した後に、実世界の環境に適用する手法。過学習して実環境で使用したときに性能が劣ることが問題視される。
• ドメインランダマイゼーション

  パフォーマンスギャップを解消するために、シミュレーション環境を現実世界の環境に近づける。環境パラメータをランダムに変化させ、多様な環境で性能を発揮するモデルを訓練する。
• オフライン強化学習

  シミュレーションのデータを学習や性能評価に用いず、実環境から集めた過去のデータのみ使って強化学習を行う手法。
• オンライン強化学習

  実際に環境と作用しながら行う強化学習。
• Actor-Critic

  方策にしたがって行動を選択する Actor(行動器)を直接改善しながら、行動価値関数に応じて方策を評価・修正するCritic(評価器)を同時に学習させる。
• A3C (Asynchronous Advantage Actor-Critic)

  複数のエージェントが同じ環境で非同期に学習させることで安定化、高速化を実現。
• DQN の拡張版モデルの代表例

  ダブル DQN(Double DQN;DDQN)、デュエリングネットワーク(Dueling Network)、ノイジーネットワーク(NoisyNetwork)これらのよい特徴を組み合わせた「全部載せ」モデルがRainbow。
• ターゲットネットワーク

  DQN のテクニックで、現在学習中のネットワークと、過去に遡ったネットワークの「TD誤差」を教師データのように使う。価値の推定を安定させる効果がある。
• 経験再生(Experience Replay)

  DQN のテクニックで、環境を探索中に得られる経験データを「リプレイバッファー」に保存し、適切なタイミングでランダムに抜き出して学習に利用する。学習を安定化させる効果がある。
• 方策ベースアルゴリズム

  数理モデルを用いて直接的に方策のよさを推定する。
• 価値ベースアルゴリズム

  価値を推定することで間接的に方策を最適化する。
• モデルベースアルゴリズム

  環境をパラメータで明示的に表現し、パラメータを最適化することで、直接的に方策を学習する。
• モデルフリーアルゴリズム

  環境パラメータを推定せずに、Q学習のように方策を求める。
• Society 5.0

  「サイバー空間とフィジカル空間を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する人間中心の社会」と内閣府により定義された用語。
• 「AI・データの利用に関する契約ガイドライン」

  経済産業省によるガイドラインで、探索的段階型のソフトウェア開発方式が推奨されている。開発のプロセスを以下の4つの段階に分けている。アセスメント→PoC→開発→追加学習
• PoC (概念実証;Proof of Concept)

  新しい仕組みやアイデアの実現可能性や期待された精度を達成できるかを検証するためのプロジェクトフェーズ。
• NDA (Non-Disclosure Agreement)/機密保持契約/秘密保持契約

  プロジェクトを開始する前に、第三者への情報の漏洩または不正利用を防止するための契約。
• 準委任契約

  特定の業務を遂行することを定めた契約。成果物の完成の義務を負わない。
• 請負契約

  委託された業務を完成し、成果物を納品することを定めた契約。
• ウォーターフォール開発

  はじめにシステム全体の設計と計画を固めて、それにしたがって全ての要件・機能を一気に上流から下流に向けて実装する開発様式。
• アジャイル開発

  開発工程を小さい機能単位に分割し、機能単位ごとにサイクル(イテレーション)で繰り返す開発様式。AI プロジェクトに適している。
• デジタルトランスフォーメーション(DX)

  事業のあり方、ビジネスモデルやサービス形態の根本的かつ大局的な「デジタルによる変容」を目指す概念。
• オープンイノベーション

  製品、サービス、技術の開発や組織改革などにおいて、社外の組織から知識や技術を取得し社内に取り込むことで、自前主義からの脱却を図る。
• ビッグデータ

  生成速度と更新速度が非常に速い大規模なデータ。ビッグデータの3つのVとは、Volume(量)、Variety(多様性)、Velocity(速度あるいは頻度)。
• RPA (Robotics Process Automation)

  コンピュータやソフトウェアロボットを通じて事務的な定型作業を自動化・効率化する。
• loT=Internet of Things(モノのインターネット)

  身の回りのものがインターネットに接続されることで、データが生成され、そのデータを分析などに利用できる。
• MLOps =Machine Learning Operations(機械学習オベレーション)

  機域学習の開発担当と運用担当が連携しながらモデルの開発から運用までの一連を管理する体制. CRISP-DM (CRoss-Industry Standard Process for Data Mining)様々な業界で適用可能なデータマイニングの方法論。Business Understanding(ビジネスの理解)、Data Understanding(データの理解)、Data Preparation(データの準備)、Modeling(モデルの選択と作成)、Evaluation(評価、見直し、次のステップの計画)、Deployment(本番環境への展開)の6つのフェーズから構成される。
• クラウドサービス

  手元にインフラを用意せずにインターネットを経由してサービス(データベース、サーバー、ネットワーク、アプリケーションなど)を必要な時に必要な量だけ利用する仕組み。
• API (Application Programming Interface)

  ソフトウェアやプログラムの一部を公開し、他のコンピュータやソフトウェアと機能を共有するためのインターフェース。
• エッジ AI

  システムの末端に位置するデバイスに直接搭載し、そのデバイスの上で実行される Al。
• オンプレミス

  システムを運用する上で必要なソフトウェアやハードウェアを自社内で保有し管理する運用形態。
• ブロックチェーン (Blockchain)

  中央管理者を必要としない自律分散システムで、分散的に管理された複数のコンピュータをネットワークに接続し、暗号化されたデータのコピーを全端末で共有している仕組み。システムの可用性と完全性が保たれやすい。
• Docker

  開発者やシステム管理者がコンテナ(仮想的なユーザー空間)という単位でアプリケーションを構築、実行、共有するためのプラットフォーム。コンテナ型仮想化と呼ばれる技術が使用される。
• ライブラリ

  データ処理など専門的な機能を用途ごとにまとめたソフトウェアパッケージ
  -NumPy：配列データと画像データの高速な処理
  -Pandas：表形式データの処理
  -Matplotlib：インタラクティプなデータ可視化
  - scikit-learn：機械学習を実装
  -TensorFlow、Keras、PyTorch、Chainer
• Pythonは遅い？

  Python はスクリプト言語であるが、そのライプラリの多くは、C言語や Fortranなどの高速なコンパイル言語で書かれている。
• Jupyter Notebook

  ブラウザで動作するプログラムの対話型実行環境であり、コードをセルごとに実行可能。Anacondaや Google Collaboratory などの専用環境で記述する。
• 構造化データ

  行と列が定義されている表型データ(例：CSV、リレーショナルデータベース)
• 非構造化データ

  構造(行と列)や規則性が明確に定まっていないデータ(例：画像、音声、フリーテキスト)
• オープンデータ

  機械判読に適したデータ形式で、二次利用が可能な利用ルールで公開されたデータ。営利(商用)・非営利を問わず利用可能。
• データバイアス

  データそのものに含まれる偏り。このうち、サンプリングバイアスは母集団から標本抽出を行う段階で生じる統計的偏り。
• 層別抽出法/層化サンプリング

  母集団をあらかじめ複数の層に分け、各層の中から必要な数だけ無作為抽出する手法。サンプリングバイアスを防止しながら標本を抽出する。
• 偏りを補正

  アップサンプリング(データ数の少ないクラスを水増し)やダウンサンプリング(データ数の多いクラスを間引く)がある。
• アルゴリズムバイアス

  アルゴリズムが特定の変数を強調して学習してしまうため、予測結果にバイアスが生じる。性別、国籍、人種などのセンシティブ属性に対して特に要注意。
• 外れ値

  他のデータからみて、極端に大きな値、または極端に小さな値。
• 異常値

  外れ値のうち、極端な値をとる原因がわかっているもの。
• 匿名加工情報

  他の個人情報と照合したとしても個人を特定できない、かつ個人情報に復元できないように個人情報を加工した情報。
• 仮名加工情報

  単体では個人を特定できないように個人情報を加工した情報。ただし、他の情報と照らし合わせることで個人を特定できる可能性がある。
• 個人識別符号

  その情報だけで特定の個人を識別可能な文字や記号。例：生体情報を変換した符号(DNA、顔、指紋等)、公的な番号(パスポート番号、基礎年金番号、免許証番号、マイナンパー、各種保険証等)
• 要配慮個人情報

  「本人の人種、信条、社会的身分、病歴、犯罪の経歴、犯罪により害を被った事実その他本人に対する不当な差別、偏見その他の不利益が生じないようにその取扱いに特に配慮を要するものとして政令で定める記述等が含まれる個人情報」。原則として、本人の同意なく取得・利用をしてはならない。
• 機微情報

  金融分野ガイドラインにおいて、要配慮個人情報、及び「政治的見解、信教、労働組合への加盟、人種民族、本籍地、保健医療及び性生活、犯罪経歴」。
• オプトアウト制度

  本人が反対をしない限り、個人情報の第三者提供に同意したものとみなし、第三者提供を認めることである。個人情報取扱事業者は、オプトアウト制度を利用することにより、事前に本人の同意を得なくても、その個人データを第三者に提供可能。
• 「カメラ画像利活用ガイドブックver3.0」

  経産省が公表しているプライバシーに配慮したカメラ画像の利活用について検討を進めてきたガイドライン。
• GDPR (EU一般データ保護規則)

  EU における個人データやプライバシー保護に関する規則。EU域内に拠点を有する管理者、またはEU 域内のデータ主体に対して物品・サービスの提供または行動の監視を行う場合に適用される。GDPR におけるデータポータビリティとは、あるサービスにおいて特定のユーザーに関して収集した利用履歴などの個人データを他のサービスに移転し再利用できる権利。
• 特許権が認められるための3大条件

  1.産業上の利用可能性、2.新規性、3.進歩性
  例外として、公の秩序、善良の風俗または公衆の衛生を害する恐れのある発明は上記条件を満たしても、特許権が認められない。
• 特許権の実施許諾

  通常実施権と専用実施権がある。通常実施権の許諾を受けた者は、その許諾契約等で定められた範囲内で、業としてその特許発明を実施できる。専用実施権の許諾を受けた者は、その設定契約等で定められた範囲内で、業としてその特許発明を独占排他的に実施できる。
• 特許を受ける権利

  発明の完成と同時に発生し、自然人である発明者に帰属する。特許権は、特許権の設定登録により発生し、特許出願の日から20年で終了。
• 先願主義

  一番先の出願人に特許を認める制度。
• 著作物の条件

  著作物は創作性のある表現物である必要がある。
• 職務著作

  原則として著作者は法人その他の使用者となる。
• 共同著作物

  2人以上の者が共同して創作した著作物。共有著作権は各人の寄与を分離して利用できず、共有者全員の合意なく譲渡等できない。
• 著作権の存続期間

  個人の場合著作者の死後70年を経過するまでの間、
  法人や団体の場合は著作物の公表後70年を経過するまでの間。
• 学習用データセットに著作権はある？

  「情報の選択又は体系的な構成によって創作性を有するもの」である場合に、学習用データセットは、「データベースの著作物」として認められることがある。
• プログラムの著作物？

  コンピュータプログラムは、「プログラムの著作物」に該当することがある。
  しかし、その作成に用いられたプログラム言語、プロトコル、アルゴリズム、規約及び解法は著作権法による保護を受けない。
  設計書やユーザー説明書などは苦作物として保護されることがある。
• モデルの学習は著作法違反？

  著作権法の第30条の4第2号によれば、モデルの学習は、「情報解析」に該当し、一定条件を満たせば、基本的には著作者の許諾なく無断で著作物を AI の学習に利用可能。
• AIによる生成物が他の著作権者の著作権を侵害してしまう可能性がある。

  AIによる生成物が他の著作権者の著作権を侵害してしまう可能性がある。
• 不正競争防止法

  事業者間の公正な競争を確保するための措置等を講じる。営業秘密や限定提供データの不正取得行為等(例：顧客リストやノウハウの盗用)が「不正競争」として禁じられている。
• 営業秘密が満たす条件

  ①秘密管理性：秘密として管理され、秘密情報であることがわかるように、アクセス制限や秘表示などの秘密管理措置がなされていること
  ②有用性：有用な技術上または営業上の情報であること
  ③非公知性：公然と知られていないこと
• 限定提供データとは？

  特許法著作権法に保護されず、営業秘密にも該当しないデータ。以下の条件を満たすもの。
  ①限定提供性(一定の条件の下で反復継続的に提供)
  ②相当蓄積性(「相当量」はデータの性質に応じて判断)
  ③電磁的管理性(ID・パスワードでアクセスを制限)
• トークン

  トークンは、AI（特に言語モデル）がテキストを理解するための「意味を持つ最小単位」です。
  ・多くの場合、単語とほぼ同じ
  ・空白、句読点、数字などの記号もトークン
  ・漢字、ひらがな、カタカナも個別のトークン AIはテキストをトークンに分割し、それぞれの関係性を分析することで、文章の意味を理解します。

広告

コメント