G検定～「G検定問題集第5、6、7章」編～

mer0 2021年11月13日カード40 いいね1

単語カード

y= 1/(1+e^-x)

シグモイド関数の数式
ニューラルネットワーク

脳の神経回路の一部を模した数理モデル、または、パーセプトロンを複数組み合わせたものの総称
ReLU関数

活性化関数の一つ。入力値(x)が0より大きい場合、出力値はxとなり、0以下の場合、0を出力する関数。この関数を微分すると0以下の場合は0、0より大きい場合は1となる。
y=max(0, x)

ReLU関数の数式
y=(exp(x)-exp(-x))/(exp(x)+exp(-x))

tanh関数の数式
微分係数

関数 y=f(x)、x=aの時のaの極限値(限りなく0に近づけた際)の傾き。
最急降下方(Gradient Descent)

誤差関数の最適化アルゴリズムの一つで、データセットを全てネットワークに入力し誤差を求め、パラメータを更新する手法。バッチ学習の一種
確率的勾配降下法(Stochastic Gradient Descent)

誤差関数の最適化アルゴリズムの一つで、全データの中からランダムに抜き出したデータをネットワークに入力し誤差を求め、パラメータを更新する手法。手動で学習率を決定。 1つずつ抜き出した場合：オンライン学習、複数個抜き出した場合：ミニバッチ学習
モーメンタム

SGDを改良を加えた最適化アルゴリズム。パラメータの更新に慣性的な性質を持たせ、勾配の方向に減速・加速したり、摩擦抵抗によって衰退したりしていくようにパラメータを更新する手法。
x(更新後) = x(更新前) - (学習率) × (x(更新前)における勾配)

勾配降下法によってパラメータを更新する動作(1回分)の数式
AdaGrad

SGDを改良を加えた最適化アルゴリズム。勾配降下法においてパラメータ毎の学習率を、勾配を用いて自動で更新する手法。
テストデータに対する誤差関数の値が上昇傾向に転じた時

early stopping、つまり学習を早めに切り上げて終了するタイミング
Tesseract (テッセラクト)

さまざまなオペレーティングシステム上で動作する光学式文字認識エンジン
★:1次元、●:物体の位置情報

多層パーセプトロンのニューラルネットワークを用いて画像データの学習を行う場合、画像データを(★)のデータに変換する必要がある。この変換を行うと、画像に写っている(●)が失われる。
カーネルサイズ、ストライド、パディング

基本的なCNNでのハイパーパラメータ(学習前に人の手で決めるパラメータ)3つ。
カーネルの中の数値

基本的なCNNでは、ニューラルネットワークの重みとして、学習により最適化する値。
パラメータ数の削減

Global Average Pooling(GAP)とは各特徴マップの平均を求めることで1次元の値に変換し出力層に伝播する方法。特徴マップの値を全て使用して結合することがなくなるので、(●)できるのが特徴。
seq2seq(sequence-to-sequence)

RNNは時系列データから一つの予測を出力するものであるのに対し、入力の時系列に対して出力も時系列として予測したいという問題。
RNN Encoder-Decoder

入力の時系列に対して出力も時系列として予測したいという問題を解決する為に考えられたモデル。
RNN(リカレントニューラルネットワーク)

過去の入力いよる隠れ層(中間層)の状態を、現在の入力に対する出力を求める為に使う構造をもつニューラルネットワーク。
LSTM

入力/重み衝突問題を解決する為に考えられた手法。CECという情報を記憶する構造とデータの伝播量を調整する3つのゲートを持つ構造を持っているモデル。
GRU(Gated Recurrent Unit)

LSTMの計算量が多いという問題を解決する為に、軽量化されたモデルの一つ。リセットゲートと更新ゲートという2つのゲート構造を用いた構造のブロックから構成。
●:個々、★:一連

強化学習では(●)の行動によって変化する状態に対して、(★)の行動選択の結果、得る報酬和を最大化する事が目的。
疎な報酬

囲碁のように勝敗が決した状態に達したときのみ報酬が得られる場合の報酬のこと。
パラトメック手法

「与えられた母集団が何らかの分布に従っている前提」がある時に使える手法です。この時の何らかの分布とは大抵の場合は“正規分布”のことを指す。
モデルベース

強化学習でも用いられる代表的な手法。ある状態である行動を選んだ時、別の状態に繊維する確率と、そのとき得られる報酬がすべてわかっている状態、つまり環境に対する情報が完全である場合に適応できる手法。
価値関数ベース

報酬の期待値を状態や行動の価値計算に反映する手法。
方策ベース

現時点の方策で計算した報酬の期待値と方策を見比べて、どのように方策を変化させれば報酬の期待値が大きくなるかを直接計算する手法。
少しずつ交互

深層生成モデルのGANでは、ジェネレータとディスクリミネータの学習を(●)に進める。
SoTA(State of the Art)

機械学習の分野では「もっとも高精度」であることを指す用語。
EfficientNet

2019年にGoogle社から発表された画像認識モデル。これまで登場していたモデルよりも大幅に少ないパラメータ数でありながら、SoTAを達成した高精度で高速なモデル。モデルの深さ、広さ、入力画像の大きさをバランス良く調整しているのが特徴。
LDA

文書集合から各文書におけるトピックの混合比率を推定する手法の一つ。一つ文書に複数のトピックがあることを表現できる為、例えば「ジャガー」という単語が車トピックでもネコ科トピックでも使用されることを表現できる。また、スポーツ記事と政治の記事から「ホームラン」という単語が同じ確率で生成されるとは考えにくいといった、各トピックから単語が生成される確率もトピックと同時に推定。
bag of words

自然言語の最も単純なベクトル化手法の一つ。
WaveNet

2016年にDeepMind社によって開発されたモデルで、PixelCNNというモデルをベースに作られた。Dilated Causal Convolutionと呼ばれる、層が深くなるほど畳み込み層を離す処理が内部で行われている。
モード崩壊

GANで起こる問題で、多様性(幅広く性質の異なる群が存在すること)のない画像などを生成してしまう現象。
ステアリング

乗り物の進行方向を任意に変えるためのかじ取り装置のこと
SHAP

ブラックボックスな(解釈性が低い)モデルを解釈するツール一つ。2016年にLundberg and Leeにより発表された、協力ゲーム利用を応用している。決定木系のアルゴリズムや、ニューラルネットワークの派生アルゴリズムにも多様に活用できる。
XAI

ブラックボックスな(解釈性が低い)モデルを解釈するツールを使って作られた、解釈性の高いもしくは説明可能なAIのこと。
DARPA(国防高等研究計画局)

XAIの研究プロジェクトを主導する米国国防総省の機関
●:知的財産権、★:流通容易性

AIと法制度に関わる課題の一つとして、学習データや学習済みモデルの(●)の保護と(★)が矛盾するという点がある。