自然言語処理
- BERT
- BERT ChatBot の推論部分のコードがわからなかったからテンソルの形をみた
- BERT Embedding
- 20211224_nlp_basic
- Research on Encrypted Text Classification Based on
- 言語処理100本ノック
- 固有表現抽出
- 分散表現
リンク
Seq2Seq / Attention の構造が詳説されている記事
BERT日本語概説
BERTによるチャットボットの実装
様々なTransformer実装されているライブラリ
Albert論文コメント
Self-Attention説明
huggingface/trahnsformers Model2Model
huggingface/transformers Bert
リファレンス
実装
TransformersのBertModelをDecoderにしたい
に Decoderとしても使える旨が書かれているが、サンプルが見当たらず、いまいちどの引き数になにを入れれば良いか理解不足。最悪Decoderの部分は他実装を参考にし実装する。