タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
ニューラルネットワークを用いてお絵描き途中の線からイラストを仕上げる「Sketch-RNN」のようなリカレントニューラルネットワーク(RNN)モデルとして作成された「dick-rnn」は、その名の通り「dick(おちんちん)」のイラストに特化したRNNです。 [P] I trained a recurrent neural network trained to draw dick doodles : MachineLearning https://www.reddit.com/r/MachineLearning/comments/g6og9l/p_i_trained_a_recurrent_neural_network_trained_to/ 「dick-rnn」を作成したのは海外掲示板・redditユーザーのrichardさん。同氏によると、「dick-rnn」はお絵描き途中の線からイラ
(本記事は数時間前からRWKVの手法について調べ始めた著者が、手法をまとめるためのメモ書きとして深夜テンション書いたレベルのものです。内容の正確さについて保証しないので各自最後にある参考文献の確認をお願いします。日本語の記事でRWKVの手法について解説されたものが見当たらなかったので、一部僕の見解が含まれますが英語版中国語版の翻訳程度に受け取ってもらえたら幸いです。中国語は一切読めないけど・・・） Introduction 昨今の生成系AIブームの中で、OpenAIが開発するChatGPT、特にGPT4の性能は目を引くものがあります。ですが、そのモデルを動かすための計算資源にも目を引くものがあり、LLaMA.cppなどローカルで動かそうとする試みは存在するにせよ、やはり一般の家庭でしかも現実的な電気代でGPT4を動かすという未来は遠そうです。 さて、そんな話題のChatGPTやGPT4です
拙著『深層ニューラルネットワークの高速化』が重版して第 2 刷となりました。皆さまありがとうございます！ 深層ニューラルネットワークの高速化 (ML Systems) 作者:佐藤 竜馬技術評論社Amazon もはや恒例、重版に感謝して書き下ろし専門記事をお届けします。 本稿では、SNS などでもたびたび話題になるトランスフォーマーは RNN であるという話をします。本稿では単に形式的に包含性を指摘するだけでなく、トランスフォーマーと RNN はどの程度似ているのかや、そこから導かれる応用上の意味についても詳しくご紹介します。 本稿は『深層ニューラルネットワークの高速化』の第 6.3 節と第 7.2 節に基づいています。 過去回 拡散モデルと最適輸送（最適輸送第 5 刷） GNN の最新動向（グラフニューラルネットワーク第 3 刷） 深層学習で部分空間を扱うときは射影行列を考えるとよい（グラ
筑波大が無料公開している機械学習の講義動画 https://t.co/aOlSBqYefi ・講義ノートもダウンロード可能 ・単回帰に始まりCNN, RNN, GANまでひと通り学べる https://t.co/CqpnzfBfOm
Amazon Prime 一ヶ月無料 Seq2seqからBERTまでのNLPモデルの歴史をざっとまとめる。 DNNは知ってるけどTransformerってなんだかわからない、って人におすすめです。 Abst. 画像認識にもTransformerが使われることが多く、DeepRLやGPT-3といったNLPモデルも身近になってきています。"Attention is 何?"と言えなくなってきたので勉強しました。 Feedforward NetworksからSeq2Seq, Attention機構からTransformer登場、そしてBERT GPTといった最新モデルまでの流れを広く浅く記述する予定。 またKaggle NLPコンペの上位解法から利用例を探る。 Tl;DR TransformerはSelf-Attentionという機構でデータ内の時系列的特徴を抽出でき、従来のRNNを始めとするNN
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回はシングルGPUで動作するTransformer相当のRNNモデル、という噂のRWKVについて試してみたいと思います。 RWKVとは TransformerベースのLLMと同等の性能を持つ、並列化可能なRNNモデルであり、Attentionフリー(Attention構造を持たない)なモデルです。 ライセンス形態がApache License 2.0かつ、シングルGPUでも動作する点が凄いところとなっています。 GitHub https://github.com/BlinkDL/RWKV-LM Huggin Face https://huggingface.co/BlinkDL Hugging Face側にモデルがいくつか公開されており、rwkv-4が付くものが最近よく話題で使用されているもので
今回の目的 前回はマルコフ連鎖を用いて、青空文庫で公開されている梶井基次郎の著作データから文章を生成しました。今回から数回に分けてディープラーニングの手法を用いて、文章の生成に挑戦してみましょう。 ここで一つ考えたいのは、文章というものの構造です。例えば、梶井基次郎の『檸檬』には「檸檬などごくありふれている。」という1文があります。これを分かち書きにすると「檸檬 など ごく ありふれ て いる 。」となりますが、これは「檸檬」→「など」→「ごく」→「ありふれ」→「て」→「いる」→「。」と形態素が連続して登場する（時系列）データだと考えられます。こうしたデータを扱うのに適したニューラルネットワークとしてRNNがあります。本連載でも「RNNに触れてみよう：サイン波の推測」などで少し触れました。今回はこのRNNを用いて文章を生成するための準備を、次回は実際に文章を生成する予定です。 ここで問題な
\left( \begin{array}{cc} y_i^{(t)} \\ z_i^{(t)} \\ \end{array} \right) = \left( \begin{array}{cc} y_i^{(t-1)} \\ z_i^{(t-1)} \\ \end{array} \right) +e^{q_i\cdot k_{i-t+1}} \left( \begin{array}{cc} v_{i-t+1} \\ 1 \\ \end{array} \right), o_i=\frac{y_i^{(i)}}{z_i^{(i)}} \qquad(2) 筆者が読んだ文献の中では、「Self-attention Does Not Need O(n^2) Memory」が初めて上の式にたどり着き、この式でAttention計算の最適化を試みた。また、この式は現在主流の加速技術であるFlash At
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
今更ですが、RNNについてです。 RNNもCNNと同様に約２年前に実装していましたが、なかなか書けませんでした。少し時間ができたので、書きます。 RNNですが、例によってMNISTを使って確かめます。 時系列データ RNNは、例えば、株価の推移、商品の売り上げなど時刻ごとに変化するデータの予測に用いられます。 次元としては、以下のような２次元データです。 (t, d) t:時系列長、d:説明変数 tは、月次データの12か月分であれば12、日々データで1週間分であれば7になります。 ここでは、MNISTの画像を時系列データとみなします。 MNISTの画像の例です。 以下のように、上部のピクセルから順に1時刻、2時刻となり最後が28時刻です。 (28,28)のデータになります。 スキャナで上から順番に読み込んでいくイメージです。 RNN（リカレントニューラルネットワーク） 時系列データは、前時
a neural network trained to draw dicks
はじめに GW中になにか一つアウトプットしたいと思ったので、自分が最初見たとき、ん？と思ったLSTMについて詳しく書いてみようと思います。 ところどころ数式も交えながら、なるべくわかりやすく書いていきたい所存です・・・！ シーケンスモデルの分類 本題に入る前にまず、シーケンス（系列データ）についてまとめます。 シーケンスモデルは以下の分類ができます。 one to one 入力データも出力データも固定サイズのベクトルである一般のニューラルネット。 one to many 入力データはシーケンスではないが、出力データはシーケンスである。 例として、画像キャプショニングがある。 画像キャプショニングでは、入力は画像であり、出力は英語のフレーズになる。 many to one 入力データはシーケンスだが、出力データは固定サイズのベクトルである。 例えば感情分析では、入力はテキストベースであり、出
For a while, I’ve been following and contributing to the RWKV language model, an open source large language model with great potential. As ChatGPT and large language models in general have gotten a lot of attention recently, I think it’s a good time to write about RWKV. In this post, I will try to explain what is so special about RWKV compared to most language models (transformers). The other RWKV
RNNとは RNN（Recurrent Neural Network）とは、「時系列データをうまく扱う」のに適したニューラルネットワークです。ここでいう「時系列データ」とは、連続する複数のデータが時間軸に沿ったものであったり、何らかの順序で並んでいたりするもののことです。数年間にわたる降水量のデータを日ごとにまとめたデータは想像しやすい時系列データの一つでしょう。あるいは「Python is great !」（Pythonはスゴイ！）という英単語の綴りもまた時系列データの一つといえます。この文は「主語 述語 形容詞 感嘆符」という4つの語が一定の規則に従って並べられたもので、こうしたものもRNNでは時系列データとして扱えます。 時系列データを扱う際に重要になるのは、ある時点のデータが、それ以降のデータに影響を与えている（と見なせる）という点です。例えば、サイン波について考えてみましょう。
今回は、PyTorch の RNN (Recurrent Neural Network) が内部的にどんな処理をしているのか確認してみる。 なお、ここでいう RNN は、再起的な構造をもったニューラルネットワークの総称ではなく、いわゆる古典的な Simple RNN を指している。 これを書いている人は、ニューラルネットワークが何もわからないので、再帰的な構造があったりすると尚更わからなくなる。 そこで、中身について知っておきたいと考えたのがモチベーションになっている。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 11.5.2 BuildVersion: 20G95 $ python -V Python 3.9.6 $ pip list | grep torch torch 1.9.0 もくじ もくじ 下準備 モデルを
はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM（Long Short-Term Memory, 長・短期記憶）が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像（フレーム）や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Attentionを理解するために、学習した事を整理します。 #参考文献 ①「深層学習による自然言語処理」 講談社 坪井祐太 海野裕也 鈴木潤 著 ②「ゼロから作るDeep Learning2 自然言語処理編」 オライリー 斎藤康毅 著 #■RNN(recurrent neural network) 文献①によると、再帰ニューラルネットワーク（RNN）は可変長の入力列を扱うことに優れたネットワーク構造で、前の時刻の隠れ状態ベクトルと現時刻の入力ベクトル（または下層の隠れ状態ベクトル）を使って、現在の隠れ状態ベクトルを更新するとのこと。
今回の目的 前回は、分かち書きされたテキストから辞書や学習に使用するデータセットを作成して、訓練データをPyTorchのEmbeddingクラスのインスタンスに入力→RNNクラスに順伝播→全結合層に順伝播→辞書の要素数の出力を得るまでの手順を見てみました。 今回は今述べた処理を行うニューラルネットワークモジュール（クラス）、学習を行う関数などを定義して、実際に学習を行い、最終的に梶井基次郎の小説データからどんな文章が生成されるかまでを見ていくことにします。 前回に記述したコードで、辞書を作成する関数やデータセットやデータローダーを定義するコードなど、今回も使用しているものは今回のノートブックには冒頭に記述してあります（それらのコードを実行するには分かち書きされたテキストファイルwakati.txtが必要です。その作成方法は前回のノートブックの末尾に掲載しているので、そちらを参照してください
はじめに 時系列データを入力にとり、今の時刻の入力に加えて前の時刻の「状態」も使って出力を決めるニューラルネットワークの形態に RNN (Recurrent Neural Network) があります。LSTM（Long Short-Term Memory, 長・短期記憶）が有名でしょうか。 時系列データとは、動画やテキストといった、列全体として意味を持つようなデータです。普通のニューラルネットワークは画像や文字といった、形式の決まったある1つのデータを入力に取るわけですが、それらが並んだ動画やテキストを扱うときには、個々の画像（フレーム）や文字はもちろん、その並びにも大きな意味がありますね。このようなデータをうまく扱う構造がRNNというわけです。 ただ普通の全結合層などと違って正直とっつきにくいと思います。私もそうです。 というわけで、まずはRNNが何をするものかを理解して、次に前の時刻
【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第１回の動画です。系列データとは何か、どのような応用事例があるのか、そして本研修で扱う内容について説明しています。 [スライド4] Found in translation: More accurate, fluen
ChatGPT and chatbot-powered applications have captured significant attention in the Natural Language Processing (NLP) domain. The community is constantly seeking strong, reliable and open-source models for their applications and use cases. The rise of these powerful models stems from the democratization and widespread adoption of transformer-based models, first introduced by Vaswani et al. in 2017
第三次AIブームと呼ばれる昨今、さまざまな企業が積極的にAI（人工知能）を導入し始めており、私たちの生活にも溶け込みつつある状況です。スマートフォンでも気軽にAIを利用できるため、もはや欠かせない存在といっても過言ではないでしょう。 その中でも、チャットボットやスマートスピーカーに用いられている「自然言語処理」は、多くの価値を見出すことから特に注目されています。今回は、その自然言語処理に使われる「LSTM」について詳しくご紹介していきます。RNNとの違いについても解説していきますので、ぜひ参考にしてみてください。 ディープラーニングについて詳しく知りたい方は以下の記事もご覧ください。 ディープラーニングとは？仕組みやできること、実用例をわかりやすく紹介 LSTMとは、「Long Short Term Memory」を略した言葉であり、ニューラルネットワークに使用される層の一つです。このLS
せっかく作ったので昨年秋に担当したデータサイエンスコースの大学院生向け講義の資料と演習用Google Colabを公開しました。ディープラーニングの基本であるAutoEncoder、CNN、GAN、RNN、Transformerな… https://t.co/lO2n3tClNl
深層学習系 基礎①：RNN, LSTM, GRU 昔は時系列で深層学習と言ったら基本 RNN 系しか考えられないような状況だったと思う。RNN は内部状態を時系列方向に渡す NN の総称で、内部状態の計算をイカしたやり方でやる RNN の一種が LSTM や GRU という関係。 いろんな亜種も提案されてきたけど、結局普通の LSTM, GRU が普通によく使われる印象。とある激ツヨ botter は LSTM, GRU でめっちゃ勝ってるっぽい……凄い。けど、かなりノウハウがある様子なので、普通に OHLCV を突っ込むだけで勝てるかは謎。 深層学習系 基礎②：CNN, Dilated CNNCNN は主に画像分類等で圧倒的な性能を発揮してきたが、時系列予測でも利用できる。画像では縦横方向の二次元の畳み込みを行うが、時系列データでは時間方向の一次元の畳み込みを利用する。 CNN の課題は
「筑波大学オープンコースウェア」を活用すると機械学習概論から単回帰・重回帰、SVM、k-means,PCA,ニューラルネットワーク,CNN,RNN,GANなどが全て「無料」で学べます。 上記20本が講義動画で登録なしで学べます。… https://t.co/qoD0vhifGz
自然言語処理とは何？ ・自然言語は普段私たちが使っている言葉それをコンピュータで処理する技術を 自然言語処理（natural language processing nlp）という そして、実際何に使われてるの？ ・検索エンジニン（キーワード検索とか...） ・機械翻訳 ・予測変換 ・メールファイター ・みんな大好きalexa 色んな技術 ・形態素解析 →文章を単語に分割する技術 ・word2vec →文書内での関係性を踏まえて、単語をベクトルに変換 ・リカレントニュートラルネットワーク →時系列を扱うのが得意なニュートラルネットワーク ・seq2seq →RNNをベースにした文章生成モデル などなど... 建前は置いておいてとりあえず実装していきます。 今回は、文章の自動生成を行っていきます。 使うデータは宮沢賢治の「アメニモマケズ」をデータを使い（風であって宮沢賢治っぽい）文章を生成し
RNN は隠れ層の伝播が肝です。 数式を意味として捉える力を RNN シリーズで培ってもらえると嬉しい！ 【関連プレイリスト】 Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP ご視聴ありがとうございました！ 良い動画だなと思っていただけたら、高評価、チャンネル登録お願いします！ 質問や感想など、気軽にコメントしてくださいね。 ========= Twitter: https://twitter.com/AIcia_Solid/ Logo: TEICAさん https://twitter.com/T_E_I_C_A Model: http://3d.nicovideo.jp/works/td44519 Model by: W01fa さん https:
0. はじめに DeepLearningを使用した時系列/自然言語処理に関して調べたことをシェアしていく記事の第1弾です。第1回はRNN(Recurrent neural network)を扱います。 RNNの日本語記事はかなりありましたが、LSTMではなくRNNを使用した「sin波予測」以外のサンプルが少なかったり(というかほぼ無かった)Kerasを使用したRNN記事と比べて圧倒的にPyTorchで書かれた記事が少ないと感じたので、私なりに初心者でもわかるような直感的な表現を使いつつこの記事ではまとめていこうと思います。 RNNは今や古いので誰にも使われていませんが、いろんな分野の基礎になっているので理解しておくことは重要だと考えています。 例)テキスト解析、感情分析、文章翻訳、チャットボット、動画分析・・・etc なお、本記事では自然言語ではなく「時系列処理」に関してRNNを適応した例
はじめに アンジャッシュ渡部さん（以下敬称略）の記者会見が世間を賑わせましたね。 この記者会見を見て皆さんいろいろと思うところがあるとは思いますが、僕は以下の記事が気になりました。 https://sn-jp.com/archives/22422 今回の記者会見の受け答えで、渡部が特定のワードを連発していたというものです。 特に「本当に」というワードに限っては100回以上使われていました。 これだけ偏った語彙の言葉が連発された記者会見を見て、僕はこう思いました 渡部のセリフをディープラーニングで学習して、渡部っぽい文章を自動生成する渡部AIを作りたい！ そうして勢いのままにこの記事を書いています。 結構長くなってしまったので、手っ取り早く結果だけ知りたい人は最後の「実際にやってみた」だけでも読んでもらえればと思います。 自然言語処理の勉強をしながら書いたので間違ってる箇所や正確でない箇所が
【Deep Learning研修（発展）】（ https://www.youtube.com/playlist?list=PLbtqZvaoOVPA-keirzqx2wzpujxE-fzyt ）はディープラーニング・機械学習に関する発展的な話題を幅広く紹介する研修動画シリーズです。Neural Network Consoleチャンネル（https://www.youtube.com/c/NeuralNetworkConsole/ ）でもディープラーニングに関するより基礎的な内容の解説動画を公開しておりますので、ぜひそちらも御覧ください。 本動画は「系列データモデリング」の第７回の動画です。前回のAttentionに続き、深層学習分野において大きなインパクトを与えた手法であるTransformerについて説明します。 [スライド5] Attention Is All You Need
はじめに この記事は筆者が学習上作成したnlpモデルを説明したものです。初学者向けの内容になります。具体的にはGRU,LSTM,RNNを使用して芥川龍之介を再現しました。 環境 Google Colaboratoryを使いますので、googleアカウントを持っている方なら誰でも使うことができます。 言語はPythonです。 Google Colaboratoryとは Googleが提供しているデータサイエンス用のノート型シェルです。言語はPythonだけでなく他の言語も対応しています。Google Colaboratoryは非常に手軽かつGPUを使用でき、機械学習や大規模の数理モデルの計算に通常のCPUだと30分かかるところを数分ほどで計算できます。 コードとコーパスの配布 こちらのgithubにて配布しております。 https://github.com/Kokusho-gif/nlp_a
SONYがYouTubeに無料公開している、系列データモデリングのコース。説明が丁寧でわかりやすい。RNN, LSTM, seq2seq, attention, Transformer, word2vec, BERTなど盛り沢山の… https://t.co/i5GSLIaLEo
この記事の目的 0. 通常のNeural NetworkやConvolutional Neural Networkの問題 1. RNN (Recurrent Neural Network) 2. 勾配消失(爆発)問題 3. LSTM (Long-short term model) 入力ゲートと出力ゲートはなんのために用意されたか？ 忘却ゲートはなんのために用意されたか？ そのほか 最後に 参考にした書籍やサイト この記事の目的 RNN, LSTMの理論を理解し、Kerasで実装できるようにするために、理論部分をまとめた記事。 0. 通常のNeural NetworkやConvolutional Neural Networkの問題 これまでNNやCNNは入力サイズが固定だった。そのため、毎回同じ入力をするしかなく、時系列情報を入力させることができなかった。 RNN・LSTMは、入力を可変にし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く