Qwen3が出ていて、14Bを中心にいろいろ試したのだけど、かなり使い物になって、日常的な用途ではこれでいいのでは、という感じもします。 4BでもGPT-4oを越えているという話もありますが、確かに単純な用途ではGPT-4oの代わりにしてもいいなと場面も割とあり…

この2年半くらいで急激にAIが進化して、このままの速度で進化が進むように見えるけど、今までディープニューラルネットや自然言語処理が目立たなかったところに、急に注目されてリソースが投入されて時代が追いついただけな気がする。 H100というハードウェ…

ぼくもAIコーディングエージェントを作ったほうがいいんじゃないか、ということで、かろうじてコーディングエージェントと呼べるものを作りました。 指示したJavaファイルを作って保存して実行してエラー出なくなるまでやりなおすというものです。 ただまあ…

1, 0, -1の3値で重みを表現するBitNet b1.58の、独自に4兆トークンで学習した2Bモデルが出ていたので試しました。 https://github.com/microsoft/BitNet だいたいReadmeの通りにやればいいんだけど、Windowsではハマリポイントあったのでメモ。Readme見れば…

少ないVRAMで長い動画を生成できるFramePackというのが出ていたので、試してみました。6GBのVRAMでいいらしい。 Windowsは「明日またここに来てください」って書いてあったので、WSLでLinux版を動かしました。 https://github.com/lllyasviel/FramePack イン…

トランスフォーマーでアテンションを計算して単語エンベディングにその重みを反映するコードでの説明 ChatGPT - Transformer原理のJava実装 わかりやすく図示してもらうためにHTMLを生成してもらったもの ただし、実際には、単語がどの単語を注目しているか…

「生成AI」という言葉の雑な流れのメモ。話題ごとにまとめているので、時系列は少し前後してます。 2012年、AlexNetで畳み込みニューラルネット(CNN)で画像認識の性能が劇的向上して、ディープラーニング大流行の幕開け 2014年、敵対的生成ネットワーク(GAN)…