前書き

筆者はこの半年、失恋による更新意欲の低下に加え、その後は研究室のプロジェクトで画像認識とアルゴリズム解析、自動運転の経路計画、スマートカー制御アルゴリズムに取り組んでいたため、ブログの更新が滞っていました。Computer Science学部長のご指導と、最近のホットな話題の議論のおかげで、大規模言語モデルに関する技術共有を行うよう求められ、ようやくブログを更新する気になりました。

今回のブログでは、次の3つのトピックについてお話しします。

• クラウドコンピューティングからエッジコンピューティングへ。
• AI時代のデータプライバシー。
• AI時代のコンピューティング需要。 内容には、最新のQwQ、大規模言語モデルの学習方法、EXOのネットワークベースのコンピューティング共有、世界のコンピューティング統計が含まれます。

クラウドコンピューティングからエッジコンピューティングへ

Appleの製品であるApple Intelligenceを使って、この話題を導入しましょう。

2024年6月、世界開発者会議でAppleは次のように発表しました。

パーソナルインテリジェンスシステム「Apple Intelligence」が、iPhone、iPad、Macに強力な生成モデルをもたらします。

音声アシスタントは、自然言語大規模モデルの最も典型的な応用シーンです。ChatGPTが爆発的に普及して以降、ファーウェイ、シャオミ、そして多くの企業が、自社の大規模言語モデルに基づく音声アシスタントの開発と公開を始めました。一方、AppleはGPTの統合を発表しましたが、中国本土の政策上の理由により、AppleのAI機能は今日に至るまで中国本土では正常に利用できていません。

そして今年2月、ついに次のような発表がありました。

Appleは、中国向けのiPhoneなどのデバイスに、Alibabaの大規模言語モデルとその他のAIサービスを統合します。Appleは、中国国内向けApple製品にAlibabaのAI大規模モデルを採用することを発表しました。

CNBC

当時、多くの人が困惑したことでしょう。ちょうどDeepSeekが話題になっていた時期です。なぜAppleは、オープンソースの大規模モデルであるDeepSeekを選ばず、AlibabaのQwenシリーズを選んだのでしょうか？Appleがこの決定を下したとき、株価は一時暴落しました。NVIDIAはDeepSeekの登場で自社の株価が暴落したのです。なぜAppleはこのような決定を下したのでしょうか？

この質問に答える前に、まずDeepSeekに注目しましょう。DeepSeekは非常に高性能で、オープンソースかつ軽量であることが利点です。他のクローズドソースモデルと比較して、わずか671Bのパラメータで世界最先端のモデルと肩を並べることができます。しかし、それをデプロイするにはどれだけのVRAMが必要でしょうか？

実に700GB！出力速度が正常なDeepSeek R1 617B版をデプロイしたい場合、約700GBのVRAM、つまり約10枚のA100 GPUが必要で、コストは約200万元になる可能性があります。

とはいえ、これは当時のGPT3.5やGPT4.0に必要な計算能力と比較すると、すでに大幅に削減されています。当時、GPTはクラウドでしか利用できず、OpenAIが背後に持つ巨大な計算クラスターに依存していました。これは一般企業にとっては手の届かないものでした。しかし幸いなことに、OpenAIの製品がこの分野の革命を推進し、DeepSeekの誕生を可能にしました。また、DeepSeekのオープンソース化のおかげで、より多くの新しいモデルが巨人の肩の上に立つことができ、そのときQwQが誕生しました！

2025年3月6日、AlibabaのQwenチームは、オープンソースの大規模モデルQwQを重磅発表しました。パラメータ数はわずか32Bです！

強力なQwQは、32Bという少ないパラメータ（大規模モデルとしては）で、DeepSeek R1 671Bフルバージョンに匹敵し、さらにはDeepSeekを凌駕します！QwQは、AppleがAlibabaを選んだ理由に応えています。個人ユーザーは4090 GPU1枚で実行でき、コストは200万元から一気に2万元に圧縮されました。しかし、実際はそうでしょうか？最近メディアは持ち上げていますが、実際は……？

AlibabaチームはQwQについて次のように説明しています。

これは320億パラメータのモデルで、その性能は6710億パラメータ（うち370億が活性化）のDeepSeek-R1に匹敵します。

『QwQ-32B: 強化学習の力を体感する』

そうです、QwQは活性化された370BのDeepSeekと性能比較を行っただけなのです…………………… でしょうか？

アーキテクチャ

私が技術セミナーで言及しなかったことは、QwQが活性化された370BのDeepSeekと性能比較を行っただけだということです。しかし、これこそが私がお話ししたい重要な部分であり、DeepSeekおよびその手法に基づくQwQモデルのアーキテクチャの問題です。（セミナーには専門外の先生方や一般の参加者が同席し、質問もあったため、わかりやすく説明する必要があり、詳細な内容は省略しました）

Denseアーキテクチャのおかげで、コンシューマー向けコンピューティングデバイスでもQwQを実行できます。一方、DeepSeekはMoEアーキテクチャ、あるいはHybrid MoE混合エキスパートアーキテクチャです。結果だけを見ると、Denseアーキテクチャの方が良いように思えますが、実際はそうではありません。アーキテクチャの詳細から説明する必要があります。

この2つのアーキテクチャにはどのような違いがあるのでしょうか？

Mixture of Experts（MoE）モデルは、モデルを複数のエキスパートサブネットワークに分割し、入力データの特性に応じて動的に適切なエキスパートを選択して計算を行うアーキテクチャです。各「エキスパート」は特定の分野で強力な処理能力を持ち、MoEはタスクの要件に応じてインテリジェントに適切なエキスパートを選択して計算を実行します。このメカニズムにより、計算オーバーヘッドを抑えながら、モデルの表現力と柔軟性を大幅に向上させることができます。特に大規模なデータセットを扱う場合、MoEモデルは特定のタスクに異なるエキスパートを正確に選択することで、冗長な計算を回避し、リソース消費を効果的に削減します。

長い説明は読むのが大変なので、簡単に言うと、MoEアーキテクチャの設計は、AI機能を特化させ、特定の種類のタスクを指定された「エキスパート」モジュールに処理させることです。これがDeepSeekが推論時に約370Bしか活性化しない理由です。

MoEモデルと比較して、Denseモデルは従来のディープニューラルネットワークアーキテクチャです。Denseモデルの設計思想は非常にシンプルです。各ニューロン（または計算ユニット）がすべての計算に参加します。タスクの難易度に関係なく、Denseモデルのすべてのパラメータが毎回の計算に参加します。これにより、Denseモデルは比較的単純なタスクを処理する際に安定したパフォーマンスを発揮できますが、複雑な問題に直面すると、Denseモデルはやや力不足になります。

DenseモデルはMoEのようにインテリジェントに計算ユニットを選択しないため、トレーニングのたびにすべてのパラメータを計算して更新する必要があり、これにより膨大な計算量とストレージ要件が発生します。そのため、Denseモデルの計算コストは高く、特に大規模なデータセットや複雑なタスクを処理する場合、効率が大幅に低下します。

簡単に言うと、Denseアーキテクチャはすべてのパラメータが一斉に押し寄せて、力任せに押し通すものです。

先ほど、結果から見るとDenseアーキテクチャの方が優れていると言いましたが、アーキテクチャから見ると明らかにMoEアーキテクチャの方が優れているはずです。それなのに、なぜQwQはDenseアーキテクチャを使用してMoEアーキテクチャのDeepSeekを凌駕したのでしょうか？

性能要件から説明すると、MoEアーキテクチャはタスクを各エキスパートモデルに分散することで強力な計算推論能力を獲得しますが、しかし！！！ハードウェアへの要求が非常に高く、非常に強力な並列計算能力が必要です。一方、Denseアーキテクチャはその逆で、CPU + メモリの実行モードでも、実行効率が極端に低下することはありません。

MoEは甘やかされて育った超優秀な学生のようなもので、Denseはまさに育てやすい可愛い子供のようなものです。

総合的に言うと、小規模パラメータモデルはDenseアーキテクチャを採用することで品質を向上でき、大規模パラメータモデルはMoEを採用することで効率を向上できます。

QwQがDenseアーキテクチャの欠点を補ったのは、小規模なパラメータだけではありません。さらに重要なのは、そのトレーニング方法です。

技術詳細

QwQのリリースページのタイトルは次のとおりです。「強化学習の力を体感する」

Qwenチームは次のように説明しています。最近の研究では、強化学習がモデルの推論能力を大幅に向上させることが示されています。例えば、DeepSeek R1はコールドスタートデータと多段階トレーニングを統合することで、最先端のパフォーマンスを実現し、深い思考と複雑な推論を可能にしました。

QwQの技術レポートはまだ非常に少ないですが、DeepSeekの手法に基づいてトレーニングされているため、DeepSeekのトレーニング方法の一部を組み合わせて、なぜQwQがこれほど強力なパフォーマンスを持つのかを解釈できます。

QwQ-32Bのトレーニングプロセスは3つの段階に分かれています。事前トレーニング、教師ありファインチューニング、強化学習です。そのうち強化学習はさらに2つの重要な段階に分かれており、QwQがDeepSeekを超えるパフォーマンスを実現しました。

その理由を解釈するために、「コールドスタート」とは何か？強化学習とは何か？2つの重要な段階とは何か？を段階的に説明しましょう。

「コールドスタート」

コールドスタートをより理解しやすくするために、日常生活の例を挙げましょう。

大規模モデルはコールドスタート時、まるで「何も知らない子供」のように、間違いを繰り返し、支離滅裂な答えを生成し、無意味なループに陥ることさえあります。

「コールドスタートデータ」を使用することで、AIトレーニングの初期段階で、まず小規模な高品質な推論データでモデルをファインチューニングします。これはAIに「入門ガイド」を提供するようなものです。

DeepSeekのコールドスタート最適化手順を参考にします。

• 大規模モデルからデータを生成 – 研究者は少数ショットプロンプトを使用します。
• DeepSeek R1 Zeroからデータを生成 – R1-Zeroにはある程度の推論能力があるため、研究者はその中から可読性の高い推論結果を選び出し、再構成してコールドスタートデータとして使用します。
• 人間によるフィルタリングと最適化 – データの一部を人間が審査し、表現方法を最適化して、推論プロセスをより直感的で明確にします。

最終的に、DeepSeek-R1は数千件のコールドスタートデータを使用して初期ファインチューニングを行い、その後強化学習トレーニングを実施しました。

強化学習

他の機械学習手法は主に教師あり学習と教師なし学習ですが、強化学習は教師あり学習と教師なし学習に次ぐ3番目の機械学習パラダイムです。

強化学習の特徴は次の4点にまとめられます。

• 監督者がおらず、報酬信号のみがある
• フィードバックは即時的ではなく遅延する
• 時系列の性質を持つ

• エージェントの行動はその後のデータに影響を与える

  4つの基本要素

強化学習システムは通常、4つの要素で構成されます。ポリシー、報酬、価値、そして環境またはモデルです。次に、これらの4つの要素についてそれぞれ説明します。

ポリシー ポリシーは、与えられた状態に対するエージェントの行動を定義します。言い換えれば、状態から行動へのマッピングです。実際には、状態には環境状態とエージェント状態が含まれます。ポリシーの特徴を次の3点にまとめます。

• ポリシーはエージェントの行動を定義する
• 状態から行動へのマッピングである

• ポリシー自体は具体的なマッピングでも、ランダムな分布でもよい

  報酬 報酬信号は強化学習問題の目標を定義します。各タイムステップで、環境が強化学習エージェントに送るスカラー値が報酬です。報酬の特徴を次の3点にまとめます。

• 報酬はスカラーのフィードバック信号である
• あるステップでのエージェントのパフォーマンスを表すことができる
• エージェントのタスクは、一定期間内に蓄積される総報酬値を最大化することである

価値 価値、または価値関数は、強化学習において非常に重要な概念です。報酬の即時性とは異なり、価値関数は長期的な利益の尺度です。「地に足をつけつつ、星を見上げる」という言葉がありますが、価値関数の評価は「星を見上げる」ことであり、長期的な観点から現在の行動の利益を評価し、目の前の報酬だけに注目するのではありません。価値関数の特徴を次の3点にまとめます。

• 価値関数は将来の報酬の予測である
• 状態の良し悪しを評価できる
• 価値関数の計算には、状態間の遷移の分析が必要である

環境（モデル）

外界環境、つまりモデルは、環境のシミュレーションです。状態と行動が与えられると、モデルがあれば次の状態と対応する報酬を予測できます。モデルの特徴を次の2点にまとめます。

• モデルは環境の次のステップの振る舞いを予測できる
• 振る舞いは具体的には予測された状態と報酬によって反映される

強化学習アーキテクチャ

2つの重要な段階

強化学習の第1段階

数学とプログラミング能力の向上に焦点を当てます。コールドスタートチェックポイントから開始し、結果ベースの報酬駆動型強化学習の拡張手法です。

数学問題のトレーニングでは、モデルは従来の報酬モデルではなく、専用の正確性検証器を使用します。

プログラミングタスクのトレーニングでは、コード実行サーバーを使用して、コードが事前定義されたテストケースを通過するかどうかを評価します。

強化学習の第2段階

汎用能力の強化に重点を置きます。

モデルは汎用報酬モデルとルール検証器を導入してトレーニングします。

少量のトレーニングステップでも、命令追従、人間の好みへの整合、エージェントのパフォーマンスが大幅に向上し、汎用能力の向上を実現しながら、第1段階で獲得した数学とプログラミングの能力を大幅に低下させることはありません。

これらの技術により、QwQモデルは小さな力で大きな効果を発揮し、MoE大規模パラメータモデルと肩を並べることができ、またコンピューティングをクラウドからエッジ（ローカル）に移行させました。しかし、なぜクラウドコンピューティングモデルをエッジに戻し、低いコンピューティング需要を追求する効率的なモデルを開発し、ローカルコンピューティングモデルを実行するのでしょうか？

AI時代のデータプライバシー

私たちは毎日、インターネット上に大量のデータを残しています。

これらのデータの大部分はプライバシーに関わるものです。

AI時代において、個人のプライバシーデータをどのように保護するかは、大きな課題となっています。

Appleは早い段階からユーザーのデータプライバシーに注力してきました。

彼らが重点的に保護しているのはユーザーのデータプライバシーであり、ファーウェイの専門家がAppleのデータプライバシー保護戦略を分析した数万字のレポートを書いたほどです。

個人ユーザーがローカルに巨大な計算クラスターを持つことは不可能であり、現在個人ユーザーが大規模モデル機能を使用する唯一の方法はクラウドに接続することです。これはデータプライバシーにとって非常に深刻な課題です。

例えば、以前ある地域でテスラ車が禁止されたことがあります。道路データが海外で処理されることを懸念したためです。これは一連の機密事項に関わる問題であり、AIを使用するデータが違法な目的や国家の利益を損なう方向に転送されることを非常に懸念しています。そのため、データセキュリティの保護は極めて重要です。

エッジで大規模モデルを実行することで、コストを削減し、プライバシーデータの保護を向上させることができます。そのため、モデルにはより高い効率が求められます。

モデルが十分に効率的であれば、同じ計算能力で、エッジでより多くのこと、より高精度なことを行うことができます。

将来のAI開発の方向性の1つは、QwQのように、より高い効率、より低いエッジコンピューティング需要を実現することであるべきです。

AI時代のコンピューティング需要

AI技術の発展のおかげで、AIモデルをローカルで実行し、CPU + メモリのモードで計算することが可能になりました。オープンソースプロジェクトEXOは、ネットワークを介してAIモデルの複数の層を異なるデバイスに分散して実行し、コンピューティングを共有することで、AI実行コストをさらに削減します。

しかし、これは実行可能というだけで、効率的な実行やAIトレーニングはできません。これらを行うには、依然として非常に高い計算能力が必要です。

前述のとおり、すべての大規模モデルとそのトレーニング方法は「計算能力」のサポートなしでは成り立ちません。強力なDeepSeekも効率的なQwQも、計算能力のサポートから逃れることはできません。700GBのVRAM要件であれ、コンシューマー向け4090 GPUであれ、CPU計算であれ、すべて計算リソースに依存しています。

世界の電力需要データ比較

世界のAI計算能力需要データ比較

各社の2025年予想投資額

AIの爆発的な発展に伴い、世界の計算能力への需要はかつてない高まりを見せ、電力需要もますます増大していることがわかります。各メーカーも計算能力の高地を確保しようと競争しており、計算能力がAI時代にとっていかに重要であるかが明らかです。

同時に、「計算能力＝国力」という論調まで登場しました！