人の思考をもとに映像を生成する生成AI

近年、搭載機械の性能は着実に進歩しています。 人工知能 (AI)、人間の心を読むことなどを含みます。

したがって、研究者たちはAIベースのビデオ生成テクノロジーを使用して、私たちの心の中で何が起こっているかの「現実の」ビューを提供してきました。

航空信号の解釈は主に、いつの日か昏睡状態やさまざまな形態の麻痺のある人々に新しいコミュニケーション方法を提供できるようになるという希望によって動かされています。

さらに、テクノロジーは人間と機械の間のより直観的なインターフェースを作成することもでき、健康な人にも応用できる可能性があります。

これまでの研究のほとんどは、AI システムを通じて患者が考えている言葉を識別することで、患者の内なる独白を再現することに焦点を当ててきました。

最も有望な結果は侵襲的空中インプラントを使用して得られていますが、このアプローチはほとんどの人が使用する方法ではありません。

AIが「マインドビデオ」を作成

シンガポール国立大学と香港中文大学の研究者 は、非侵襲的な埋め込みスキャンと画像生成テクノロジーを組み合わせることで画期的な進歩を達成しました。 AI画像。

彼らは、ラジアル データが収集されたときに参加者が見ていたクリップに驚くほど似たビデオの短いスニペットを作成することができました。

この結果を達成するために、研究者らはまず、fMRI 航空スキャナーを使用して収集された大規模なデータセットを使用してモデルをトレーニングしました。

次に、そのモデルを画像技術と組み合わせました。 AIの安定普及、オープンソースを使用して、対応するイメージを作成します。

一 記事 arXiv プリプレス サーバーで最近公開されたこの論文は、著者の以前の研究と同様のアプローチを採用しています。

ただし、今回は放射状のデータ ストリームを解釈し、静止画像ではなくビデオに変換するようにシステムを適応させました。

最初に、研究者は広範なデータセットを使用してモデルのトレーニングを追跡しました。 fMRI を使用して、これらのスキャンの一般的な特徴についての知識を得ることができました。 電気的な。

次に、モデルが fMRI スキャンを個別に処理するのではなく、一連の fMRI スキャンを処理できるようにトレーニングを拡張しました。

その後、モデルは新しいトレーニング用に維持され、今回は次の組み合わせが使用されました。 fMRI スキャン、この脳活動を呼び起こしたビデオ クリップ、およびテキスト シーケンス 対応しています。

別のアプローチで、研究者は事前トレーニングされたモデルを適応させました。 安定した拡散 静止画の代わりにビデオを生成します。

次に、このモデルは、最初のモデルのトレーニングに使用されたものと同じビデオとテキスト シーケンスを使用して、新しいトレーニングを受けました。

続いて、fMRI スキャンとそれぞれの関連ビデオを使用して 2 つのモデルを組み合わせ、フィッティングしました。

検索結果

モデルを組み合わせて調整した後、結果として得られたシステムは、これまで利用できなかった新しい fMRI スキャンを実行できるようになりました。 人間の参加者が持っていたクリップとの類似点を明らかにしたビデオを以前に見つけて生成した 見た。

まだ改善の余地はありますが、AI 出力は一般的に元のビデオに非常に近く、 農作物や馬の群れのシーンを正確に再現し、カラーパレットで視覚化を維持します。 使用済み。

この研究を推進している研究者らは、この研究分野には基礎的な神経科学と将来のブレインマシンインターフェースの両方に応用できる可能性があると述べている。

しかし、彼らはまた、政府の規制や科学界による取り組みの必要性も認識しています。 生物学的データのプライバシーを保護し、業務内で許可されているこのテクノロジーの潜在的な悪意のある使用を防止します。

この一連の研究は、人間の心と身体の理解に到達できる進歩への道を切り開きます。 脳と脳の間により高度なインターフェースを確立できる技術の開発 機械。

個人データの保護や悪用の防止など、対処すべき重要な考慮事項はありますが、潜在的な科学技術上の利点は有望です。

映画やシリーズ、映画に関わるすべてのことが大好きです。 ネットワークに積極的に興味を持ち、常にウェブに関する情報に接続しています。