MB-Bidramは、推論能力と知識の記憶を分離するように設計されたWideNDepth(WND)という実験的なニューラルアーキテクチャをリリースしました。モデルはメモリとして機能する「Wide部分」と推論者として機能する「Depth部分」で構成されています。
- WNDは、異なる部分が異なるタスクに焦点を当てる実験的アーキテクチャです:記憶用には広く、推論用には深く。
- WideNDepthモデルを構築するための最小限のPyTorchフレームワークであるWiNDも、アーキテクチャとともにオープンソース化されました。
- このプロジェクトは完成したソリューションではなく、改善の余地がある進行中の作業として提示されています。
著者はコミュニティにライブラリとアーキテクチャを探求し、実験し、改善することを呼びかけています。