Lancers LLM Labsの入江と申します。LancersではLLMを使った社内活用、新規サービス開発をすすめています。その中で、オープンソースのLLMを試すべくWindows搭載のPCを購入しました。なぜかといえば、実機でLLMを動かすにはGPUパワーが必要です。そうなると選択肢として、Macよりもカスタマイズ性の高いWindowsしかありません。

NVIDIAのA100やH100のようなものが望ましいですが、さすがに数百万するものなのでちょっとそこまでは難しい。個人としての選択肢としては現行だとGeForce RTX 4090が一番ハイスペックです。

購入したのはOMEN 45L DESKTOP。エクストリームモデルなのでおよそ55万ほど・・・こんな高いPCは買ったことがありません。でもどうせならGPUモリモリのものを買わないと中途半端にやってはいけません。

下のくるくる光ってるのがOMENです。ゲームPCっぽさがでてますね。そこからStableDiffusionやオープンソースのLLMも新しいのが出るたびに試したりしました。これだけのスペックがあるので70Bまではさすがに厳しいですが、それ以下のものなら量子化したものは余裕で動きますし、そこまで時間もかかりません。

StableDiffusionなんかだと1秒くらいで出来上がります。WEBサービスで使うとなるとお金かかりますが、ローカルなら作り放題。それにしても、画像がこれだけかんたんにつくれるというのは何度やっても感動します。

オープンソースLLMは英語だけで試しても、試したところまだChatGPT3.5に届くか届かないかくらな印象です。いろいろ試した中ではMistralがダントツに使いやすく精度が高い感じがしました。それは英語でも日本語でも。性能比較ではいろいろでてますが、指示を的確に受け止めて回答してくれるかどうかという、やりとりの強さもキモになっていて、これは実際に使ってみるとよくわかります。

MacからWindowsに乗り換えてみて

前置きが長くなりました。このような経緯からMacとWindowsを使い分けていたんですが、キーボードの配置も違うのでちょっと面倒になってきました。そこでどうせならスペックも高いWindowsをメインにしようと考えたのでした。

実際10年ぶりにWindowsを使ってみてわかったのは、ずいぶん使いやすいなということでした。Macよりもカスタマイズ性が高いなと思います。オタクにはうってつけ。Macはある意味でデザイナーが完璧に近いUXをつくり設定されきっている。Windowsは使う人が自由に設定つきつめてね、といった感じ。

具体的にWindowsで気に入ったところ

画面分割ショートカット

Windowsキー＋上下左右で画面がスナップで分割されます。これは画面が小さくても大きくても便利です。左にVSCode、右にブラウザでドキュメントを開きながら作業するといったことがショートカットでサクッとやれちゃいます。整う感じが気持ちいい。

Copilotがついている

なにか聞きたいことがあったら、Windowsキー＋Cで即座にCopilotが呼び出せます。わざわざChatGPTをブラウザで開かなくてもすぐに聞けるし、最新情報も参照してくれるので便利です。これは一度使うと手放せないやつです。

とまどったところ

Windowsにはターミナル、PowerShell、コマンドプロンプトといったようにMacでいうターミナルがたくさんあってどれ使えばいいの？と迷いました。結論、コマンドプロンプト→PowerShell→ターミナルといったように進化していて、ターミナルを使えばいいようです。

あとは、Macでしか使えないアプリ、たとえばDirenvなどがあったりするんですが、これらはちょっと方法を調べればWindowsでも動きます。このあたりがとまどったくらいですが、特段こまることなく開発ができています。

Macはたしかにパーフェクトに近い出来栄えなんですが、ひさびさにWindowsを使ってみると新鮮でできることがたくさんあり、楽しいなと感じました。購入したPCのスペックに負けないよう、がんばって働きたいと思います。