ホーム  >   ブログ  >   大規模言語モデルとそのアプリケーションに対する所感

2023-04-07

大規模言語モデルとそのアプリケーションに対する所感

  寄付で活動を支援する   一杯のコーヒーを贈る

このエントリーをはてなブックマークに追加

この記事に関連する話題: "AI"を紐解く

昨今の大規模言語モデル (Large Language Model; LLM) に関する活発な議論とユースケースの急速な拡大は、20代の大半をデータマインニングや機械学習、自然言語処理の発展と共に過ごした者として、見ていて大変興味深いものである。個人的には楽観的で、搾取の温床となりかねない単純作業をChatGPTなどのアプリケーションが担ってくれるのであれば、それは喜ばしいことと思う1。ただし、それは「システムの挙動はデータとアルゴリズムに依存する」という理解が伴ってこその話。処理の結果として生成されたモノを利用・消費するのが人間である限り、そのプロセスに内在するリスクや限界を理解し、入出力の善し悪しを精査するのもまた我々人間の責任である。

というのが、僕個人の見解。他方、これまでの同僚、友人、メンティーたちとの対話を経て、複数のひとたちが共有しているらしい3つの視点が見えてきたので、それらをもう少し掘り下げてみたい。なお、その感覚が世間的に、あるいは業界の中でどれほど一般的なものであるかは分からない。

ひとつ、「複雑な技術を、さも身近な存在であるように魅せる」という点での、ChatGPTのSF的な役割。

これはビジネスやデザイン寄りの仕事をしている人たちと共有しがちな感覚。

過去10年弱のキャリアを振り返ったときに、今ほど「仕事がしやすい」と感じた時はない。何らかの機械学習アルゴリズム、あるいは分析手法を説明したければ「ChatGPTに×××みたいな質問をするイメージで」と言えば伝わってしまうのだから。組織内外での横断的なコミュニケーションが主となるプロダクト開発の現場において「その場にいる全員が一定のコンテクストを共有している」という状況ほど強力なものはない。

対話、要約、マルチモーダル学習、Vector Embeddingなど、GPTをはじめとするLLMが提供する「機能」はさほど目新しいモノではない2。しかし、それを「とても流暢なチャットボット」というインタフェースで世に放ったことが、本当にすごい。かつて「AIの本質はUI革命にある」という言説があったが3、「ことば」という最も馴染みのあるインタフェースのひとつをここまで見事にハックされてしまっては、受け入れざるを得ない。

よくできたSF映画・小説に触れた時、僕らは「科学的根拠はよくわからないけど、こういう世界は確かにありそうだ」と妙に納得させられてしまう。これに似た「難解な概念を伝えるに足る『リアリティ』」こそがChatGPTのもたらしたインパクト、あるいは社会的ムーブメントの源ではなかろうか。

ただし、そのような「細かいことはさておき」という姿勢は、現実世界においては極めて危ういものでもある。

ふたつ、「リソースにモノを言わせて開発したAI」が大衆に浸透してしまうことへの不快感。

機械学習やデータサイエンスの知識・経験がある人ほど現状を慎重に捉え、憂いている印象を受ける。

LLMは「大規模」というだけあって、莫大な人的、経済的、そして計算リソースの投資が生んだ産物であることは疑う余地もない4。その一方で、OpenAIはGPTのモデル詳細の公開に慎重姿勢を貫いており、技術が「民主化」される気配は程遠い5。このまま「イケてる技術」がブラックボックスのまま世の中に広まってしまえば、あとは企業の競争の道具としてそれが利用され、パワーバランスがどんどん崩れるのを眺めることしかできない6。資本家が勝ち抜け、中小コミュニティは淘汰され、労働者は搾取の対象となり・・・そんな、直近ではソーシャルネットワークが辿ったような歴史を、それよりも遥かに早いペースでなぞっている現実を直視するのはシンプルに「不快」である。

しかし、主要なプレイヤーを一方的に批判するだけでは何も進まないこともまた事実。むしろ、彼らはその膨大なリソースをAI倫理にも投資しているわけで、果たして本当に批判されるべきなのか?とさえ思う。たとえば「モデルの欠陥を突くような新たなセキュリティリスクの存在を考えると、これからのAI開発は『どこまで詳細を公開すべきか』を慎重に議論するべきである」といった提言があり7、OpenAIの意思決定プロセスの中にこの思想があるとすれば、短期的にはむしろ善き行いであるとも言える。

したがって、責任の所在を議論する以前に、僕ら開発者ひとりひとりがそれぞれの形で責任ある行いをすることが何よりも重要だ、という話になる。そして中長期的には、競争ではなく協調によって、社会全体で「技術」とそれを扱う「土壌」を育ててゆく取り組みが求められるだろう。オープンソースのLLM実装も散見されるが、個人的にはもう一歩踏み込んで、多様なステークホルダーを交えたより大きな開発・管理体制(エコシステム)が整備されることを願う8

では、個人の行いが重要であるとして、その善し悪しの線引きはどこにあるのだろう。

みっつ、ツールとしてChatGPTやGitHub Copilotを使うことに対する罪悪感と、「仕事がなくなるのでは?」という危機感。

学校や独学でエンジニアリングを学んでいる人たちから寄せられる不安は尽きない。そもそも、彼ら彼女らを雇用することになる企業や、学んでいるカリキュラムの提供者だって、現状をどう捉えるべきか困っている。だから、出てくるのは非現実的な超ジェネラリスト向け求人募集や「とりあえず」なChatGPTの解説コンテンツであり・・・それじゃあ当然みんな不安になるよね。

それでも僕は「そんなに心配せず、使えるツールは使いつつ、目の前のことをひとつひとつ経験的に学んでいこう」と言い続けるし、自分に対してもその姿勢はこれまでもこれからも変わらないと思う。たしかに、LLMを応用したツールによってエンジニアとして働くときの「HOW」は変わるかもしれないけれど、それで仕事がなくなるか?というと、それはちょっとまだ想像できない。なぜなら、それらツールを作っているのは未だ人間(の生成したデータ/考えたアルゴリズム)であり、僕らが開発するプロダクトには必ずステークホルダーの存在が伴うから。この点において、開発プロセスのどこか一部でも完全にツールに委譲できてしまうような信頼性が達成されているとは、僕には思えない。(あるいは、委譲できると考えているのであれば、それはいささか社会の複雑さを軽視していると言わざるを得ない9。)

たとえば、Webアプリケーション開発で使うフレームワークやライブラリの存在を考えてみよう。今日、フロントエンドを実装するとすれば、おそらく多くのエンジニアはReactやVueのようなOSS、あるいは自社の内製フレームワークを利用する。このツール群は日々進化していて、新しいパラダイムが提唱されてメインストリームが移り変われば、実装する時の「HOW」も結構大きく変化する。しかしどれだけツールが成熟しても、第三者が書いたコードに依存しているという事実は揺るがない。つまりエンジニアには、ツールが内包するリスク10や限界11を理解し、評価するだけの経験・知識・倫理が求められ続ける。

だから、自分をアップデートしつつ使えるものは使ってゆく、というのは極めて自然なこと。ちょっとジャンプが大きすぎてびっくりしてしまうけれど、ChatGPTにせよGitHub Copilotにせよ、この「ツールは使っても使われるな」という点においては似たようなものなんじゃないかな。変化を受け入れる努力を怠らない限りにおいて、根底にあるリテラシーの重要性とひとりひとりの経験値の意義は、そう簡単には揺らがない。

・・・

興奮と不安の間で、みんな(エンジニアに限らず、本当に「みんな」)が何らかの形でLLMに関心を持っている。冒頭に書いた通り、僕はこの先の見通しについて楽観的であるし、そこに向けて一個人として取るべき振る舞いもそれなりにイメージできている。

一方で、いまの仕事が「続けられる」ということと「続けたい」ということは別である。

今でもハッキリ覚えているのだけれど、Web開発からプログラミングに入門した僕は、Virtual DOMという概念が出始めたタイミングでふと「もういいかな」と感じ、積極的にその領域を追求することをやめた。これは「仕事がなくなった」のとは違って12、シンプルに「萎えた」という感覚に近い。新しい技術に対する無邪気で前向きな意見に触れた時の「放っておいてもエコシステムは確実に成長するな・・・」という直感は、どちらかといえばアンチ・ミーハーな僕が引き際を判断するには十分な理由であった。

今日のLLMとそのアプリケーションの隆盛を見るに、僕はVirtual DOM登場当時のどこか冷めてしまった感覚を想起せずにはいられない。それが具体的に何を意味するのか?もう少し、じっくりと考えてみる必要がある。

1. 社会に埋め込まれた搾取の構造は、AI研究者 Kate Crawford が "Atlas of AI" でみた不均衡なパワーバランス、あるいは人類学者の Gabriella Lukács が "Invisibility by Design: Women and Labor in Japan's Digital Economy" でみた「やりがい搾取」の現象が示す通りである。世の中の「本流」から不当に疎外されてしまっている人々の存在を、僕らは決して見逃してはならない。
2. たとえばOpenAI APIのドキュメントを読むと、ひとつひとつの機能はとても「ありがち」なものであるように見える。キモは、そのレスポンスの並外れた「流暢さ」にある。
3. 10年前(!)に書いた『人工知能関連技術の発展、それすなわちUI革命』を参照。
4. たとえばGoogleのLLMであるPaLMは "we trained a 540-billion parameter ... on 6144 TPU v4 chips" とのことで、一個人が関与できる次元の話ではない。
5. GPT-4テクニカルレポートの第2章で、OpenAIは "this report contains no further details about the architecture (including model size), hardware, training compute, dataset construction, training method, or similar" と言い切っている。
6. ポッドキャスト "Your Undivided Attention" 2023年4月6日配信回で「無限スクロール」の発明者・Aza Raskinが振り返った経験そのもの。
7. ソース:The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation
8. Nature Machine Intelligence に掲載された言論 "Large Language Models Challenge the Future of Higher Education" ではステークホルダー主導で作られるオープンなLLMの可能性が示唆されている。
9. 『流体としての情報:いかにして最悪のシナリオを回避するか』でみたように、複雑な世界に対してOne-size-fits-allな解決策を提示しようとするから種々の問題が起きるのであって、実際にはコンテクストに応じたきめ細かな配慮が欠かせない。
10. 脆弱性やバグの存在など。
11. ライブラリひとつで全てが実現できる、ということはなく、パーツを組み合わせて上手く自分の問題にアプローチする必要がある。そして「自分の問題」を正しく定義するためには、コンテクストに応じたステークホルダー理解が欠かせない。
12. 直近でもBig Techでフロントエンド開発に携わっていたので、形は変われど需要はあるし、ひとりの供給者として、それに応えるだけの経験と知識はまだある(と信じたい)。

この記事に関連する話題: "AI"を紐解く

  シェアする

このエントリーをはてなブックマークに追加

  カテゴリ

機械学習 データサイエンス

  あわせて読みたい

2023-03-25
流体としての情報:いかにして最悪のシナリオを回避するか
2021-08-19
カナダで転職して、プロダクトマネージャーからソフトウェアエンジニアに戻った。
2021-08-12
いい加減、プロダクトマネージャーという職業に幻想を抱くのはやめよう。

  もっと見る

最終更新日: 2023-04-07

  書いた人: たくち

たくちです。長野県出身、カナダ・バンクーバー在住のソフトウェアエンジニア。これまでB2B/B2Cの各領域で、Web技術・データサイエンス・機械学習のプロダクト化および顧客への導入支援・コンサルティング、そして関連分野のエバンジェリズムに携わってきました。現在はフリーランスとして活動を続けつつ、アフリカ・マラウイにて1年間の国際ボランティアに従事中。詳しい経歴はレジュメ を参照ください。いろいろなまちを走って、時に自然と戯れながら、その時間その場所の「日常」を生きています。ご意見・ご感想およびお仕事のご相談は [email protected] まで。

  寄付で活動を支援する   一杯のコーヒーを贈る

  免責事項

  • Amazonのアソシエイトとして、当サイトは amazon.co.jp 上の適格販売により収入を得ています。
  • 当サイトおよび関連するメディア上での発言はすべて私個人の見解であり、所属する(あるいは過去に所属した)組織のいかなる見解を代表するものでもありません。
  • 当サイトのコンテンツ・情報につきまして、可能な限り正確な情報を掲載するよう努めておりますが、個人ブログという性質上、誤情報や客観性を欠いた意見が入り込んでいることもございます。いかなる場合でも、当サイトおよびリンク先に掲載された内容によって生じた損害等の一切の責任を負いかねますのでご了承ください。
  • その他、記事の内容や掲載画像などに問題がございましたら、直接メールでご連絡ください。確認の後、対応させていただきます。