人間対機械ハッカソンの内幕

先週の土曜日、サンフランシスコの爽やかな午後、私は靴を脱いで作業するプログラマーたちでいっぱいの、何の変哲もないコワーキングスペースにいました。

デュボース・トライアングル地区のオフィスビルには、100人強の来場者が詰めかけ、AIコーディングツールを駆使したチームと人間だけのチーム（入場時に靴を脱ぐように指示された）によるハッカソンが行われた。「人間 vs. 機械」と名付けられたこのハッカソンの目的は、AIが本当に人間のコーディングをより速く、そしてより良くするのに役立つのかどうかを検証することだった。

約37のグループがランダムに「人間チーム」と「AI支援チーム」に振り分けられました。後日、主催者から、人間チームに配属された後に脱落した人が数人いたと聞きました。審査員団は、創造性、実社会での有用性、技術的な優秀さ、そして実行力という4つの基準に基づいてプロジェクトを採点しました。デモに出場できるのは6チームのみ。優勝チームには12,500ドルの賞金と、OpenAIとAnthropicから提供されるAPIクレジットが授与されます。2位チームには2,500ドルが授与されます。

ピアニストが演奏フィードバックを得るための AI ツールを開発しているグループ。

AIコーディングはシリコンバレーで一種の避雷針となっている。エンジニアリングの終末論が蔓延する中、ハッカソンを共催したAI研究非営利団体METRの新たな調査によると、AIツールは経験豊富なオープンソース開発者の作業を19%も遅らせていることが明らかになった。

この週末ハッカソンは、METRの研究をさらに一歩進めることを目的としていました。研究では既存のコードベースで作業する経験豊富なコーダーを対象としていましたが、このイベントでは、参加者の中にはコーディング経験がほとんどない人もおり、全員が新しいプロジェクトを提案することになりました。

開発者の生産性に関する多くの研究では、プルリクエスト数や記述されたコード行数といった指標が用いられていると、METRの技術スタッフであるジョエル・ベッカー氏は述べている。しかし、こうした数値は解釈が難しい場合がある。より多くのコードを書いたり、より多くのプルリクエストを送信したりすることが、必ずしも良い結果をもたらすとは限らない。同様に、AIのパフォーマンスを見る場合、たとえモデルが特定のベンチマークで80%や90%のスコアを獲得したとしても、それが実用的な能力の点で何を意味するのかは必ずしも明確ではない。

ベッカーは機械が勝つと賭けた。

主催者は参加者を「マシン」グループまたは「人間」グループにランダムに選択します。

危機一髪

このイベントのSlackチャンネルでは、参加者たちがチームメイトになる可能性のある人を引き付けるためのアイデアを提案した。ピアニストが演奏のフィードバックを得るためのAIツール、読んでいるものを追跡するアプリ、近所の人たちのつながりを助けるプラットフォームなどだ。

出場者の一人、アルシ・アガストワールさんはスタンフォード大学でAI倫理を学ぶ学生です。彼女は中学2年生からコーディングを始めましたが、その後、AIが社会に与える影響の評価に専念するために休学しています。アガストワールさんは人間チームにランダムに選ばれ、AIモデルにおける追従性（OpenAIのGPT-4oを悩ませた協調性のような）を評価するフレームワークを構築することを決意しました。

「男性チームから出てくるアイデアの中には、本当に奥深いものもあるだろうと感じています。審査員がデモの要素だけに感銘を受けるわけではないと期待しています」とアガストワール氏は語る。当初彼女は、AIを使わない男性チームが勝つだろうと予想していた。しかし、ハッカソンが始まって数時間後、彼女は午後6時半の締め切りまでに課題を完了できるかどうか確信が持てなくなった。

そして、歯科医師としての経歴を持ち、以前は歯科医師の医療費請求業務を簡素化するスタートアップ企業の共同創業者だった37歳のエリック・チョン氏。彼は「マシン」チームに配属されました。

「正直に言うと、マシンチームに所属できて非常にホッとしています」とチョン氏は言う。

ハッカソンで、チョンは音声認識と顔認識を使って自閉症を検出するソフトウェアを開発していました。当然のことながら、私の最初の疑問はこうでした。「偏ったデータによって誤検出が起こるなど、このソフトウェアには多くの問題があるのでは？」

「簡単に言えば、はい」とチョン氏は言う。「誤検知が出る可能性はあると思いますが、声や表情を分析することで、早期発見の精度を実際に向上させることができると思います。」

AGI「タカバー」

このコワーキングスペースは、サンフランシスコの多くの AI 関連の施設と同様に、効果的利他主義と結びついています。

衝撃的な詐欺ニュースの見出しを通してこの運動についてご存じない方のために説明すると、この運動は参加者の時間、お金、そしてリソースを最大限に活用し、社会貢献を最大化することを目指しています。このイベントの翌日、イベントスペースではYouTubeを「なぜ肉の摂取量を減らすべきなのかといった重要な考えを伝える」ためにどのように活用するかについて議論が行われました。

建物の4階では、壁一面にチラシが貼られていた。「AI 2027: AGIはタコスパーティーを開催するのか」というチラシは、最近開かれたタコスパーティーの告知で、「動物に配慮した共同作業」というタイトルのチラシは、それ以外の背景を何も示していない。

提出期限の30分前、プログラマーたちはIke'sのビーガンミートボールサンドイッチをつまみながら、プロジェクトの仕上げに追われていた。1階下では審査員たちが到着し始めた。OpenAI応用AIチームのブライアン・フィオカ氏とシャヤマル・ヒテシュ・アナドカット氏、Anthropic応用AIチームのマリウス・ブレアンドラ氏、そしてAIスタートアップFactory（イベントの共催者でもある）のエンジニア、ヴァリン・ネール氏だ。

審査が始まると、METRチームのメンバーであるネイト・ラッシュが、出場者のスコアを記録したExcelの表を見せてくれました。AIによるグループは緑色、人間のプロジェクトは赤色で色分けされていました。審査員が採点するにつれて、各グループはリストの上下に移動しました。「分かりますか？」と彼は尋ねました。いいえ、分かりません。審査開始から30分経っても、色のごちゃ混ぜから明確な勝者は見えませんでした。それが彼の主張でした。皆が驚いたことに、人間と機械は接戦でした。

ショータイム

最終的に、決勝進出者は「人間」側3名と「機械」側3名に均等に分かれました。各デモの後、観客は手を挙げて、チームがAIを使用したかどうかを推測するよう求められました。

最初に登場したのはViewSense。これは、ライブビデオフィードをテキストに変換し、スクリーンリーダーで読み上げられるようにすることで、視覚障害者が周囲を移動できるように設計されたツールです。短期間での開発期間にもかかわらず、技術的には素晴らしい成果を上げており、会場の60%（司会者の数え方による）がAIが使われていると勘違いしていました。しかし、実際にはAIは使われていませんでした。

次に登場したのは、ペンと紙でウェブサイトをデザインするためのプラットフォームを構築したチームです。カメラを使ってスケッチをリアルタイムで追跡し、コーディングプロセスにAIは一切関与していませんでした。ピアニストのプロジェクトは、ユーザーがピアノ演奏をアップロードするとAIがフィードバックを生成するシステムで決勝に進出しました。これは機械側で行いました。別のチームは、コード変更のヒートマップを生成するツールを披露しました。重大なセキュリティ問題は赤で、日常的な変更は緑で表示されます。こちらはAIが活用されていました。

私のお気に入りのプロジェクトは、もちろん、ライター向けの校正ツールでした。

「私たちは本を読むのが大好きです。そして、これから来るAI時代は人間の作家たちと争い、彼らの仕事を奪おうとしていると考えています」と、グループのメンバーの一人は説明した。「そこで、何らかの障害で対抗するのではなく、作家がより良い本を書きやすくすることを決意したのです。」

彼らは、執筆中に登場人物、特性、そして関係性を自動的に追跡するシステムのデモを行いました。例えば、ある章では2人の登場人物が親友だと書いてあるのに、別の章では敵だと書いてあるなど、矛盾点がある場合は、その矛盾点を警告してくれます。このチームはAIを使用していません。

床にあぐらをかいて座っていた観客は、短いドラムロールを鳴らした。「AIが認めたチームが総合優勝したと思う人は手を挙げてください」とベッカーは指示した。私も思わず手を挙げた。結局、AIがトップの座を獲得した。ベッカーの計算によると、会場の8割が正解だった。

12,500ドルの賞金は、AIを活用したコードレビューヒートマップに贈られました。人間もそれに劣らず、2位はライティングツールでした。

ダビデ対ゴリアテ

準優勝者たちは、私の向かいのベンチにぎゅうぎゅう詰めになって座っていた。ミハウ・ワルダ、ダヴィド・キェルバサ、マルタ・シュチェパニアク、そしてパヴェウ・シエラントは、ポーランド出身のスタートアップ創業者チームで、AIブームを体験するためにサンフランシスコを数ヶ月間訪れていた。締め切りの1時間前、AIなしでコーディングしなければならないというプレッシャーに押しつぶされそうになり、彼らはあわてて諦めかけたが、提出期限の数分前までデモを最後までやり遂げた。

「普段は口論はしないんです。でも今日はAIツールがなかったから、すごく緊張しました。私たちは長年プログラマーをやってきたんですから」とワルダは言った。

最後には、彼らは最後までやり遂げて良かったと感じていました。「コーディング中は、確かに機械チームに入りたかったです」とシュチェパニアックは言います。ワルダが口を挟み、もし人間のために戦っていなかったら、賞を獲得できなかったかもしれないと付け加えました。

そして、優勝者はコンスタンティン・ウォルウェンド氏、アマン・マンヴァティラ・ガナパシー氏、そしてビラル・ゴディル氏です。ウォルウェンド氏とゴディル氏はStack Authというスタートアップを経営しています。今回が二人にとって3回目のハッカソン参加となります。ガナパシー氏はAppFolioでエンジニアリングインターンとして働いています。

彼らは勝てるとは思っていなかった。ダビデとゴリアテの戦いを味わうために、人間側にいた方がよかったと誓った。それでも、彼らは真実を知っていた。人間＋機械の方が優位に立つのだ。

「いつも人間を信じたいんです」とウォールウェンドは言う。「でも、こういう形式では、機械がほぼ必ず勝つんです」

これはカイリー・ロビソンの モデル行動ニュースレターの最新号です。以前のニュースレターは こちらをご覧ください。