◯研究テーマ

私の研究では、理想のフォームを反映した競泳映像生成システムの開発を行っています

◯背景

皆さんはトップ選手の真似をしたことはありませんか？僕は競泳をしているのですが、トップ選手、特に北島康介選手の泳ぎを真似したいと思っています。しかし、北島康介選手の映像だけだと把握しづらく、真似しにくいと思います。その為、トップ選手のフォームで泳ぐ自分の映像が生成するシステムを開発することで把握しやすくなり、真似がしやすくなると考えました。

◯研究内容

私の研究ではニューラルスタイル変換という技術を改良して実現を目指します。ニューラルスタイル変換はスタイル画像から模様を、コンテンツ画像から輪郭を認識し、輪郭に沿って塗り絵のように模様を適用して新しい画像を生成する技術です。この技術は模様を変えることはできるのですが、形だけを変えることはできません。そのためコンテンツ画像の形だけが変わることを目指します。まず、コンピュータが水中映像における人物を認識できるように競泳の水中映像を集めます。その後、スタイル画像から輪郭を、コンテンツ画像から画像全体を認識します。生成する画像と認識した情報と比べていき、自分の体や背景は保持されたまま形が変わった画像を生成します。

このようにしてできた画像をあわせて、理想とする選手のフォームで泳ぐ自分の映像が生成できると考えています。 

背景

スポーツアナリティクスという分野をご存じですか？この分野はスポーツを分析し、パフォーマンスの向上や勝利を目指すことを目的としています。その中で、サッカーにおいては選手の位置情報を追跡した「トラッキングデータ」というものを使った分析が広く取り組まれています。映像から「トラッキングデータ」を生成するには、映っている選手を識別する必要があります。そこで現在主流なのが、「顔認証」による識別です。しかし、この方法では、顔がはっきり映るほどの高解像度カメラが必要であり、とてもアマチュアが容易できるものではありません。

研究

そこで、私の研究では「歩容認証」という技術を応用して、低解像度の映像からでも選手が識別できるトラッキングデータ生成システムを開発します。「歩容認証」は、人それぞれ違う「歩き方」を基に個人を識別する技術であり、必要な解像度が顔認証と比較して低いです。これにより、アマチュアでもトラッキングデータの生成が可能となり、スポーツアナリティクスを広く普及させることができると考えています。

内容

まず、映像内の選手の歩行シーンを抽出し、「歩容認証」による識別をします。そのために、約10000人の歩行データを学習させたAIを開発します。同時に、「物体追跡」という技術を用いて選手の追跡をします。こうして取得したデータは、画面内での座標であるため、実際のコート上の座標に変換するために、コートの検出とデータの変換処理をします。このようにして、従来方式よりも低解像度で選手を識別可能なトラッキングデータ生成システムの実現に向けて研究しています。 

 ドラムセットを演奏するとき、両手にはドラムスティックを持っています。その状態から電子楽器などを操作するためには、ドラムスティックを手から放す必要があります。私の研究は、このひと手間を省くためのシステムを作ることです。このシステムでは、ドラムスティックを回す動作、いわゆるスティック回しの動作をAIで見分けて、その動作に応じて電子楽器を操作します。

利用する技術は、物体検知、姿勢推定といった技術です。物体検知では、事前に機械に学習させた物体が画像の中でどの位置に映っているかを調べることができ、姿勢推定では、画像に映った人体の関節がどこにあるかを調べることができます。

本研究では、これらの技術で得られる情報(画像の中で何がどこに映っているか)を分析し、どのような動作が行われたかを機械学習を用いてリアルタイムで見分けられるようにします。この見分けた結果に応じて、電子楽器を操作します。

はじめに
私は、スマートフォンのセンサを活用してAIで認証システムを作る研究をしています。

2要素で認証する2段階認証で、2回入力するのめんどくないですか？（要素1：パスワード、要素2：ワンタイムパスワードなど）

私の研究では、1回入力するだけで、2要素を取得して多要素認証できるようにする研究しています。（要素1：パスワード、要素2：入力時の本人の癖）

利用イメージ
・パスワード登録時：パスワードを10回入力します。

ここでユーザ専用のAIを作るためのデータを収集しています。

そのユーザ本人のデータとあらかじめシステム内に保存している他人のデータを用いて、ユーザ本人か他人かを判定するAIを作ります。

・認証時：パスワード1回入力するだけで、AIが「本人か他人か」を判定します。

システムの流れ
　データ収集
　　スマホのセンサデータ（タッチ座標、角速度、加速度、指圧）を取得します。

　データ分析
　　取得したセンサデータを分析し、ユーザ本人の癖を見つけてユーザ専用のAIを作ります。

　認証システム
　　パスワードを入力するとAIが本人かどうかを判定します。

　現在取り組んでいる課題
　　普段、スマホを使うときの持ち方は毎回同じではないことが多いと思います。

例えば、両手で持って両方の親指で操作したり、左手に持って右手の人差し指で操作したりと、同じ人でもその時々で持ち方が異なると思います。

そのため、パスワードを登録する時と認証する時のスマホの持ち方が異なると、センサデータが大きく変わり、同じ人であっても認証に失敗することがあります。

そこで、私はパスワードを登録する時と認証するときでスマホの持ち方が異なっても、認証できるように研究を進めています。

様々な持ち方でパスワードを入力した時のセンサデータを収集し、そのセンサデータをもとに、登録時と認証時の持ち方が違っても認証できるアルゴリズムの開発に取り組んでいます。

◾研究テーマ
画像化したログを⽤いてシステムの異常検知を⾏う研究です。

◾背景
近年、サイバー攻撃が巧妙化し、被害が拡⼤しています。

被害を最⼩限に抑えるためには、兆候の段階で攻撃に気づくことが重要ですが、攻撃の兆候となる異常なログの数が少ないです。

そのため、データと正解を⼀緒に学習させる教師あり学習の異常検知で⾼い精度を出すことは難しいです。

また、従来の機械学習やルールベースによる異常検知では、誤検知が多いことも課題となっています。

◾研究の詳細
平常時のログを学習させておくことで、平常とは異なる状態、つまり異常を検知するシステムを開発しています。

データのみを学習させ、パターンや関係性を⾒つける教師なし学習の画像の異常検知で、オートエンコーダという技術があります。

システムログ全体を画像化し、その画像をオートエンコーダを⽤いて異常検知することで、システムの異常に気づくことができるのかを検証します。

また、⽂字ではなく画像を異常検知することで、誤検知の少ない異常検知⽅式を⽬指します。

オートエンコーダ補足説明

オートエンコーダは、データを圧縮するエンコーダと出⼒データを⽣成するデコーダからなるニューラルネットワークです。

エンコーダでは、⼊⼒画像のうち重要な特徴のみを抽出します。

デコーダでは、エンコーダで抽出した特徴から、⼊⼒画像に近づけるように画像を復元(再構成)します。

これにより、学習した画像のみを再構成することができます。

学習した画像と似た画像であれば、⼊⼒画像を再現できるため、⼊⼒画像と出⼒画像の誤差は⼩さくなります。

⼀⽅、学習した画像と似ていない画像を⼊⼒した場合、⼊⼒画像をうまく再現することができず、⼊⼒画像と出⼒画像の誤差が⼤きくなります。

⼊⼒画像と出⼒画像の誤差が⼤きい場合、⼊⼒されたデータは正常ではない、つまり異常と判断することができます。

この仕組みによりオートエンコーダの学習には、収集が難しい異常データは必要なく、⽐較的収集が容易な正常なデータのみを学習させることで、異常検知を⾏うことができます。

研究テーマ

漫画画像データから小説を生成するマルチモーダルAIの開発に関する研究

背景
近年はAI技術が発展してきいて画像・文字・音声など異なるデータ形式を統合的に処理するマルチモダールAIが注目されている。
日本が世界に誇る文化「漫画」は画像と文字が融合したマルチモダールなメディアであり、AIを使った分析等の先行研究も盛んに行われている。
しかし先行研究では画像と文字の両方を統合的に解析することはできておらず、セリフの抽出や話者特定にとどまっている。

研究
そこで今回はマルチモーダルAIを利用し、漫画を画像と文字の２つデータ形式の組み合わせてとして統合的に処理し・解析を行い、
それを基に小説を生成する漫画小説化AIを開発する。

システム
システムの構成としては以下の通り
①漫画から画像と文字データをそれぞれ抽出

②１のデータを基にAIによる漫画の分析（キャラの心情、画面状況等）

③２のデータを使い、小説を生成

研究テーマ

サーバ管理演習における学習状況に合わせたヒント提示に関する研究

背景

近年，サーバ管理技術を持つエンジニアの育成が急務となっており，特にサーバ管理演習による実践的な教育が行われている．業資料や演習内容が理解できず，問題への解答に行き詰まる受講者もいる．授業資料や演習内容が理解できず，問題への解答に行き詰まる受講者もいる．その場合，受講者に対してTAがヒントを提示することで，行き詰まりを解消する．しかし，受講者の数に対してTAの数が全然足りないため，受講者全員を支援することが難しい．

課題

闇雲にヒントを提示するだけでは既に解決した内容のヒントを提示したり，ヒントを与えすぎたりするという問題がある．本研究では，行き詰まった受講者への支援を目指し，受講者の学習進捗状況に合わせたヒントを提示するシステムを開発する．

開発システム

受講者が行った操作を全部Pub/Subネットワークへ送信する．受講者には自身の学習進捗状況に合わせたヒントのみが提示される．これにより，既に解決した内容のヒントを提示したり，ヒントを与えすぎたりするという問題が解決される． 

■ 背景

サイバー攻撃の脅威が拡大する中で、情報セキュリティ人材の育成が急務となっています。実際の攻撃や防御を体験する「セキュリティ演習」は、その教育手法として非常に有効ですが、演習環境の構築には多くの専門知識と労力を要するのが現状です。一方で、大規模言語モデル（LLM）の登場により、自然言語処理を応用したソフトウェア開発の自動化が可能となりつつあります。

■ 課題

セキュリティ演習で使われる脆弱性を含む演習環境の準備には、以下のような課題があります： 

• 脆弱性情報の収集や分析が手作業である

• 設定スクリプトの作成や仮想マシンの構築に専門知識が必要

• 攻撃コードの動作確認などに時間がかかるこれにより、教育者・演習提供者の負担が大きく、演習のスケーラビリティや即応性にも限界があります。

■ 研究の詳細

本研究では、セキュリティ演習の準備作業を自動化するために、LLMを用いたソフトウェア脆弱性の自動注入システム「VuLLMaker」を開発します。

主な機能と流れ：

1.受講者が希望の演習内容をLLMに入力

2.LLMがそれをもとに脆弱性情報を収集し、設定スクリプトを作成

3.Vagrantが設定スクリプトを読み込み、仮想マシンを構築

4.攻撃コードの実行テストまでを自動で実施

これにより、脆弱性の収集・構築・検証が一貫して自動化され、従来は手動だった演習環境の準備が大幅に効率化されます。特に、Webサーバなどの一般的なセキュリティ演習において、非専門家でも容易に演習環境を構築できるようになることが期待されます。 

研究テーマ

BEYONDを用いた仮想環境におけるソフトウェア更新の検証支援システムに関する研究

背景・課題

サーバの継続的なソフトウェア更新はセキュリティ確保のために不可欠ですが、ソフトウェア更新によってバージョンの不整合や互換性の問題でサービスが止まることがある。実運用環境とテスト環境の全く同じ構成の2つの環境がある場合は先に影響を確認できるが、そうでない場合にいきなり本番環境を更新して止まってしまうことがある。その場合、ユーザがサービスを利用したいときに利用できず、可用性が低くなる。

提案システム

以下の機能を持つ検証支援システムを提案する。

1. 既存のセキュリティ対策支援システム「Beyond」の一部機能を用いて、対象のシステムに存在する脆弱性を特定する。その脆弱性に対応するパッチを収集する。

2. 仮想環境で運用されているシステムを複製する。その複製されたシステム