マルチモーダルAIを活用した議事録アプリ開発

PythonとStreamlitで実現する、よりリッチな議事録体験

議事録アプリ開発のハイライト

音声・動画・トランスクリプトの活用: Teams等から取得した多様な形式のデータをインプットとして利用し、従来のテキストベースの議事録作成を超えた情報量を扱います。
マルチモーダルな理解と要所抽出: トランスクリプトと音声情報から動画内の重要なシーンを特定し、スクリーンショットを表示することで、ユーザーに会議の注目すべきポイントを視覚的に提示します。
Streamlitによる簡易Webアプリケーション開発: PythonのStreamlitライブラリを活用することで、HTMLやCSSの知識がなくても、対話型で視覚的なWebアプリケーションを効率的に構築します。

議事録作成は多くのビジネスパーソンにとって時間を要する作業です。近年、AI技術の発展により、この作業を効率化する様々なアプローチが生まれています。特に、音声認識技術と大規模言語モデル（LLM）の組み合わせは、会議の音声を自動でテキスト化し、議事録のドラフトを作成することを可能にしています。さらに、単なるテキスト情報に留まらず、会議中の視覚的な要素や話し手の感情といったマルチモーダルな情報を組み合わせることで、よりリッチで理解しやすい議事録を作成する試みが注目されています。

本記事では、Teamsのようなオンライン会議ツールから取得できるトランスクリプト、動画、音声データを活用し、マルチモーダルな情報に基づいて会議の要所を抽出し、視覚的に提示する議事録アプリをPythonとStreamlitを用いて開発する方法について掘り下げます。特に、会議のどこに注目すべきか、どのような情報が重要なのかをAIが判断し、その根拠となるシーンのスクリーンショットをユーザーに示すことで、議事録の信頼性と理解度を高めることを目指します。

マルチモーダル議事録アプリの概念と利点

テキスト、音声、動画を組み合わせた情報 rich な議事録

従来の議事録作成は、会議中のメモや録音した音声の聞き起こしを基に行われることが一般的でした。しかし、これだけでは会議の雰囲気や参加者の非言語的な情報、共有された画面の内容などを完全に捉えることは困難です。マルチモーダルな議事録アプリは、この課題を克服するために、テキスト、音声、そして動画といった複数のデータ形式を統合的に扱います。

マルチモーダルによる理解の深化

会議のトランスクリプトだけでは、発言の意図や背景を完全に理解できない場合があります。例えば、ある重要な発言があった際に、同時に画面に特定の資料が表示されていたり、発言者の表情に強調が見られたりすることがあります。マルチモーダルAIは、これらの情報を複合的に分析することで、発言の重要度や文脈をより正確に把握することが可能になります。

視覚情報の活用

特にオンライン会議では、画面共有による情報伝達が頻繁に行われます。これらの視覚情報は、議論のポイントや決定事項を理解する上で非常に重要です。マルチモーダル議事録アプリでは、会議中の特定のタイミングで表示されていた画面のスクリーンショットを議事録に含めることで、後から議事録を見返した際に、その時の議論の内容と関連する視覚情報を同時に確認できるようになります。

システム構成と使用技術

Python、Streamlit、AIモデルの組み合わせ

今回開発するマルチモーダル議事録アプリは、Pythonを主要な開発言語とし、WebアプリケーションフレームワークとしてStreamlitを採用します。加えて、音声認識やマルチモーダルな情報処理には、適切なAIモデルやライブラリを利用します。

Python

Pythonは、データ分析、機械学習、Web開発など、幅広い分野で活用されているプログラミング言語です。豊富なライブラリと使いやすい文法が特徴であり、今回の議事録アプリ開発においても、データの読み込み、加工、AIモデルの利用、そしてStreamlitによるWebアプリケーションの構築といった様々なタスクに用います。

Streamlit

Streamlitは、データサイエンティストや機械学習エンジニアが、Pythonスクリプトから簡単にインタラクティブなWebアプリケーションを作成できるオープンソースライブラリです。HTMLやCSSの知識がほとんど不要であり、Pythonのコードを書くだけで、データの表示、ウィジェットの配置、ユーザー入力の受付などが可能です。これにより、迅速なプロトタイピングと視覚的なアプリケーションの開発が実現できます。

Streamlitを利用することで、以下のような議事録アプリのインターフェースを容易に構築できます。

ファイルアップロード機能（トランスクリプト、音声、動画）
処理状況の表示
抽出された議事録の表示
重要なシーンのスクリーンショット表示
ユーザーからのフィードバック受付

上記のレーダーチャートは、議事録アプリ開発における各要素の重要度とStreamlitの親和性を示しています。Streamlitは、特にプロトタイピングの容易さと視覚化機能において高い親和性を示しており、今回のマルチモーダル議事録アプリ開発に適していると言えます。複雑なUIのカスタマイズや大規模なユーザー管理が必要な場合は、他のWebフレームワークを検討する必要があるかもしれませんが、本プロジェクトの目的においてはStreamlitが非常に有効です。

AIモデルとライブラリ

音声認識には、OpenAIのWhisperなどが利用可能です。高精度な文字起こしを比較的容易に実現できます。動画からの音声抽出や特定のタイムスタンプでのスクリーンショット取得には、moviepyやffmpegといったライブラリが有用です。マルチモーダルな情報の理解や要約には、GoogleのGeminiやOpenAIのGPTシリーズのようなマルチモーダル対応の大規模言語モデルが強力な力を発揮します。これらのモデルのAPIを利用することで、高度な自然言語処理や画像理解をアプリケーションに組み込むことができます。

マルチモーダル議事録アプリの主要機能と実装アプローチ

データの読み込みから要所抽出、そして視覚的な提示まで

マルチモーダル議事録アプリの主要な機能は以下の通りです。

データの読み込み（トランスクリプト、音声、動画）
音声データからの文字起こし（必要に応じて）
トランスクリプトと音声/動画の同期
会議の重要箇所の特定
重要箇所の視覚情報（スクリーンショット）の抽出
議事録の生成と視覚情報の提示

1. データの読み込み

Streamlitのst.file_uploader機能を使用することで、ユーザーがローカル環境からファイル（.txt, .wav, .mp4など）をアップロードできるようにします。アップロードされたファイルは、アプリケーション内で処理可能な形式で一時的に保存されます。

2. 音声データからの文字起こし

Teamsの文字起こしデータが利用できる場合はそれを優先しますが、音声データのみが提供された場合は、Whisperなどの音声認識ライブラリを用いて文字起こしを行います。以下のPythonコードは、Whisperを使った基本的な文字起こしの例です。


import whisper

model = whisper.load_model("base")
result = model.transcribe("audio.wav")
transcribed_text = result["text"]
print(transcribed_text)

より高速な文字起こしが必要な場合は、Faster Whisperなどの派生ライブラリも検討できます。

3. トランスクリプトと音声/動画の同期

提供されるトランスクリプトデータにはタイムスタンプが含まれています。このタイムスタンプ情報を利用して、トランスクリプトの各発言が動画または音声のどの部分に対応するかを特定します。これにより、特定の会話のタイミングに合わせて動画からスクリーンショットを抽出したり、関連する音声部分を再生したりすることが可能になります。ユーザーから提供されたトランスクリプト形式のように、タイムスタンプと発言者が明確に示されている形式は、この同期処理に非常に適しています。


# ユーザー提供のトランスクリプト形式の例
# bca0b1cf-0b6b-4215-8b04-76959dcffcb7/4695-0
# 00:20:18.900 --> 00:20:19.500
# <v Tani Masaki／谷　昌樹／AI>然やろうか？</v>

def parse_transcript(transcript_content):
    lines = transcript_content.strip().split('\n')
    entries = []
    current_entry = {}
    for line in lines:
        if '-->' in line:
            if current_entry:
                entries.append(current_entry)
                current_entry = {}
            time_range = line.split('-->')
            current_entry['start_time'] = time_range[0].strip()
            current_entry['end_time'] = time_range[1].strip()
        elif line.startswith('<v') and line.endswith('</v>'):
            speaker_and_text = line[3:-4].split('>', 1)
            current_entry['speaker'] = speaker_and_text[0].strip()
            current_entry['text'] = speaker_and_text[1].strip()
        elif line.strip() == '':
             if current_entry:
                entries.append(current_entry)
                current_entry = {}
        # 他の行形式に対する処理が必要であれば追加
    if current_entry:
        entries.append(current_entry)
    return entries

# 使用例
# transcript_data = parse_transcript(uploaded_transcript_content)

4. 会議の重要箇所の特定

マルチモーダルAI、特にGeminiのようなモデルは、トランスクリプトの内容に加えて、会議中の特定の視覚情報（共有されたスライドなど）や音声の特徴（声のトーンの変化など）を考慮して、会議の重要箇所を特定することが可能です。例えば、「〇〇の件について、こちらのグラフを見てください」という発言があった際に、そのタイムスタンプ周辺の画面共有の内容を分析し、重要な議論が行われていると判断することができます。この処理には、LLMへのプロンプトエンジニアリングが重要になります。

5. 重要箇所の視覚情報（スクリーンショット）の抽出

特定された重要箇所のタイムスタンプを基に、moviepyライブラリなどを使用して動画から該当する時点のフレームを画像として抽出します。これをスクリーンショットとして保存し、議事録に紐づけます。


from moviepy.editor import VideoFileClip

def extract_screenshot(video_path, timestamp, output_path):
    clip = VideoFileClip(video_path)
    clip.save_frame(output_path, t=timestamp) # timestamp は秒単位

# 使用例
# extract_screenshot("meeting.mp4", 120.5, "screenshot_2min30sec.png")

抽出したスクリーンショットは、Streamlitのst.image機能でアプリケーション上に表示できます。

オンライン会議の一場面

6. 議事録の生成と視覚情報の提示

抽出された重要な発言テキスト、関連するスクリーンショット、そして必要に応じて音声の特徴などをまとめて、LLMに議事録のドラフト生成を依頼します。LLMはこれらのマルチモーダルな情報を基に、会議の要約、決定事項、ToDoなどを整理した議事録を作成します。生成された議事録は、Streamlitのテキスト表示機能を用いてユーザーに提示し、関連するスクリーンショットと共に表示することで、より分かりやすい議事録を提供します。

Streamlitによるアプリケーション構築

PythonコードによるインタラクティブなWebアプリ

Streamlitを使用すると、議事録アプリのユーザーインターフェースをPythonのコードだけで直感的に構築できます。以下に、基本的なファイルアップロード機能とテキスト表示機能を用いたStreamlitアプリケーションの骨組みを示します。


import streamlit as st

st.title("マルチモーダル議事録アプリ")

uploaded_transcript = st.file_uploader("トランスクリプトファイルをアップロードしてください", type=['txt'])
uploaded_audio = st.file_uploader("音声ファイルをアップロードしてください", type=['wav', 'mp3'])
uploaded_video = st.file_uploader("動画ファイルをアップロードしてください", type=['mp4', 'mov'])

if uploaded_transcript is not None:
    # トランスクリプトファイルの処理
    transcript_content = uploaded_transcript.getvalue().decode("utf-8")
    st.subheader("アップロードされたトランスクリプト")
    st.text_area("トランスクリプト内容", transcript_content, height=300)

if uploaded_audio is not None:
    # 音声ファイルの処理
    st.subheader("アップロードされた音声ファイル")
    st.audio(uploaded_audio, format='audio/wav') # または 'audio/mp3'

if uploaded_video is not None:
    # 動画ファイルの処理
    st.subheader("アップロードされた動画ファイル")
    st.video(uploaded_video)

# ここに文字起こし、分析、議事録生成、スクリーンショット抽出などの処理を追加

# 生成された議事録とスクリーンショットの表示例
# st.subheader("生成された議事録")
# st.write(generated_minutes)
# st.image(screenshot_path, caption="会議の重要シーン")

この骨組みに、前述の文字起こし、同期、重要箇所特定、スクリーンショット抽出、議事録生成といった処理を組み込んでいくことで、マルチモーダル議事録アプリが完成します。

実装における考慮事項

パフォーマンス、精度、そして倫理

マルチモーダル議事録アプリを実装する際には、いくつかの重要な考慮事項があります。

パフォーマンス

動画や長時間の音声ファイルの処理は、計算リソースを多く消費する可能性があります。特に、ローカル環境での実行や、大規模な会議データを扱う場合には、処理時間やメモリ使用量に注意が必要です。処理を効率化するために、Faster Whisperのような高速な文字起こしモデルを利用したり、動画の解像度を調整したり、処理をクラウド環境で行うことも検討できます。

精度の向上

音声認識の精度は、音声の品質や話者の特徴によって変動します。また、AIモデルによる重要箇所の特定や要約の精度も、モデルの性能やプロンプトの設計に依存します。より精度の高い議事録を作成するためには、高性能なAIモデルの選定、音声の前処理、そしてきめ細やかなプロンプトエンジニアリングが重要になります。

Faster Whisperを用いた動画文字起こしのデモンストレーション動画です。高速な文字起こし技術の可能性を示唆しています。

倫理的な配慮

会議内容の記録と分析は、プライバシーやセキュリティに関わる問題を含みます。議事録アプリを開発・運用する際には、参加者への通知と同意、データの適切な管理、そしてセキュリティ対策に十分な配慮が必要です。特に、機密情報を含む可能性のある会議においては、データの取り扱いに細心の注意を払う必要があります。

マルチモーダルAIと議事録作成の未来

より高度な理解と自動化へ

マルチモーダルAI技術の進化は、議事録作成の分野に大きな変革をもたらす可能性があります。今後、AIは単に音声をテキスト化するだけでなく、会議中の参加者の感情の分析、議論の構造の理解、そして将来の行動につながる示唆の抽出など、より高度な分析を行うようになるでしょう。これにより、議事録は単なる記録ではなく、会議の成果を最大化するための強力なツールへと進化していくと考えられます。

例えば、マルチモーダルRAG（Retrieval Augmented Generation）のような技術は、テキスト、画像、音声などの複数のデータ形式を統合的に扱うことで、AIの情報検索と生成能力を革新的に拡張します。このような技術を議事録アプリに応用することで、過去の関連会議の情報を参照しながら、より網羅的で深い洞察を含む議事録を生成することが可能になるでしょう。

また、議事録作成のプロセス自体も、さらに自動化が進むと予想されます。リアルタイムでの文字起こし、自動的な重要事項の特定、そして会議終了後の即時的な議事録ドラフト生成などが一般的になることで、議事録作成にかかる時間を大幅に削減し、参加者はより創造的で価値の高い業務に集中できるようになるでしょう。

議事録自動化ツールの比較

市販ツールと自作アプローチ

現在、市場には様々な議事録自動化ツールが存在します。これらのツールは、音声認識による文字起こしやAIによる要約機能などを提供しており、手軽に議事録作成の効率化を図ることができます。代表的なツールには、NottaやSmart書記などがあります。

議事録自動作成ツールの例 (Notta)

一方で、今回のようなPythonとStreamlitを用いた自作アプローチは、特定のニーズに合わせたカスタマイズが可能であるという利点があります。市販ツールでは実現できないような、マルチモーダル情報の活用や独自の分析機能などを組み込むことができます。以下の表は、市販ツールと自作アプローチの主な比較です。

項目	市販ツール	Python+Streamlitによる自作
導入の手軽さ	◎ (アカウント登録後すぐに利用可能)	△ (環境構築、コーディングが必要)
カスタマイズ性	△ (提供される機能に限定される)	◎ (自由に機能を追加・変更可能)
マルチモーダル対応	△ (ツールによるが、限定的な場合が多い)	◎ (AIモデルと組み合わせることで柔軟に対応)
コスト	△ (多くの場合、利用料が発生する)	◎ (基本的にライブラリやAPI利用料のみ)
技術的な専門知識	不要	必要 (Python, AIに関する基本的な知識)