作成: 2022-07-18
最終更新 : 2022-07-20
Logseqの解説動画にまだ字幕が無かった
Logseqの解説動画(YouTube)で話されている言語は当然英語。クローズドキャプションを表示して鑑賞しようとしたが、観たい動画にはまだ自動生成字幕は付いていなかった。
英語の音声認識のできるアプリを探す
DraftsのTranscribe機能を使ってみたが、処理が遅いのか音声に追従しきれなくて、途中で文字起こしがスキップしてしまう。
Toolbox Pro for Shortcutsの「Get Text From Audio」アクションを試してみたが、1時間以上の音声は長すぎたのか途中でエラーになって止まってしまう。
DropboxでポッドキャストのRSSフィードを共有してSnipd|Smart Podcast Playerに食わせてみたが、プライベートフィードにはTranscribe機能は動かない制限があった。
そして、LINE CLOVA Noteというアプリにたどり着いた。
参加者 1 0:41:29 And what are your thoughts on taking notes in journals versus their own pages? What are the use cases for your workflow? Soon you will see that it doesn't matter. As long as you think in branches it really doesn't matter where you put it. 参加者 1 0:41:44 I recommend putting everything like 99 percent on your journal's page. Why? Because everything will be date stamped which you will be you will be able to use those dates in your queries. And then it also if you ask me it takes away basically the friction of
日本語・英語・韓国語の音声から文字起こしができる。大まかなタイムスタンプも付加されるようだ。
それを映像と同期させて表示させることはできないか？
認識言語を英語に設定してから音声ファイルを取り込まないと、訳のわからないノートが出力される。
字幕はどうしたら表示できるかを調べる
ネット検索をしてみると、どうやら字幕ファイルと映像ファイルがあれば表示できるらしい。
まず字幕ファイルの形式を調べる。字幕といえば思いつくYouTubeの字幕について調べた。
どうも字幕にも色々な形式があるらしい。
「基本的なファイル形式」の一番上に載っている「SubRip」という形式が単純そうに見える。
ヨーロッパ発祥なのか？ 小数点が「,」(カンマ)になっている。それ以外は特に厄介なことはなさそう。
YouTube動画のダウンロード
検索すれば方法は直ぐに見つかった。注意点としては、合法な動画を合法な範囲(私的利用)で使えということらしい。
字幕を表示できるプレイヤーアプリ
- KMプレイヤーは時々字幕が表示されないことがある。
- OPlayerは字幕表示範囲が狭くて、字幕全部が表示しきれないことがある。
その辺りは良いnPlayerというアプリを見つけた。
- ファイルアプリで「このiPad内」のnPlayerのフォルダに、動画ファイルと字幕ファイルの両方を入れたら字幕を選択できるようになった。
- どうやら、動画のファイル名が「abc.mp4」だったら、字幕のファイル名を「abc123.srt」のように先頭を一致させておくと関連ファイルとして認識されるような感じだった。
Lite版は無料の代わりにコマーシャルが煩わしい。
字幕の文字色設定は酷すぎる。
まともな色候補が無い。下手に文字色を触ると元に戻せなくなり再インストールが必要になる。
CLOVA Noteの音声テキスト変換で作られたノートをSubRip形式字幕ファイルに変えるショートカット
Chromeで字幕が表示されるので全選択してクリップボードにコピーする。
149 00:41:29,000 --> 00:41:43,800 And what are your thoughts on taking notes in journals versus their own pages? What are the use cases for your workflow? Soon you will see that it doesn't matter. As long as you think in branches it really doesn't matter where you put it. そして、ジャーナルと自分のページでメモを取ることについてどう思いますか？ワークフローのユースケースは何ですか？すぐに、それは問題ではないことがわかります。 あなたが枝で考える限り、あなたがそれをどこに置くかは本当に重要ではありません。 150 00:41:44,000 --> 00:42:01,800 I recommend putting everything like 99 percent on your journal's page. Why? Because everything will be date stamped which you will be you will be able to use those dates in your queries. And then it also if you ask me it takes away basically the friction of ジャーナルのページに99パーセントのようなものをすべて載せることをお勧めします。 なんで？すべてに日付がスタンプされるため、クエリでそれらの日付を使用できます。 そしてそれはまたあなたが私に尋ねればそれは基本的にの摩擦を取り除きます
解説動画に自動生成字幕が付いていた
そうこうしていると、いつの間にか目的の動画に自動生成字幕が付いていた。
しかし、その自動生成字幕の翻訳機能はリアルタイム翻訳なのか？ちょっとわかりづらい。
YouTubeのクローズドキャプションのデータの取得方法は、
YouTube字幕をLogseqへコピーするBookmarkletの使い方をまとめたnote（👉https://t.co/5qovQnfoiR）です。引用ツイート↓にあるコードが修正されていますので最新のスクリプトはこちらのnoteを参考にしてください。 https://t.co/1Z5AnjlI9T pic.twitter.com/DlFvI0riTR
— sangmin.eth @ChoimiraiSchool (@gijigae) July 3, 2022
で紹介されている。
上のツイートで紹介されているブックマークレットは、モバイル端末でもWebブラウザでデスクトップ用サイトを表示させたら動作した。
上のブックマークレットでクリップボードにコピーされる字幕データには、CLOVA Noteで作られるノートと比べてより細かくタイムスタンプが付けられている。
字幕が画面全体を覆うことはなさそうだ。
もちろん、上のツイートの関連ツイートに書かれているようにLogseqにYouTubeを埋め込み、右サイドバーに表示した字幕のタイムスタンプで再生位置を変えることもできる。
しかし、iPadでは動画の表示が小さすぎるし、iPhoneに至っては何をか言わんやである。
YouTubeのクローズドキャプションデータをSubRip形式字幕ファイルに変えるショートカット
上で紹介されているブックマークレットで字幕データをクリップボードにコピーしておく。
- {{youtube-timestamp 00:41:29}} um what are your thoughts on taking notes in journals versus their own pages
- {{youtube-timestamp 00:41:34}} what are the use cases for your workflow soon you'll see that it doesn't matter as long as you think in branches it
- {{youtube-timestamp 00:41:41}} really doesn't matter where you put it i recommend putting everything like 99
- {{youtube-timestamp 00:41:47}} on your journals page why because everything will be date stamped which you will be able you will be able to use
- {{youtube-timestamp 00:41:53}} those dates in your queries and then um it also if you ask me it
- {{youtube-timestamp 00:41:58}} takes away basically the friction of asking yourself where should i put this so
ショートカット「YT字幕2Chrome」の最初の部分に元の字幕の言語を設定しおく。
属性には単一の「言語タグ」を Tags for Identifying Languages (BCP47)で定義された書式で持ちます。
lang - HTML: HyperText Markup Language | MDN
ということで、BCP47で定義されているらしい。
それを軽く斜め・跳ばし読みしてみた。なので間違っているかもしれないが、
- ハイフンの前の言語は、ISO 639-1コード一覧 - Wikipediaの639-1の列に書かれている2文字
- ハイフン後の地域は、ISO 3166-1 - Wikipediaのalpha-2の列に書かれた2文字
じゃないだろうか？
字幕データがクリップボードにコピーされた状態でショートカット「YT字幕2Chrome」を起動すると、iCloudドライブ > Shortcutsフォルダにoriginal.jsonファイルが保存され、Chromeに字幕が表示される。
ショートカット「YTChome2SRT」の最初の部分に字幕ファイルのファイル名を設定しおく。
Chromeに表示された内容がクリップボードにコピーされた状態でショートカット「YTChome2SRT」を実行すると、クリップボードの内容とiCloudドライブ > Shortcutsフォルダのoriginal.jsonファイルが読み込まれ、最後に選択したフォルダに字幕ファイルが保存される。
390 00:41:29,000 --> 00:41:34,000 um what are your thoughts on taking notes in journals versus their own pages ええと、ジャーナルと自分のページでメモを取ることについてどう思いますか 391 00:41:34,000 --> 00:41:41,000 what are the use cases for your workflow soon you'll see that it doesn't matter as long as you think in branches it ワークフローのユースケースはすぐにわかります。ブランチで考えている限り、それは問題ではないことがわかります。 392 00:41:41,000 --> 00:41:47,000 really doesn't matter where you put it i recommend putting everything like 99 どこに置いてもかまいません99のようなものを置くことをお勧めします 393 00:41:47,000 --> 00:41:53,000 on your journals page why because everything will be date stamped which you will be able you will be able to use ジャーナルページで、すべてに日付が刻印されているので、使用できるようになります。 394 00:41:53,000 --> 00:41:58,000 those dates in your queries and then um it also if you ask me it あなたの質問のそれらの日付そしてあなたが私にそれを尋ねるならそれもそれをええと 395 00:41:58,000 --> 00:42:04,000 takes away basically the friction of asking yourself where should i put this so 基本的に、これをどこに置くべきかを自問するという摩擦を取り除きます。
CLOVA Noteでの文字起こしで2文が、YouTubeの字幕だと6文に細かく分かれている。
両方ともAIが聞き取った音声をAIが翻訳。
短い文よりも長い文の方が自動翻訳もより正確な翻訳ができるかもしれない。
もしそうなら長いCLOVA Noteの方が良いかも。
Vrewというアプリも試してみた。YouTubeのCC同様あるいはそれよりも一文が短い。そのせいなのか？翻訳結果はYouTubeのCCをChromeで翻訳したものより劣っているような気がした。
