リアルタイム字幕について

メモ

1．送信者側が字幕を付ける方法

★落合陽一の動画メッセージで、全国で有名になったもの
https://note.com/ochyai/n/nafbdcc8d5cb7
こちらは配信側で、画面上にクロマキーとして字幕を入れているものと思われる。

★それを受けてYoshiki NAGATANI氏が発表したもの
https://twitter.com/nagataniyoshiki/status/1262381660877791233
送信側だけなのか、受信側でもできるのか、よくわからない。

★Ippei Suzuki氏の説明
https://twitter.com/1heisuzuki/status/1263118851744489472

Chromeを使ったspeech-to-text-webcam-overlay
https://1heisuzuki.github.io/speech-to-text-webcam-overlay/

★Akihisa Shitara氏の研究室（筑波大学落合研究室）での活用例「リモートミーティングでの音声認識の活用事例」
https://github.com/DigitalNatureGroup/Remote_Voice_Recognition

★OBS-Virtual Cam
これは、バーチャルカメラであり、画面の一部をあたかもWebカメラとして送信できるもの。これを土台にして別途作った字幕と、Webカメラを合成しているようだ。このソフトを何人かの人が使っている。
https://obsproject.com/forum/resources/obs-virtualcam.539/

★Hiroaki Chijiiwa氏の動画
Ippei Suzuki氏のSpeech to Text-webcam-overlayの画面をOBS-Virtial Camでキャプチャして、送信している。

https://www.youtube.com/watch?v=sEw7h6rA2Tg&fbclid=IwAR2ZArg5zJ96Z83flliI3vOxgSsiRqh1jrcUnvl7vEecp3ia78MHqIdAgu0

★諏訪真一氏「Mac × iPhone で zoom にリアルタイム字幕」
https://note.com/suwash/n/n3e4be86c1ec5

★Noyuki Mori氏「OBSでリアルタイム字幕・翻訳を出す」
https://note.com/mori_n/n/n0e8dcb9f9a44

★UDトーク：ZOOMの字幕（クローズドキャプション）に送信する方法
https://teachme.jp/27228/manuals/8656888

★音声文字入力 を表示しながら自撮り録画する方法（OBS/Googlechrome/Googleドキュメント 使用）
https://www.youtube.com/watch?v=XlxIHcpKxFw

★聴覚障害を持つ学生の支援方法とその応用（芝浦工大除村先生）
https://drive.google.com/file/d/1UxrUYhURGxRqSELRTrJRYCM-Tu-KzQx2

2．受信者側が字幕を付ける方法
★ジェットダイスケ/JETDAISUKE　UDトークhttps://www.youtube.com/watch?v=91Hk7Hg5leA

遅延がだいぶ多い。
1の機能を使いつつ、送信者側でなく、受信側で設定する方法を探してみたい。

この商品がもし税込100円だったら

「世界がもし100人の村だったら」は名作だ。私たちに色々な示唆を与えてくれる。

新型コロナウイルスへの対応で巣ごもりに伴う消費が冷え切る現在、地元の企業・街の商店を応援、という雰囲気の中、大手チェーンでの購入というのは一体どの程度地元へのプラスになるのかというのは私たちは情報を持っていない。

同じ本を買うならAmazonよりも地元の本屋で注文、というのもわかるが、なかなか踏み切れない。で、次のような指標を何か計算して、開示してもらえないだろうか。

ある企業の総売上のうち、地元に落ちる金額の割合。

話は簡単ではなくて、生産者、卸業、従業員給料、等々、影響が大きい（経済用語でこういうの何というのだっけ）。100円の購入も、多層にわたるので、全部を考えると100円でなく、それが200円、300円になるが別にそれで良い。その金額の内、地元の県に落ちるお金が幾らかを、パーセンテージで表したもの。

「この商品がもし税込100円だったら」

この商品をこの流通で買ったときに全体の波及効果が230円であり、
そのうち
　5円は国の税金になり
　7円は香川県の税金になり
　40円は東京都にある本社の利益になり
　30円は香川県内の農家の利益になり
　20円は香川県内の問屋の利益になり
　17円は香川県内の工場の利益になり
　45円は香川県内の従業員の利益になり
　76円は香川県外の利益になります。

というような数字を知りたい。

大手チェーン店というのも、雇用や一部の商品納入には貢献しているので、ダメなんてことはない。でも、地元をもっと応援することへの情報が欲しいのだ。

外部不経済について

外部不経済という考えがある。

正確な定義ではないが、ある行為を行う際に、その閉じた中で100%循環できるか、外部に依存したものかということである。橋梁構造物における自邸式、他邸式、というのとアナロジー（類似性）がある。

お祭りの屋台を考えると、購入した焼き鳥の串、りんご飴の割り箸、すべてゴミになる。お祭りの場合、見た目というのもあるがとにかくゴミは無視できないため、お祭りの主催者側が費用を払って回収を行う。では、コンビニの弁当や、オフィス街で売っている弁当というのは、いったい誰が処理をするのか。購入した消費者にその責任があるとはいえ、捨てることを前提に利益計算などが考えられていると思う。特にオフィス街の弁当は、購入して1時間後にはゴミになる。

コンビニのごみ箱は、そのコンビニで購入した食品の容器を捨てることもあるが、それは、イートインで消費したものと、車で来て駐車場内で食事をして、終わったらもう１回入店してゴミだけ捨てるというケースに限られるだろう。なおその時は、堂々と捨ててよいはずなのに、家庭ごみを持ち込んでいると「思われるのではないか」と、肩身が狭い。

では、その場で消費しない弁当や飲料は、どこで捨てればよいのか。そう考えると、そういうのを捨てるために、インフラとしてコンビニのごみ箱が存在しているという風に考えることもできる。あるコンビニで買ったもの（弁当や飲料）のゴミを他のコンビニで捨ててもよい、という世界。ただし、特定のコンビニだけ、ごみ処理費用を過度に負担するのは持続性はないので、全体のインフラとして考えているのであれば廃棄料金負担をシェアするシステムがあってもよいのではないかと思う。

シェアサイクルのうち圧倒的に便利なのは、各地に貸出・返却ポートがあってどこを使ってもよいものである。たまに一部のところに自転車が滞留するので、それを分散させる仕組みが必要であり、そういう管理費も、費用の中に含まれている。

高速道路のごみ箱は、休暇シーズンになると、外からの家庭ゴミ持ち込みは禁止という張り紙（さらには監視員も）ばかりでうんざりだが、これから長期旅行で高速道路に乗る際には、自宅の生ごみは処理しておかなければ大変困るので、それを道中どこかで捨てなければならない。コンビニには捨てにくくなっているご時世なので、高速道路だったら、と考えられなくはない。高速道路の付加サービスとしてもよいのではないかと思う。そう考えると、「バカンス移動者のための自宅ゴミ有料受付」というのがあれば、利用する側も胸を張って多少高くてもお金を払うのに、と思う。（払わない人もいるから不公平だと思って払わない人もいるのは理解できるが、「胸を張って捨てられるサービス自体に対価を払いたい」と思う層もいるので、そういう人が払わない人の分のコストも含めて払うと思う。それが付加価値である。）

海外を旅行すると街角に公共のごみステーションが多数あったりして驚くが、日本ではどんどん街角のごみ箱が撤去されている中、日本ではコンビニがそのインフラを担っている気もする。コンビニの発展が日本の特徴なのは明らかであるが（最近では災害時のトイレ提供を期待されている）、好立地のコンビニほどその費用負担に苦しんでいると聞くので、そのように特定の民間にコストを押し付ける現状でよいのだろうか。ゴミ捨てとなった時に自己責任、自己負担という風に捉えがちであるが、街角に公衆トイレが必要というのと同様、ごみを捨てる権利もあると思う。

そういった自己責任という名の不作為は、災害時避難所の雑魚寝や使いにくさというのとオーバーラップして見える。

コンビニのごみ処理費用に戻るが、たとえば、複数の鉄道会社が相互に乗り継ぎができるのは、料金を適切に清算されるシステムがあるためである。切符を買った駅の会社のみに利益が入るのであったらそもそも成り立たない。銀行ATMについても、相互利用では利用のたびに銀行同士で利用料を支払っていると聞く。

対象物を変える。

例えば、洗剤を考えてみる。話を簡単にするために、洗濯洗剤やシャンプーに限定しよう。洗剤メーカーというのは、ものを洗う製品を売るというサービスに対して、終わった洗剤を廃棄する料金を100%下水道に依存している。それが良い悪いということでなく、そういう特定のルートに依存しているシステムというのは面白い。

海外の一部の地域であるようなのだが、生ごみをキッチンの流しにそのまま流せる。配管の内部でミキサーのカッターのようなものが固形物を粉砕して細かくし、下水に流す製品がある。日本でも一時期販売されたが、下水の詰まりというか、そういうところで問題になって消えたと思う。本来ゴミは固形ゴミとして処理するシステムがある中、水に流すというのは単に細かくしているだけで物理的は消えないので、末端で集まった時にその処理費用が100%発生するのはやはり外部不経済になっていてフェアではないだろう。

数パーセントの人が使っている限りは問題ないという考えもあるが、持続可能な世の中を考えると、仮に普及率100%になってもおかしくないようなシステムにしておくのがよいと思う。

よって、ゼロサムゲームで儲けようというのと同じで、原理的に持続可能性はない。冒頭の例で思い出したが、お祭りといえば、金魚やミドリガメも、その後の処理という意味で外部不経済である。

関連したゴミ箱の話題で、次のことも思い出した。ある施設（店舗）の入り口に、灰皿がある。でも、店先で吸うなと。その理由は、外で歩き煙草で吸ってきたのを消して、施設に入ってもらうための灰皿であると。


特に結論はないのだが、普段から考えていることを文章として整理しておきたくて、ここに吐き出しておく。

Webカメラの代替ツールの検討

テレビ会議のためのWebカメラが不足している話が駆け巡っているが、それについて書きたい。

研究室では数千円のWebカメラを7年前に購入していたので問題ないが、自宅でもできる体制をと思うと1台欲しいが今は品薄で手に入りにくいので仕方がない。

私は自宅の仕事にPanasonicのLet’s note CF-MX5を使っているが、画面が小さいため、外付けモニタに出力してノートPCの画面は消している。PCの設置位置もアームで浮かせたモニタの下に置いているため、カメラ部分が隠れてしまっている。下記の写真の通り。



ちなみに、最近のノートPCの内蔵カメラは結構綺麗で、と思っていたら、この機種はfull HD出力のスペックではあるが残念ながらもやがかかったようにピントも甘く、感度も低かった。余り使えないなぁと。

それともうひとつ死活問題なのは、我々は教員として遠隔授業をする必要があり、そのためのコンテンツを作るために、手軽に向きが変えられるカメラが欲しいのである。現時点の遠隔授業形態では、黒板の前に立ってそれを録画するいうことは私はしないが（している先生もいる）、実験の様子や手作りした力学模型を表示することを想定している。


他のツールで代替できないかなと思っていたら、案の上、その道に詳しい人たちが集うPC Watchで紹介されていた。

まず1つめ。スマホをWebカメラとして使う方法である。
「Webカメラが品切れでもOK? スマホをWebカメラとして使える「iVCam」を試してみた」詳細はリンク先のとおりであるが、そもそもiPhoneをはじめスマホのカメラは性能が良いので、これは使える。試用してみたところ、手元に古いiPhone6が2台余っているので、wifiでなくUSBケーブルで接続したところ、画質は全く問題ない。スマホに依存するがズームなどもできる。音声も使える（初期値は音声はoffのため設定でonにする必要あり）。




試用時にはiVcamのロゴが入ってしまうし、何か操作の度に広告が全画面表示されて（PC側のWebカメラには広告は入らない）煩雑なので、これを使うようになれば、1220円のアプリ購入は買いだと思っている。

他にも調べると、iVcam以外にも同じ趣旨のアプリは存在するようなのだが、決め手がよくわからない。今のところ、これにしようかなと思っているところである。

【後日談→実際iVcamのアプリを購入した。現役のiPhone、古いiPhone2台の計3台を同じAppleIDで運用しているので、一気に3台に増えた。問題ない。一瞬前面カメラが使えないと思ったら、解像度が後面カメラの解像度に設定されていると前面カメラは選べないようだった。自分の画像も確認できるので私は前面カメラが良い。フラッシュの常時点灯もできるので、色々とカスタマイズできる。さらにテレビ会議によっては、カメラの左右の入れ換え設定が（テレビ会議システム上から呼び出して）できないものがあるようで、このiVcamは、スマホ上やPC上のアプリから変えておけばそれがすぐに反映されるので良かった。買って良かったと思っている。】

ただ、もっと大事なのは、スマホを固定する装置を購入することである。なかなか安価で良いものはないが、私のお勧めは、100均で売っているスマホ三脚の上部の固定部分だけを使うのである。これの根元は、普通のカメラ三脚用のネジ孔になっているので、それを既存の丈夫な三脚に固定するのである。上記の写真は、昔に購入した、ペットボトルの蓋の上からはめこむ三脚ネジ。これと100均の上の部分に組み合わせている。


そこに来て、本命の情報を得て興奮している。
同じくPC Watchの「キヤノン機をWebカメラ化する「EOS Webcam Utility Beta」導入レポート」
愛機Canon EOS Kiss X9がそのまま使える。すごいものを開発してくれました。嬉しすぎて、観音さまと拝みたい【←わからない人はスルーして下さい。キヤノンの語源が観音様からきているの言いたかった】

先ほど試用してみた。素晴らしい。テレビ会議上で写される映像は普段見るデジカメの写真と変わらないくらい細かい。三脚に固定すれば、色々な使い方ができる。



うちの学校は、Microsoft Teamsを使ってテレビ会議をしているので、そちらの画面で紹介する。

次が、レンズを望遠側にして、テレビ会議上に表示された画像。ただ、これはカメラから出てきた画像を表示させているだけで自分側の画面、実際にネットの向こうで見られる画像が精細かどうかまでは検証ができていない。威力はわかって戴けると思う。効果がわかるように、望遠200mmのとき。右手で「土木偉人かるた」を持ち、左手でPrintScreenを押して得た画像。



次に、一眼レフカメラとPC内蔵カメラの比較をしてみたい。Teamsの1人テレビ会議をして、画面を録画したものからとってきたものである。Teamsの録画は、自動的にデータ容量を落としているのでノイズが目立つが、それはカメラの性能とは関係ない。


↑　Canon EOS Kiss X9を接続した例

カメラのイメージをつかんでもらうため、ズームレンズの100mmぐらい（35mm換算で150mm程度）に設定して1.5mぐらい離れて撮影している。望遠寄りなので、背景が適度にボケている。

カメラがリアルタイムでオートフォーカス（ピント調整）をしてくれており、イメージとしてはビデオカメラが接続されていると思った方が良い。

毛穴まで見える解像度、と思う。実際、「土木偉人かるた」の「古市公威」のひげまで表現できている。

ただ、カメラの電池を食いそうである。電源接続のツールは持っていない（バッテリー1台を外付け充電器で充電）のため、実際に長時間使うときには追加購入が必要で考える必要が出てくる。バッテリーを1個追加で廻していくのが現実か。

次に、画質の比較として上記レッツノートCF-MX5である。元々、なぜか内蔵カメラがもやがかかったようなので、ノートPCカメラの代表格ではないのはわかるが、これしかないので比較する。ちなみに、同じぐらいの大きさにするには、カメラとの距離20cmであった。

焦点が合うので、後ろの壁まで見えると思う。背景をぼかす一眼レフと大違いだ。

↑　Panasonic CF-MX5の内蔵カメラの例

毛穴まで見えないし、先ほどはよく見えていたひげが見えない（笑）。

【実際に使ってみた。バッテリーがフルに充電できていない状態で4時間のzoom飲み会に突入した。1時間充電して1時間の駆動がやっとだった。バッテリーは、購入後2年経過したもの。会議で使う場合には確実な電源の確保か、バッテリー切れになったときの代替カメラを用意しておくと良い。私の場合、上述のスマホ+iVcamはスタンバイしていたので切り替えることができた。】


もうひとつ、ツールがあった。

以前から、書画カメラを研究費で購入し自分専用に使っていた。模型を使った授業や外部の講演で手元資料を写したいニーズは多数あるからだ。超小型で（土木偉人かるたの箱が大きいのでは決してない）、HDMI出力とアナログ出力があることを重視して買ったのである。ずっと頭にはなかったのだが、USBで接続してWebカメラとして扱えたのである【それを思い出させてくれた神戸高専の福井先生に感謝】。

エルモ社のモバイル書画カメラ　MO-1
今は廃盤になって後継のMO-2であるが、エルモ社（リンク）では色々な種類を出している。安くないが、長く使えるツールなので、特に教育機関におられる方は是非個人所有されるのをお勧めする。


↑　エルモ　MO-1（写真の収まりのために、アームを曲げている）

小型なのでこのままでは高さの制約がある気もするが、何か椅子のようなものの上に置けば高所から机の上の手元を写すなどができると思う。


他に、デジカメ、デジタルビデオカメラもそれぞれUSB端子があったので、時間があれば試して続報を追記したいと思う。

【→研究室で所有していた、SONYのハンディカムHDR-PH630Vは残念ながらUSB接続をしてもWebカメラとしては対応していなかった。】

ということで、ツールの紹介ばかりになってしまったが、大事なのはコンテンツ、どういう授業をするかである。これは試行錯誤しながらベストを尽くしたい。

実際にできた、という報告なので、オリジナルの記事を上回る情報は含まれていないが、全国で試行錯誤していると思われる大学・高専の先生方の何かの参考になれば。


宣伝で申し訳ないが、トランプの遊び方を開発したので、Stay at Home　用にこちらも参考に見ていただければ幸いです　→トランプの遊び方を発明（リンク）。