ToF特集
ToFカメラでこんな被写体、撮影してみました。

様々なご用途のお客様がいらっしゃる中、撮影したい被写体も共通点があります。今回はToFカメラでご検討中の被写体として、よくご相談を頂く被写体を撮影しましたので、ご検討のご参考になれば幸いです。

目次

• 1.ToFカメラの被写体は？
• 2.ToFカメラで人を認識
  • 人の顔（仮装用お面）
  • 人の手のひら
• 3.ToFカメラで貨物の自動計測
  • 箱・立方体（正面）
  • 箱・立方体（斜め）
  • 箱・立方体＋緩衝材
• 4.ToFカメラで作物収穫を補助
  • 野菜・果実
  • 低反射体との比較

ToFカメラに関連する他の記事はこちら

TOFカメラの用途において、人・障害物・ダンボールなどの直方体・果物・野菜・高反射体・低反射体など、様々な物体をご評価したいとご要望を頂いております。今回は弊社で撮影した一部をご紹介いたします。

以前掲載した特集『 ToFカメラに最適なアプリケーション～人認識編～』でToFカメラの特徴の一つとして、人認識アプリケーションで活用しやすいことをご紹介しました。ToFカメラを使用することで、従来のカメラ認識で必要であったクロマキ処理（背景と人との分離）などが不要となり、人のみを切り出すことが可能です。

以前の特集記事で人全体を認識したPeopleCounterや行動分析などはご紹介いたしましたので、今回はセキュリティを意識した顔認識、非接触操作に必要な手の認識をイメージして撮影しました。

人の顔（仮装用お面）

顔認証の補完機能として、顔の凹凸も判断基準とするニーズが御座います。今回は実際の人の顔ではなく、仮装用のお面をToFカメラで撮影しました。目のくぼみ、鼻の出っ張り、うっすら出ている唇の凹凸も捉えられているのがわかります。

人の手のひら

人の認識＋その人のハンドトラッキングから機器の操作など、ジェスチャのご用途にもご活用いただけます。3次元空間上で手のひらがしっかりと捉えられていますので、この情報から後段アプリケーションにて手の認識や指の本数から操作切り替えなどのご用途にもご活用いただけます。

参考：People Counter評価アプリケーション

人を認識＋トラッキングする評価アプリケーションをToFカメラと一緒にご提供可能です。お客様のご要望に沿いながら用途に合わせたカスタマイズもお請けいたします。

昨今、物流現場では寸法計測のオートメーション化などが進めてられており、ダンボールや直方体を瞬時に計測したいというニーズが増えてきております。

以前、掲載した特集『 ToFカメラに最適なアプリケーション～モノ認識/倉庫管理編～』でToFカメラの物流向けソリューションもご紹介しておりますので、ご参照いただければと存じます。今回の被写体では、3つの異なるダンボールを正面・斜めから撮影した結果と、緩衝材やビニールで覆われていた場合などを想定して撮影しました。

箱・立方体（正面）

正面から撮影した場合、ダンボールの平面は捉えられており、エッジ強調などのフィルタリング処理などを加えながら面の寸法・面積を求めることは可能と考えます。ただし、死角が多いためにダンボール全体の寸法は導き出せません。

箱・立方体（斜め）

斜め上から撮影した場合、ダンボールの縦・横・高さがわかり、ダンボール全体の寸法が捉えられそうですが、ポイントクラウドを見ると、マルチパスの影響か角が丸まった物体として認識されてしまいます。このことから、寸法計測を実施する際はなるべくカメラと平面が平行になる方が良いことがわかります。正面からでは奥行きがわかりませんが、真上からダンボールを撮影すると奥行きが導き出せます。また、土台からの距離情報より高さも導き出せます。

箱・立方体＋緩衝材

貨物の場合、梱包材にくるまれていることも考えられます。梱包材の素材や反射率にもよりますが、少なくとも平面認識に何かしらの影響が出ることは考えられます。今回はダンボールを緩衝シートで覆ってみましたが、反射光の強度によって、ダンボール平面に影響が出ているのがわかります。

近年、人間の代わりに作業を行うロボットが増加傾向にあります。ロボットアームで収穫、自動走行での運搬など、この様な用途にも距離＋画像認識が必要になります。例えば、果物を収穫するようなロボットだとロボットの移動→対象物の判断→摘み取り作業位置の特定が必要です。この様なニーズもあるため、今回は幾つかの種類の野菜・果物を並べて、撮影しました。

野菜・果実

バナナ、ミニトマト、ピーマン、ナスを撮影しました。バナナ、ピーマン、ナスはポイントクラウドを見ると形もはっきり捉えられているのがわかりますが、ミニトマトは丸い球状という要因とIR画像を確認すると、反射率が意外と低いのがわかります。その影響がDepth演算に影響しているものと推測します。逆に黒いナスについては、意外と反射率が高く、形がしっかりと捉えられています。

低反射体との比較

反射率の良い青いボードと反射率の低い黒いボードを比較しました。本来なら平面として捉える必要がありますが、反射率の低い黒いボードは奥にいくにつれ浮き上がっているのがわかります。反射率が極端に低い影響で、Depth演算にい影響を及ぼしている結果となります。この様な現象はTOFの弱点とも言えますが、ToF単体での解決策は現状見えておらず、RGBカメラなどとの併用が考えられます。

まとめ

今回、一例として弊社で撮影した結果をご覧頂きましたが、物体の形状・カメラ設置位置・物体の反射率によっても、様々な結果が得られることをご理解頂けたかと思います。弊社ではTOFカメラを評価キットとして販売しておりますが、事前お貸出サービスも実施しております。TOFカメラをご検討されていて、事前に試したいとお考えの方は、是非お問い合わせください。

この記事を読んだ方におすすめ！
ToFカメラに関連する他の記事はこちら

第1弾：「ToFカメラとは？～ToFカメラを使ってできること～」
第2弾：「Depthセンシング方式におけるToFカメラの特徴」
第3弾：「ToFカメラに最適なアプリケーション ～人認識編～」
第4弾：「ToFカメラに最適なアプリケーション～モノ認識/倉庫管理編～」
第5弾：「新型ToFカメラ～屋外（太陽光下）での評価状況を公開！～」
第6弾：「新型ToFカメラ～屋外（太陽光下）での評価状況 第2段！～」