仕分け・ピッキングの自動化事例から学ぶ！
初めてのロボットビジョン入門

多様な種類や不規則な形状を持つ商品を扱う場合、その仕分けやピッキング作業は複雑であり、効率的な自動化が求められます。

このような課題に取り組むためには、ビジョンロボットの画像処理技術が欠かせません。

今回は、多品種・不定形物製品の仕分け・ピッキング作業の自動化において、どのようにビジョンロボットの画像処理技術が役割を果たすのか、その理解をより深めるために分かりやすく解説いたします。

ロボットにビジョンシステムが必要な理由

まず初めに、今回のテーマであるロボットにビジョンシステムが必要な背景について説明いたします。

皆様がご存知の通り、ロボットには目に相当する機能がありません。

一方で、検査やピッキング、仕分け、組み付けといった作業を自動化しようとする際には、外観から判断する機能や位置を補正する機能が不可欠です。これらの機能は、多くの現場での自動化においてビジョンシステムが重要な役割を果たしております。

画像処理技術の種類【ルールベースとAI】

画像処理技術は、ルールベースに基づくものと、AIによる判断に基づくものの２種類に分かれます。

ルールベースの特徴は、事前に設定したルールに基づいてワークを認識・識別することです。ワークの位置だけでなく、面積、長さ、色などさまざまなルールを設定することが可能であり、一般的に位置ずれ補正や文字・色による仕分けがこの技術に該当します。

一方、展示会などで頻繁に見かけるようになったAIによる画像認識の特徴は、人間の感覚に近い処理方法を採用していることです。多数の注釈がついた画像データを学習し、特徴に基づいて認識・識別します。

例えば、ボルトとワッシャーの仕分けや製品の裏表など、特徴で見極め・グループ分けすることが得意です。さらに、さまざまな形状の容器に対して、共通の形状である蓋や取っ手部分だけを認識するなど、多岐にわたる認識タスクに対応できます。

ルールベースによる画像認識

AIによる画像認識

• 多数の注釈を付けた画像データを学習させることにより特徴で認識・識別する
• 人間の感覚に近づけた処理方法でありグルーピングが得意

【例】丸形状を学習

ピッキング作業の自動化

ルールベース活用事例

ビジョンロボットシステムといえば、最も一般的なイメージは、ルールベースを活用したピッキング作業ではないでしょうか。

この手法では、位置ずれの補正やワークの傾きに対する姿勢修正、そしてワークのデータを事前に登録せずに行うマスターレスピッキングが代表的な例として挙げられます。

位置ずれ補正

• 画像データからズレ量を計算し、ロボットへデータ出力
• ピッキング位置の補正から置く際のアライメントも可能

ピッキング座標指示
(マスターレスピッキング)

• ワーク単体をルールベースで認識しロボットに座標を出力

姿勢修正

• ワークの傾きを認識しロボットへ出力
• ワークの傾きに合わせた姿勢でピッキングが可能

AI活用事例

一方で、AI技術を用いたピッキング作業の可能性は広がっています。

例えば、特定の部位（例: 容器の蓋や取っ手）を把持したい場合や、ピッキングの際に座標だけでなく見た目の特徴も考慮したい場合が挙げられます。

また、下に積まれた袋が変形して出っ張っているなどピッキングミスが起きる可能性がある場合、上に積まれた袋の画像を学習させ、これを優先的にピッキングさせることができます。

つまり、3次元の座標情報だけでなく、外観の特徴を組み合わせたピッキングが可能となります。

特徴でピッキング座標を指示

• 【例】容器形状関係なく蓋を認識しピッキング座標を指示

積み重なりを学習

• 上にある製品だけをピッキング対象にする

ピッキング＆仕分け作業の自動化

ルールベース活用事例

続いて、ピッキングと仕分けを同時に行う工程の自動化におけるルールベースの活用例です。この手法では、ワークの画像データを登録し、製品ごとに個別に識別することで、ピッキングすべき対象かどうかや、製品に応じて仕分け先を判断することが可能です。

例えば、鋳造などのプロセスでは、製品と廃材が同時に流れてくることがあります。こうした場合、製品のみをピッキングし、廃材は無視するように判定できます。また、製品の種類ごとに異なる仕分け先がある場合、画像処理だけでその判断を行うことも可能です。

データマッチング

• 登録したワークを製品ごとに識別
• ピッキング対象の選定も可能

AI活用事例

一方で、AIを活用したピッキングと仕分けの自動化例です。この手法では、ワークの画像データに対してグルーピングが得意となります。

下図のように、ねじ、ボルト、ワッシャー、ナットなど複数の種類の製品を、細かい形状の差異に関係なく学習させ、その内容に基づいてピッキングの有無や仕分け先を判断することが可能です。

特徴からグルーピング

• 細かい形状は関係なく、学習させた特徴で判断する
• 4つのグループ（ねじ、ボルト、ワッシャー、ナット）で学習させた場合
• スパナなど関係ないものは識別対象としない
• 識別したワークに対しピッキング有無や仕分け先の紐づけが可能

仕分けの自動化

ルールベース活用事例

最後に、仕分け工程におけるルールベースの活用例です。

こちらはピッキングする座標を指示するのではなく、設定したルールと撮像データを元に仕分け先を判断するために利用されます。

具体的には、対象物を撮像し、OCR（文字認識）を用いてバーコード、QRコード、データマトリックスなどのコードや文字の読み込みから、色の識別やサイズなどを画像データから数値化します。

数値化された結果に基づき、仕分け基準を設定することで、さまざまな方法を駆使して仕分けを行うことが可能です。

OCR(文字)認識

• バーコード
• QRコード
• データマトリックス
• 文字を認識・読み取る

色識別

• 対象物の色を識別

サイズ測定・計算

• 対象物のサイズを測定
• 測定結果を元に容積・面積の計算も可能

AI活用事例

仕分け工程におけるAIの活用例です。

ルールベースのように数値化はせず、画像データ内にある対象物に対し、人間の感覚的な判断を紐づけします。

分かりやすい事例として、硬貨の金額を無視して表裏だけを学習させることで、裏表のみを判断することができます。また、金額ごとに裏表を学習させることも可能です。

こういった模様部分を画像データから数値化・仕分けすることは難しいですが、人間の感覚を学習させ・仕分けできることが最大のメリットです。

表裏・上下識別

• 各状況に適した工程を行うなど
• 【例】表裏で作業を変更
  • 表：作業A
  • 裏：作業B
• 【例】上下・裏表反転
  • 作業に適していない向きで製品が流れて来た場合適した向きに修正

マークなど特徴で仕分け

• 【例】◎マーク：次工程、マークなし：廃棄

• 【例】リサイクル洗濯機をドラム式とそれ以外で仕分け

まとめ

２つの技術を活用したピッキング・仕分け作業自動化の活用例を表にまとめました。

作業もピッキングのみ、仕分けのみ、そしてピッキング・仕分けを同時に行う工程もあり、また、対象物・やりたいことに応じて適した技術も異なってきます。

2つの技術をうまく活用することで、作業の自動化を推進していくことが可能となります。

今回ご紹介した画像処理技術を軸にした成長型ビジョンオートメーションシステムTriMathは、ビジョンロボットシステムを構築するための制御システムおよび操作盤、ビジョン機器を一体化した製品です。

成長型をコンセプトに、お客様の現場ニーズに合わせて素早くシステム導入でき、また、導入後の現場変更にも柔軟に対応します。

ロボットビジョンシステム カタログダウンロード
操作画面やシステム概要・構成のスペックなど、より詳しい情報を載せています。
現場導入前の検討にぜひお役立てください。

資料ダウンロード