太陽電池パネルの熱画像診断：SESPNetが赤外線で全てのホットスポットを検出する方法

製品紹介

太陽光発電所には、数万枚から数百万枚のモジュールが設置されることがあります。毎日、暑さ、風、砂、雨、雪の中で放置されるため、さまざまな不具合が発生するのは当然です。最も一般的で、最も危険なのがホットスポットです。

ホットスポットとは、モジュール上の一部が異常に高温になる小さな領域のことです。軽度なら発電出力の低下を招き、重度になるとバックシートを焼き抜き、火災を引き起こして発電所全体を危険にさらす可能性があります。問題は、モジュールが隙間なく並んでいることです。作業員を派遣してハンドヘルド機器で1枚ずつ点検するのは時間がかかり、見落としも発生します。そこで、赤外線サーモグラフィと深層学習の組み合わせが注目されています。

赤外線カメラをモジュールに向け、温度分布をヒートマップとして捉え、訓練済みのニューラルネットワークにそのマップを読み取らせ、高温箇所とその温度をマークさせます。一見簡単そうに思えますが、実際に現場で機能させるのは別の話です。赤外線画像には、通常のアルゴリズムを妨げる3つの固有の欠点があります。低解像度、欠陥サイズの大きなばらつき、そして複雑な背景です。

SESPNet（セマンティック強化およびスケール認識ネットワーク）と呼ばれる新しい手法は、この3つの欠点に直接対処します。その性能は確かです。平均精度92.1%、毎秒62.4フレーム、そして手のひらサイズの組み込みデバイスでリアルタイム動作できるほどコンパクトです。この記事では、くすんだ灰色の赤外線フレームからすべてのホットスポットを抽出する方法を解説します。

まず、ホットスポットが重要な理由です。PVモジュールは多くのセルが直列に配線されています。1つのセルが日陰、マイクロクラック、汚れなどで出力を失うと、電流を供給しなくなり、抵抗のように振る舞い、他のセルからの電流を熱に変えて内部で消費します。そのセルがストリング全体の熱源となり、隣接するセルより数十度高くなります。軽度の場合はストリングの出力を低下させ、重度の場合は時間の経過とともに封止材を劣化させ、バックシートを焼き抜き、発火する可能性さえあります。ホットスポットを早期に発見し、迅速に対処することは、PV運用において避けて通れない課題です。

図1：屋根に設置された太陽熱コレクターモジュール。長年屋外にさらされ、局所的な温度スパイクがホットスポットを形成する様子。

図2：PVモジュールの欠陥を赤外線熱検出で特定する5段階のワークフロー。温度の取得から故障パネルの特定まで。

技術パラメータ

ホットスポット検出に赤外線が必須な理由

このアルゴリズムを理解するには、基本から始めましょう。なぜ可視光カメラでは隠れたPV故障を検出できないのか、そしてなぜ赤外線だけが唯一の方法なのか。

可視光イメージングは単なる通常の写真撮影です。高解像度で詳細が豊かで、表面のひび割れ、傷、汚れなど、目に見えるものを検出するのに適しています。しかし致命的な限界があります。それは外観のみを読み取り、温度は読み取らないことです。モジュール内部のマイクロクラックや冷たいはんだ接合部は、初期段階では外観を変えないことが多いですが、その箇所で電流を遮断し、加熱させます。可視光カメラはこれらの熱的欠陥には無力で、夜間や光量が不足している状況では役に立ちません。

赤外線は異なるアプローチを取ります。絶対零度以上の物体はすべて赤外線を放射し、温度が高いほど放射は強くなります。赤外線カメラはその放射を捉え、目に見えない温度分布をカラーまたはグレースケールのヒートマップに直接描き出します。外部光源を必要としないため、昼夜を問わず機能します。モジュールのどこがどの程度高温になっているかが明確に表示されます。ホットスポットやグリッドラインの破断など、熱に起因する欠陥に対して、赤外線は自然な解決策です。

そのため、赤外線はPVプラントでの欠陥検出の精度と速度の両方を向上させる重要な手段となっています。赤外線カメラを搭載したドローンは、数分でアレイ全体をスキャンでき、手動のチームより数十倍高速です。しかし、熱を見る能力には代償が伴います。画質は可視光よりもはるかに低いのです。

従来の手動方法では、作業員が機器を携帯し、パネルごとに測定していました。時間がかかり、経験に大きく依存します。モジュールが密集し、数千枚にも及ぶ場合、1枚ずつ読み取るのは疲れ果てる作業で、エラーが発生しやすく、夜間はほぼ不可能です。ドローンと赤外線の組み合わせは撮影ステップを最大化しますが、それでも数千枚の画像を手動で読み取る場合、ボトルネックは測定から目視に移るだけです。ループを閉じるには、画像を読み取るアルゴリズムが必要です。それがディープラーニングの出番です。

図3：典型的な赤外線ヒートマップ。領域が高温になるほど色が暖色になり、過熱領域が一目でわかります。これはホットスポット検出のための原材料です。

図4: 可視光と赤外線イメージングの役割分担。熱的欠陥には、赤外線が自然な解決策です。

赤外線欠陥検出における3つの難題

赤外線は熱を見ることができますが、検出アルゴリズムに3つの難しい問題を突きつけます。これら3つが、多くの既製アルゴリズムがPV赤外線作業で失敗する理由です。

一つ目: 低コントラスト。赤外線フレームは全体的に鈍く灰色です。欠陥と背景のグレースケール差は元々小さく、その上にイメージングノイズが加わることで、欠陥が背景に埋もれてしまいます。アルゴリズムは主要な特徴を捉えられず、精度が低下します。

二つ目: 欠陥の規模が大きく変動。単一の赤外線フレーム内で、ホットスポットのサイズは数十倍も異なることがあります。バイパスされたストリング全体が大きな領域で光る場合もあれば、1つのセルが隅でわずかに温まるだけの場合もあります。固定された受容野（ネットワークが1回のパスで明確に見える範囲）は、このようなばらつきに対して一方を失いがちです。大きなターゲットを捉えると小さなものを見逃し、その逆も同様です。

三つ目: 小さなターゲットの情報が失われる。これが最も厄介です。ニューラルネットワークは層ごとにダウンサンプリングし、画像を縮小して高レベルの意味を抽出します。しかし、元々数十ピクセルしかない小さなホットスポットは、縮小するにつれて平滑化され、決定が下される頃にはほとんど残らず、認識に大きな打撃を与えます。

これら3つを合わせると明らかです: PV赤外線欠陥検出は、「はっきり見えない、サイズがバラバラ、失われやすい」という問題に同時に対処しなければならないため難しいのです。SESPNetの3つの主要なアップグレードは、それぞれこれらの難題の1つを対象としています: 1つはセマンティクスを強化して背景を抑制し、1つはピラミッドを構築してサイズに対応し、1つはチャネルを保護して小さなターゲットを回復します。

既製の検出器をそのまま使わないのはなぜか？物体検出は急速に進歩し、2つのルートに分かれます。1つは2段階方式: まず候補領域を粗くスクリーニングし、次に各領域を注意深く判定します。精度は高いが遅いです。もう1つは1段階方式: 1回の見た目で位置とクラスの両方を与え、高速でリアルタイムに適しています。YOLOシリーズは1段階方式の代表格です。しかし、これらの一般的なアルゴリズムは通常の可視画像で訓練されており、低コントラストで規模が大きく変動するPV赤外線フレームに適用すると苦戦します。SESPNetのアップグレードは、赤外線欠陥に特化してこれらの3つのギャップを埋めます。

図5: 赤外線欠陥検出の3つの難題: 低コントラスト、複数スケール、小さなターゲット。

図6：カメラを搭載したマルチローター型ドローンがアレイ上空を飛行し、赤外線画像を一括取得する様子。数分で、作業員が半日かかる範囲をスキャンします。

技术优势

ステップ1：セマンティック強調で、背景から浮かび上がる欠陥

SESPNetはベースモデルとしてYOLOv10を採用しています。YOLOv10は、2024年5月に清華大学のチームが発表した、現在最も人気のあるリアルタイム検出器の1つで、高速・高精度・導入しやすさを重視して設計されています。SESPNetはこれに3つの操作を加えます。最初の操作は、バックボーンにセマンティック情報強調モジュール（SIEM）を組み込むことです。

これが解決するのは低コントラストの問題です。赤外線欠陥画像のコントラストが低いと、背景ノイズがモデルが抽出する特徴に干渉し、精度が低下します。SIEMは同時に2つの方法で機能します。グローバルアテンションブランチは画像全体の全体的な意味を捉え、背景と欠陥が隠れている可能性のある部分を判別し、ノイズの干渉を抑えます。ローカルアテンションブランチは欠陥自体の詳細とテクスチャに焦点を当て、その特徴表現を鮮明にします。

各ブランチはそれぞれの対象を監視し、その後、グローバルとローカルの情報が重み付けされて融合されます。これは、目を細めて屋根全体の輪郭を確認しノイズを排除してから、近づいて怪しい箇所をじっくり観察するようなものです。遠くと近くを組み合わせることで、欠陥がくすんだ背景から浮かび上がります。融合された特徴は、欠陥の詳細を保持しながら背景の干渉を抑えるため、特徴表現が明確に強化されます。

その効果は後のアブレーション研究で明確に示されています。SIEMを追加するだけで、3つのターゲットクラスすべてで平均精度が向上し、複雑な背景への耐性が実際に向上します。

バックボーンは、モデルが最初に画像に触れて基本特徴を抽出する部分です。ここにSIEMを配置するということは、ソースでクリーンアップすることを意味します。つまり、何かが渡される前に、欠陥の特徴はすでに強化され、背景ノイズは抑制されています。クリーンなソースがあれば、後のスケール処理やターゲット位置特定がノイズに惑わされることはありません。これが、SIEMがバックボーンに配置され、他の場所には配置されない理由です。汚染を早期に処理するのです。

図7：SIEMセマンティック強調モジュールのデュアルブランチ構造。グローバルブランチは全体像を読み取って背景を抑制し、ローカルブランチは詳細を監視して欠陥を強化し、その後2つが重み付けされて融合されます。

図8：屋上PVアレイ。密集したモジュール群は、まさに検出アルゴリズムに干渉を与える複雑なシーンです。

ステップ2：ピラミッドプーリングで、大小のホットスポットを両方捉える

2つ目の変更は、YOLOv10の元の空間ピラミッドプーリングモジュールを、空間注意ピラミッドプーリングモジュール（SAPPM）に置き換えるものです。これは、さまざまなスケールの問題に対処します。

「ピラミッドプーリング」は、同じ特徴マップを異なるサイズの複数のウィンドウで同時にスキャンすると解釈できます。小さなウィンドウは細かいディテールを見て、小さなホットスポットに適しています。大きなウィンドウは広い範囲を見て、大きなホットスポットに適しています。この研究では、小さなものから大きなものまで複数のプーリングウィンドウを並列に実行するため、欠陥が数行にわたるものであれ、手のひらサイズの斑点であれ、適切なウィンドウがそれを捉えます。

さらに、SAPPMは空間注意の層を追加します。異なるウィンドウからの特徴に異なる重みを割り当て、本当に重要なスケール情報を前面に保ち、無関係な情報を抑え、これらのマルチスケール特徴をより完全な特徴マップに統合します。要するに、最初の部分は「すべてのサイズを見る」ことを処理し、2番目の部分は「見るべきものを強調する」ことを処理します。これらが一緒になって、モデルのマルチスケールターゲットの認識を大幅に向上させます。

これにより、従来の「一方を失う」問題が直接緩和されます。固定受容野のネットワークは、大きなターゲットに注意を払うと小さなターゲットを見落とします。SAPPMを導入することで、サイズの差がどれほど大きくても、大小のホットスポットを同じパスで明確に見ることができます。

図9：SAPPMのマルチスケール特徴ピラミッドプーリングのスケッチ。異なるサイズのウィンドウで並列にスキャンし、空間注意の重み付けで統合します。

図10：工場の航空写真。ドローンが異なる高さで撮影するため、同じ欠陥が画像内でさらに多様なスケールで現れます。

3つ目の変更：チャネル注意、ほぼ失われた小さなターゲットを釣り戻す

3つ目の変更はネックネットワークにあり、マルチスケールチャネル注意メカニズム（MCI）を構築します。これは最も難しい問題、小さなターゲットの情報損失を解決します。

まず、チャネルについて説明します。ネットワークが画像を処理するとき、特徴を多くの並列チャネルに分割し、各チャネルは異なる角度から画像を記述します。小さなターゲットの特徴はすでに弱く、これらのチャネルに散在しており、各チャネルが交換なしで自分自身だけに注意を払う場合、その貴重な情報は層ごとの受け渡しで簡単に埋もれてしまいます。

MCIのアプローチは、チャネル間の相互作用を構築し、互いに通信させることです。チャネルが小さなターゲットの痕跡を保持している場所では、チャネル間の協力がそれを増幅して保存します。これにより、小さなスケールの特徴情報の抽出がさらに強化され、ダウンサンプリングで消えかけていた小さなホットスポットが釣り戻されます。

ネットワーク内でのこれら3つの操作の位置も意図的です。SIEMはバックボーンソースで特徴をクレンジングし、SAPPMはバックボーンの尾部でマルチスケール情報を集約し、MCIはバックボーンと検出ヘッドを結ぶネック部分で最終仕上げを行います。前、中、後ろ、これらが連携して特徴の抽出、集約、出力の全チェーンをカバーし、各ステップで赤外線欠陥の痛点に対する的を絞った対策が施されます。

3つの操作には明確な役割があります。SIEMはコントラストを、SAPPMはスケールを、MCIは小目標を担当します。これらは単独で戦うのではなく、バトンを渡します。まず欠陥を背景から浮き上がらせ、次にすべてのサイズをカバーし、最後に最も見逃されやすい小目標を捉えます。この組み合わせにより、赤外線欠陥検出の最も難しい3つの課題が一つずつ解決されます。

図11: 赤外線ホットスポットをスケール別に大、中、小に分類。サイズの差は大きく、最小のホットスポットは最も見逃されやすいです。

図12: 赤外線カメラで捉えられたかすかな目標。目標が小さく暗いほど、処理中に平滑化されやすいです。

製品応用

スコアカード: 精度92.1%、毎秒62フレーム

3つの操作の効果はデータに帰着します。研究者らは独自のPVモジュール赤外線欠陥データセットを構築し、画像内のピクセルサイズに基づいてホットスポットを3つのクラスにラベル付けしました。64x64ピクセル超は大、32x32から64x64は中、32x32未満は小です。検出の良し悪しはクラスごと、スケールごとに評価する必要があります。

精度は2つの指標に依存します。1つは再現率Rで、「見つけるべき欠陥のうち、どれだけ回収されたか」を表します。もう1つは平均適合率PmAで、クラス全体の検出精度の総合であり、検出器が最も重視する総合スコアです。さらに、毎秒処理フレーム数で測定される検出速度を加えると、これら3つの数値がアルゴリズムの全体像を物語ります。

まずモジュールごとのアブレーションから始めます。ベースラインのYOLOv10では、平均適合率は89.8%です。SIEMのみ追加すると90.4%、SAPPMのみで90.5%、MCIのみで90.7%に向上します。すべての操作が効果的です。3つすべてを積み重ねた完全なSESPNetでは、平均適合率は92.1%に跳ね上がります。特に際立つのは小目標です。ベースラインの小目標精度は86.7%のみですが、3つすべてを適用すると90.3%に上昇し、実に3.6ポイントの向上で、MCIが小目標の回収に貢献していることが証明されます。

図13: モジュールごとのアブレーション。3つのモジュールを積み重ねると、最も難しい小目標の精度が86.7%から90.3%に上昇します。

図14：無限に広がる大規模地上設置型プラント。そこに並ぶ何千ものモジュールを、このアルゴリズムが一つ一つチェックしなければならない。

直接対決：9つのアルゴリズムが同じステージに

自分自身との比較だけでは不十分だ。この研究では、SESPNetを他の8つの主流アルゴリズムと同じステージに置き、同じデータセットで訓練し、精度と速度を並べて測定する。

結果は自明だ。Faster R-CNNやCascade R-CNNのような古典的な2段階アルゴリズムは特徴抽出が限定的で動作が遅く、平均精度86%から88%に留まり、高いリアルタイム性能が求められるシーンには不向きだ。SSDは最速だが精度は74.3%と明らかに低い。YOLOシリーズは全体的にバランスが良い：YOLOv7の88.1%から、YOLOX、YOLOv8、YOLOv10、YOLOv11と進むにつれ、精度は89%から90%台に上昇し、速度は毎秒50から60フレーム程度だ。

SESPNetはその曲線をさらに右上に押し上げる：平均精度92.1%（2位より約2ポイント高い）、毎秒62.4フレームで、YOLOの高速勢と肩を並べる。精度を上げるために速度を犠牲にせず、他が到達できない高速かつ高精度の右上の位置を維持する。それが最大の価値だ。膨大なモジュール数を巡回しながら判断するシーンでは、わずかな遅延もコストになる。

R = TP ÷ ( TP + FN ) · P = TP ÷ ( TP + FP )

この2つの式は精度指標の基本定義だ。R（再現率）は実際の欠陥のうち検出できた割合を測り、P（適合率）は報告された欠陥のうち実際に欠陥である割合を測る。PmAはクラス全体と精度レベル全体で計算される総合スコアだ。ロジックは複雑ではない：見逃しを最小限に（高再現率）、誤警報を最小限に（高適合率）、両方をバランスよく保てば、信頼できる検出器になる。

図15：9つのアルゴリズムの精度-速度比較。SESPNetは92.1%の精度と62.4 FPSで右上の位置を維持している。

図16：組み込みプラットフォームでの実地テスト。最も高精度なSESPNetでも12.6 FPSを安定して維持している。

手のひらサイズの箱に収めてもリアルタイム

研究室でうまく動いても、現場で使えるとは限らない。太陽光発電所はほとんどが屋外にあり、検査機器の計算能力や電力は限られている。アルゴリズムが低消費電力の小さな箱に収まり、リアルタイムで動作できるかどうかが、実際の展開における最後のハードルだ。

研究者たちはこれを検証するために、Jetson Nanoと呼ばれる組み込みプラットフォームに移植しました。そのプロセッサはクアッドコアARMチップで、エントリーレベルの128コアGPUを組み合わせたもので、専用カードを備えたラボのワークステーションと比較して、計算能力も電力もはるかに劣ります。SESPNetは同じ入力スケールで展開され、この小さなボード上で他のアルゴリズムと競争しました。

その結果は再びそのバランスの良さを証明しました。古典的な2段階アルゴリズムは組み込み環境でその実力を露呈します：Faster R-CNNは毎秒1.9フレームに低下し、かろうじてリアルタイム処理が可能です；Cascade R-CNNはわずか3.7フレームです。YOLOシリーズは一般的に毎秒11〜12フレーム程度に低下しますが、SESPNetは最高の92.1%の精度を維持しながら毎秒12.6フレームを保持し、軽量なYOLOと肩を並べ、わずかに先行しています。計算量を大幅に削減しても、精度と安定性を維持し、その設計がリソース制約のあるシーンにどれほど適合しているかを示しています。

これは、このアルゴリズムを搭載したドローンや携帯型検査装置が、画像をクラウドに送信してゆっくり処理する必要がなくなることを意味します。現場でリアルタイムに、どのパネルにホットスポットがあるかを判別できます。検査効率と応答速度の両方がさらに一段階向上します。

その場で判断する価値は、往復の手間を省くだけではありません。エッジに計算を置くことで、通信状態が悪い遠隔地の発電所でも検査を実行できます。疑わしいホットスポットを発見したら、その場でマークし、すぐに再飛行して確認できます。データの返送や手動レビューを待ってから2回目の出動をする必要はありません。数億ワット規模でモジュールが数百万枚に及ぶ大規模な発電所では、この現場でのリアルタイム能力が、全面検査に数時間かかるか数日かかるかを直接決定します。

まとめ：過熱パネルに隠れる場所はもうない

振り返ってみると、SESPNetの賢さは複雑な構造を積み重ねることではなく、適切な症状に対処することにあります。赤外線のコントラストが低いため、セマンティック強調が背景を抑制します。欠陥のスケールがばらばらなため、ピラミッドプーリングがすべてのサイズをカバーします。小さなターゲットは失われやすいため、チャネルアテンションがそれらを引き戻します。3つの動き、それぞれがその役割を果たし、バトンを渡します。

さらに珍しいのは、精度のためにモデルを肥大化させなかったことです。多くのアルゴリズムは精度を盲目的に追求し、結果として肥大化し、速度を低下させ、組み込みデバイスにさえ搭載できません。SESPNetは精度でトップを維持しながら速度を保持し、計算量を大幅に削減するテストにも耐えました。正確で、高速で、軽量というこのバランスは、現場が最も重視する品質です。技術が優れているかどうかは、実際の発電所で実際の作業ができるかどうかにかかっています。

平均精度92.1%、毎秒62.4フレーム、そして手のひらサイズの箱でリアルタイムに動作するのに十分な小型さ。これら3つの数字が組み合わさることで、実際に現場に持ち込んで作業できるツールが描き出されます。かつて人間の目でも判別が難しかった鈍い灰色の赤外線画像を、欠陥が隠れる場所のない健康診断レポートへと変えます。

このようなアルゴリズムを搭載したドローンが、青いアレイの広がる畑を次々と飛行すると、静かに過熱している各パネルが最初の瞬間に特定され、対処されます。隠れたホットスポットが可視化され、一見小さなリスクも即座に排除されます。結果として維持されるのは、太陽光を電力に変え、長く安全にフル負荷で稼働する発電所そのものです。

Ooitechの見解

ここで最も印象的なのは、検出と製造が信頼性という同じコインの両面であることです。現場で検出されたホットスポットは、しばしばライン上で生まれたマイクロクラックやコールドはんだ接合部に遡ります。そのため、モジュール生産ラインでは、ストリンガー溶接、レイアップ位置合わせ、ラミネーション管理が非常に重要です。これらの工程を正しく行えば、そもそも現場に送り出すホットスポットを減らせます。実際のモジュールラインがどのように構築・調整されるかを見たい場合は、Ooitech YouTubeチャンネル（www.youtube.com/ooitech）の工場見学動画をご覧になり、チャンネル登録もお勧めします。