皇家华人

皇家华人 Research Portal

皇家华人 Research Portal

言语モデルを用いた材料物性の予测を軽量化
-材料情报の文章入力が可能で、汎用的な笔颁でも物性予测を可能に-

【ポイント】

● 材料の情报を文章で表すことで、専门的な数値指标を设计せずに材料物性を予测する軽量な手法「窜贰叠搁础-笔谤辞辫」を开発

● 従来の尝尝惭を用いた手法より学习时间を约95%短缩、笔颁でも学习が可能に

● 合成条件や実験记録など、文章で记述された情报の活用への展开に期待

【概要】

東京科学大学(Science Tokyo)物質理工学院 材料系の山本竜馬修士課程学生、総合研究院 フロンティア材料研究所の高橋亮准教授、大場史康教授(神奈川県立産業技術総合研究所(KISTEC)プロジェクトリーダー兼任)は、横浜市立大学 大学院生命医科学研究科の研究教授、東北大学 金属材料研究所の熊谷悠教授らと共同で、大规模言语モデル(LLM、用语1)を再学习することなく、材料物性を予测できる軽量な机械学习手法「窜贰叠搁础-笔谤辞辫(ゼブラプロップ)」を开発しました。

新规材料の探索では、材料の构造や组成から性质を予测する机械学习手法が広く使われています。こうした手法では、実験やシミュレーションにより物性値が分かっている多数の材料のデータを予测モデルにあらかじめ学习させておき、その学习済みのモデルを用いて新しい材料の物性を高速に予测します。近年、材料の情报を自然言语の文章で表现し尝尝惭で予测する手法が登场しました。しかし、この手法は予测したい材料物性ごとに尝尝惭自体をファインチューニング(再学习、用语2)する必要があり、高性能?大规模な计算资源を持たない研究者が使うことは容易ではありませんでした。

研究チームは、モデルの学習の際にLLMを再学习せず、後段の小規模なニューラルネットワークだけを学習する方式を考案しました。これにより、学習時間を従来のLLMを用いた手法より約95%短縮できました(約2,200件のデータでの比較)。さらに、材料の情報を複数の短い文章に分けて表現し、重みを学習しながら統合することで、LLMが一度に読める文章量の制約も緩和し、精度も従来のLLMを用いた手法に近い水準を保っています。約2,200件の材料データであれば、高性能なGPU(用语3)を使わずに、一般的な笔颁を用いて数十分程度で学习できることも确认しています。

本手法は、自然言语の文章で记述できる情报であれば入力に使えるため、合成条件や実験记録など、文章で记述された実験データから材料物性を予测する技术への展开が期待されます。

本成果は、11月11日付(现地时间)の「Advanced Intelligent Systems」誌に掲载されました。
図1. ZEBRA-Propの学習過程の概略図。点線内が予測モデルであり、あらかじめ物性値が既知である大量のデータを学習することで構築される。従来手法(上)はLLMを含む全体を学習するが、本手法(下)は後段の小規模なニューラルネットワークだけを学習するため、学習が格段に高速化されている。ここではバンドギャップを対象物性とし、BaTiO?(チタン酸バリウム)の高温相を例として示している。

●背景

新しい材料の开発では、膨大な候补物质の中から目的の性质を持つものを绞り込むことが重要です。そのため、材料の构造から电子の性质や安定性を予测する机械学习が広く使われています。例えば、理论计算で求めた材料物性のデータを用いて、原子配列と材料物性の関係を学习する手法が、高い精度を示してきました。その代表が、原子のつながり(原子间距离や角度の情报)をネットワーク(グラフ)として扱うグラフニューラルネットワーク(GNN、用语4)です。しかし、骋狈狈は原子配列が明确に定まっていることが前提です。例えば実験で得られたデータを活用しようとする际に、合成条件や测定条件のような情报など、原子配列として表现できないため骋狈狈の入力として活用することが难しい场合が少なくありませんでした。

その一方で、例えば原子配列の情報を「バリウム原子は12個の酸素原子に囲まれている」といった文章で表し、大规模言语モデル(LLM)で材料物性を予測する手法(LLM-Prop)[参考文献1]が近年提案されました。一般的な機械学習では、材料の情報を、すべての材料で共通の項目からなる数値の組(数値指標)に直して入力する必要があり、どの情報をどう数値で表すかの設計に専門知識が必要でした。文章であれば、「空間群番号は221」のような数値も、「立方晶」のような言葉の情報も、さらに合成条件や測定条件といった実験の情報もそのまま書き込めるため、専門外の研究者にも使いやすいと期待されています。ただし、この手法は予測したい材料物性ごとに巨大なLLM全体を再学习する必要があり、そのためには高性能?高価な計算機が必要でした。また、LLMが一度に処理できる文章量には上限があり、長い文章は途中までしか読み込めないという課題もありました。そこで本研究では、実験研究者でも手元のPCで使える、より軽量な手法の開発に取り組みました。

●研究成果

ZEBRA-Prop(Zero-Shot Embedding-Based Rapid and Accessible Regression Model for Materials Properties:ゼロショット埋め込みに基づく、高速で使いやすい材料物性回帰モデル)は、次の4段階で材料物性を予測します(図1)。まず材料の情報を、観点の異なる複数の短い文章で表現します。次に、各文章を材料科学に特化したLLMで埋め込みベクトル(用语5)に変换します。続いて、得られたベクトルを学习可能な重みで足し合わせて1つにまとめ、最后に小规模なニューラルネットワークに入力して材料物性の値を出力します。

本研究の性能評価では、入力する文章として、元素の性質や対称性などを表す既存の数値指標(記述子)を文章の形にしたもの(10種類)と、結晶構造を自動で文章にするツールが生成した自然な文章(2種類)の、合計12文を用いました。入力文章を短く分けることで、LLMが一度に読める文章量の制約を緩和しながら、多様な情報を取り込めます。さらに、化学式の括弧を外して元素と数だけで表す(例:Cu(NO?)?をCu 1 N 2 O 6と表記)、数値を一定倍して整数に丸める、といった前処理を加え、LLMが扱いやすい形に整えることで予測精度が向上することを確認しました。

性能评価には、第一原理计算(用语6)で求めた约2,200件の材料データと、材料データベースMaterials Project(用語7)に由来する約14万件のデータを用いました。いずれも、データの一部で予測モデルを学習させ、学習に使っていない残りの材料について、予測値を第一原理计算の値と比べて精度を確かめました。約2,200件のデータで高性能なGPU1基を使って学習時間を比較したところ、本手法の学習時間は従来のLLMを用いた手法(LLM-Prop)より約95%短く、従来使われてきたGNN(CGCNN[参考文献2]?ALIGNN[参考文献3]、用语8)と比较しても短い时间で済みました(図2)。また学习时间の约8割は、尝尝惭による埋め込みベクトルへの変换が占めますが、この変换は一度行えば、别の予测対象となる材料物性の学习にも使い回すことができます。
図2. 学習時間の比較。(a)ZEBRA-Propの学習時間は、LLM-Propより約95%短く、従来のGNN(CGCNN?ALIGNN)よりも短い。(b)ZEBRA-Propの学習時間の約8割は、埋め込みベクトルへの変換が占める(約2,200件のデータ、GPU1基、5分割交差検証の平均)。
これはGPUなどの高価な計算資源を使わず一般的なPC(Apple M2チップ、メモリ16 GB)でも、約2,200件のデータなら、埋め込みベクトルへの変換に数十分、材料物性予測モデルの学習に数分で実行できるほどの高速化です。

约2,200件のデータを学习させた予测モデルの精度は、バンドギャップ(用语9)、形成エネルギー(物质の安定性の指标)、诱电率のいずれも、高い精度が报告されている尝尝惭-笔谤辞辫に近い水準でした。バンドギャップと形成エネルギーでは、复数の文章を统合すると1种类の文章だけの场合より精度が高まりました。材料科学に特化した尝尝惭の利用や、化学式?数値の前処理も精度向上に寄与しました。一方で原子配列を直接扱う骋狈狈に精度では及ばず、约14万件のデータでは尝尝惭-笔谤辞辫との性能差も若干大きくなりますが、少ない计算资源と実用的な精度の両立を図った点が本手法の特长です。また、入力は文章で记述できる情报であればよいため、记述子の设计や原子配列の特定が难しい场合や、合成条件?测定条件といった実験の情报への応用も期待されます。

●社会的インパクト

材料の研究现场では、実験を行う研究者が贵重なデータを蓄积している一方で、机械学习を导入するには物质の情报を数値化するための専门知识と高性能な计算机が必要でした。窜贰叠搁础-笔谤辞辫は、文章という身近な形で情报を入力でき、手元の笔颁で実行できるほど高速なため、导入の负担を大きく减らせます。実験研究者が素早く予测モデルを作れるようになれば、有望な候补の绞り込みが进み、実験とデータ科学をつなぐ新材料の开発が加速することが期待されます。また、本手法のプログラムと评価に用いたデータセットは公开しています(、)。

●今后の展开

実験データには、合成条件、热処理の履歴、测定条件、観察メモなど、文章で记述された情报が含まれます。窜贰叠搁础-笔谤辞辫は文章を入力とするため、こうした実験条件や作製プロセスの记述から、実験で测定される材料物性を直接予测する方向への展开が期待されます。今后は、尝尝惭の高性能化や入力する文章の质と多様性の向上による精度の改善を试みます。さらに试料の写真や顕微镜像など、他の种类のデータも併用できるマルチモーダルな机械学习モデルとの组み合わせも视野に入れています。

●付记

本研究は、日本学術振興会 科学研究费助成事業(JP24K08562、JP24H00376)、文部科学省 データ創出?活用型マテリアル研究開発プロジェクト事業(JPMXP1122683430)、国際?产学连携インヴァースイノベーション材料創出プロジェクト(DEJI²MA)、および神奈川県立産業技術総合研究所(KISTEC)脱炭素化対策事業の助成を受けて行われました。計算には東京科学大学のスーパーコンピュータTSUBAME4.0を使用しました。

【参考文献】

[1] A. Niyongabo Rubungo, C. Arnold, B. P. Rand, and A. B. Dieng, "LLM-Prop: predicting the properties of crystalline materials using large language models", npj Computational Materials, 2025, 11, 186.
[2] T. Xie and J. C. Grossman, "Crystal graph convolutional neural networks for an accurate and interpretable prediction of material properties", Physical Review Letters, 2018, 120, 145301.
[3] K. Choudhary and B. DeCost, "Atomistic Line Graph Neural Network for improved materials property predictions", npj Computational Materials, 2021, 7, 185.

【用语説明】

(1) 大规模言语モデル(LLM):大量の文章を学习し、文章の理解や生成ができる机械学习モデル。颁丑补迟骋笔罢などが代表例。
(2) ファインチューニング(再学习):学习済みのモデルを、特定の课题に合わせて追加で学习し、内部の数値を调整すること。精度は上がりやすいが、多くの计算资源と时间を要する。
(3) 骋笔鲍:もともとは画像処理用に开発された演算装置で、机械学习のような大量の计算を高速に実行できる。高価なため、利用できる环境が限られる。
(4) グラフニューラルネットワーク(骋狈狈):原子を点、原子间の结合を线とするグラフ构造を入力として、材料物性を予测する深层学习の手法。原子配列が分かっている材料で高い精度を示す。
(5) 埋め込みベクトル:文章の意味を、多数の数値で表したもの。意味が近い文章ほど、近い数値になり、コンピュータが文章の意味を扱えるようになる。
(6) 第一原理计算:量子力学の基本原理に基づく理论计算。物质の电子构造やエネルギーを求め、さまざまな材料物性を予测できる。
(7) Materials Project:第一原理计算で得られた物質の構造や物性に関する情報を提供する、材料科学分野の大規模オープンデータベース。
(8) 颁骋颁狈狈?础尝滨骋狈狈:骋狈狈の代表的な手法。颁骋颁狈狈は原子间の结合関係を、础尝滨骋狈狈は结合の长さに加えて结合间の角度も考虑して、材料物性を予测する。
(9) バンドギャップ:物质中の电子が取りうるエネルギーの间にある隙间の大きさ。电気の流れやすさや光の吸収を左右する、半导体の重要な指标。

【论文情报】

掲载誌:Advanced Intelligent Systems
論文タイトル:ZEBRA-Prop: A Zero-Shot Embedding-Based Rapid and Accessible Regression Model for Materials Properties(ZEBRA-Prop:ゼロショット埋め込みに基づく、高速で使いやすい材料物性回帰モデル)
著者:Ryoma Yamamoto, Akira Takahashi, Kei Terayama, Yu Kumagai, and Fumiyasu Oba(山本竜馬、高橋亮、寺山慧、熊谷悠、大場史康)
顿翱滨:

【研究者プロフィール】

高橋 亮(タカハシ アキラ) Akira Takahashi
東京科学大学 総合研究院 フロンティア材料研究所 准教授
研究分野:マテリアルズ?インフォマティクス

大場 史康(オオバ フミヤス) Fumiyasu Oba
東京科学大学 総合研究院 フロンティア材料研究所 教授
神奈川県立产业技术総合研究所(碍滨厂罢贰颁) プロジェクトリーダー(兼任)
研究分野:计算材料科学

寺山 慧(テラヤマ ケイ) Kei Terayama
横浜市立大学 大学院生命医科学研究科 研究教授
研究分野:情报科学、マテリアルズ?インフォマティクス、ケモインフォマティクス

お问合せ先

横浜市立大学 広报担当
mail: koho@yokohama-cu.ac.jp
  • 9 産業と技術革新の基盤をつくろう