MatTextQA
评测集介绍
Introduction
材料文献问答(Materials Science Q&A)数据集旨在通过材料科学领域的文献生成多种类型的问答、推理和验证问题。该数据集来源于公开的材料科学文献,特别是期刊论文和会议论文,涵盖材料的性能、性质、合成方法、应用等内容。数据集的核心目标是支持基于材料科学文献的知识提取与问答任务,具有以下特点:
- 多样化问题类型:除了基本的事实型问答问题(如材料的化学成分、物理特性等),该数据集还包含需要推理和验证的问题。例如,可能涉及材料性能与合成方法的关联,或者通过推理判断某种材料在特定环境下的行为。
- 材料关系推理:许多问题要求推理材料的特性或反应。例如,某种合金的硬度可能不仅取决于其化学成分,还受到微观结构的影响。回答这些问题需要将文献中的相关信息进行整合与推导,涉及到不同材料之间的相互关系。
- 多步推理问题:部分问题要求对文献中的多个信息源进行综合,进行复杂的推理。例如,如何根据文献中的实验数据推断出某种材料在不同温度下的导电性能,或者如何预测某种合金在高压下的行为。
Meta Data
本次任务对每个样本采用答案精确匹配(选择/判断),或利用生成式大语言模型评判(QA)。
{
“question”: “What is the the formula of compounds that stabilize cyclo-N5 at high pressures.
Options:
- ZN4N6G (Z = Fe, Co, Ni)
- XN5N5F (X = Li, Na, K)
- BN5H2F (B = Be, Ba, Ra)
- YN5O6F (Y = Ca, Mg, Sr)”,
“answer”: [
“B”
],
}