一、 调研简介
2016年4月,arXiv团队进行当前服务和未来发展方向的用户调查。调查渠道包括问卷调查和网上开放文字评论。问卷调查共回收3.6万份问卷,代表了arXiv不同类型的用户团体。普遍反应是用户满意现在的服务。95%的受访者表示,他们非常满意或者满意,此外,72%的受访者表示,arXiv应重点关注它的主要目的,即快速提供科学论文,这将足以在未来维持arXiv的价值。这个观点也普遍反映在开放文字评论之中。大量的受访者建议保持核心工作,再使arXiv的合作伙伴和相关服务供应商继续在arXiv上开发新的服务和创新。
许多文字评论反映了用户对于arXiv的深度满意和感激。很多用户表示,arXiv在替代传统出版业的发展上是一个重要的领导者。尤其是独立研究人员和延迟获取到文章的研究人员,特别强调arXiv对他们工作的重要性。
问卷中选择题的多种多样的答案和广泛的、深思熟虑的开放文字评论综合指出了arXiv需要升级和增强的区域:改善搜索功能成为首要任务,用户对于当前可用的有限的搜索能力表示极大的不满,尤其是在作者搜索方面;提供对研究数据、代码、幻灯片或者与论文相关的其它材料的提交和链接更好地支持;继续实施质量控制措施,如检查文本重叠,提交的主题分类正确;拒绝没有科学价值的论文,要求作者解决格式相关的问题;一些用户提出以随机的顺序通过通知或邮件推送新论文;还有一些评论指出需要改善审核机制并提供更多关于审核流程和政策的信息。
一些用户还鼓励arXiv团队大胆思考和通过添加诸如同行评议、鼓励虚拟期刊(overlay journals)的方式进一步推进开放获取(和新形式的出版)。另一方面,许多用户特别强调坚持核心工作的重要性,而不是转移到正式出版。有一个类似的分歧意见还包括是否通过添加评级和注释的功能来鼓励开放的审查过程。有关为arXiv添加新特性来促进开放科学的意见,主流观点认为任何这样的特性都需要非常仔细地和系统地实现,而不应该危及arXiv的核心价值。
虽然许多受访者花时间对未来发展或当前服务的改进提出了建议,但多数用户都尖锐地反对任何改变。评论者一致表示,对于任何想把arXiv变成一个“社交媒体”风格的平台的考虑都应当保持警惕。arXiv总体而言现今工作完成的很好,虽然有一些需要改进的地方,但太多的改变可能会削弱arXiv的有效性和总体任务的完成度。
关键结论
1.提高arXiv当前的服务
· 超过70%的受访者表示,改善搜索功能来提供更为精确的结果是非常重要的/重要的,包括使用年限、年龄段、发表的文章数量、国家组织和主题领域的所有内容方面。很多评论要求一些增强功能,如作者搜索、限时搜索和搜索非英语语言。
提出有关用户提交过程的一系列改进建议:(1)对研究数据、代码、幻灯片和其他材料提交的支持;(2)提高对论文链接到研究数据、代码、幻灯片等等的支持;(3)更新TeX引擎和其他各种增强功能。约40%的受访者认为每一个都是非常重要的/重要的。尽管受访者不同意由arXiv或其他方主管,但开放的文本响应在更好地支持补充材料上仍然显出相当的重要性。许多受访者支持集成或链接到其他服务(特别是GitHub),而大量的受访者对非arXiv拥有的内容的长期可用性和链接失效表示明确的怀疑。一些受访者表示了对arXiv改善这个问题所需的资源的担忧,也有一些人对论文中的数据挖掘则比较感兴趣。
受访者提及的其他服务和改进有:
o 已发布版本的链接和内容的一致性。
o 更准确的电子邮件或RSS提示。一些受访者要求提供某个特定作者著作的邮件推送,并且在邮件中有著作的有效链接。
o 更新和保持当前arXiv的TeX引擎和提供TeX模板或样式文件以确保提交更容易。
o 实现交叉引文链接。
o 支持一次上载多种文件,支持提交PDF以及更大文件。
o 允许直接从创作平台提交论文(如在Overleaf或Authorea)。
o 提供统计数据,如论文下载和视图。
o 大多数使用年限在5年以内的arXiv用户对当前服务升级选择“没有意见”。使用年限越长,选择“没有意见”的用户比例越少。
2.质量控制措施的重要性
· 对26430名受访者关于质量控制措施的调查中,其中最重要的是(以非常重要的/重要的排名):
o 检查论文文本重叠,即,剽窃,77%
o 确保提交的分类正确,64%
o 拒绝没有科学价值的论文,60%
o 拒绝论文自我剽窃,58%
· 77%的受访者认为检查剽窃是重要的,58%还认为检查自我剽窃同样重要。例如,会议论文是一类在一个本来科学合理的提交机制中也会普遍高发自我剽窃的领域。
· 一些受访者表示,他们不知道具体的质量控制措施已经到位,也觉得这个过程是不透明的。其他人则认同在拒绝没有价值的文章和拒绝因为一些不那么明显的或者匿名的原因的文章之间很难平衡。然而,尽管面对这样的批评, 大家对arXiv当前质量控制机制非常满意,同时用户也提醒不要在其他方面走得太远。
· 一些用户倾向arXiv使用更加开放的同行评审和/或适度的机制,而其他用户则坚持认为,相较于传统出版,当前的控制措施对arXiv的访问自由和访问速度功不可没。
· 总的来说,质量控制问题很重要,但用户在arXiv如何实现这些目标的评论上存在分歧。正如一位受访者写道,“判断质量控制是一个相对的问题”。
3.增加新的学科目录
· 73%的受访者表示不关心新的主题添加至arXiv,26%的受访者希望看到新的主题类别被添加,建议添加的学科有:化学(881人)、工程学(483人)、生物学(429人)、经济学(248人)、哲学(220人)和社会科学(106人)。还有几个小类别,如机器学习(82)和人工智能(27)。
· 一个较多的观点是,arXiv不需要特别关注其他科目,而是应该关注分支领域和子分类的细化和补充,特别是在高能物理理论以及数学。
4.开发新服务
· 用户被要求评价arXiv一系列拟议的新服务。在排名中,超过63%的用户认为参考文献中添加全文链接是非常重要的/重要的。超过57%的用户认为BibTex、RIS等引文格式是非常重要的/重要的,并且超过55%的受访者认为BibTeX格式的引文条目提取同样重要。近53%的受访者将引文分析工具列为是非常重要的/重要的。
· 虽然用户普遍偏爱引用分析工具,但很多用户也指出,其他系统已经这样做过,而这些已经能够满足他们的需求。
· 问卷调查发现,受访者对于“提供一个评级系统,这样读者就能推荐他们找到的有价值的arXiv论文”存在分歧,认为非常重要/重要(36%)和不重要/不应该这么做(36%),这个调查结果同开放评论的结果相似。另外,从使用年限来看,使用年限较短的用户(50%)比使用年限长的用户(28%)更认为有价值,此外,年轻的用户(30岁以下)(42%)比年纪较大的用户(60岁以上)(28%)也更认为有价值。总的来说,所有受访者都对于这一想法不明确。一些用户喜欢评级功能“在一个理想状态”的设置,但不认为它适合arXiv;其他人表示担心这将稀释arXiv的核心任务,或者arXiv目前形态易出现不稳定。然而,即使表示支持的用户也提出评级系统是否会对公众开放,是否由同行匿名评议等,一些受访者强调,这种功能仍然需要非常仔细地实现。
· 在问卷调查中,是否添加一个注释功能以允许读者对论文进行评论的观点也存在同样的分歧,34.89%的用户认为是非常重要的/重要,34.08%认为不重要/不应该这样做。在开放评论中,大部分人都反对并且一些反馈中有强烈的负面情绪。一个普遍的观点是一个成熟的系统和完备的账户应当防止出现所有人自由参议的情况出现。
5.查找arXiv论文
· 绝大多数arXiv的用户直接访问文件的主页(79%),其次是使用谷歌搜索(50%)和谷歌学术搜索(35%)。
· 对于主页,易用性和导航是被综合考虑的。32%认为是易用的,但只有25%觉得还比较易用,而21.6%受访者认为使用起来有些困难。
· 对于发现内容方面,63%的用户在一个特定的类别下从新的或最近的链接去发现,同样有63%的用户使用arXiv的搜索引擎,输入一个特定的arXivID、作者名字或者搜索词。少量的用户,仅有14%,依靠每日邮件列表,然后寻找一个特定的领域的文章搜索。
· 在开放文字评论中,关于用户界面方面存在较大的意见分歧。大多数的受访者不喜欢这种过时的风格,但是有特定的小众群体则青睐简单的接口,这些用户感觉这可以帮助arXiv有效地执行任务。提及的主要问题除了主页的链接的数量、布局和发现提交信息以外,在结构组织缺乏层次,对arXiv的导航理解方面也存在挑战。
· 增强用户体验相关的要求包括为用户提供更个性化的arXiv。例如,“最喜欢”论文列表,创建一个私人图书馆,网站内容推荐。其他用户则提到开发APIs以进一步促进“虚拟期刊”的发展。一些用户还建议用户友好版本的开发。
· 许多评论者也关注他们如何将其他服务内容(特定站点搜索、ADS、INSPIRE)和arXiv进行交互,或者基于其他信息系统的经验进行推荐。
评论 (0)