LICHUNJIANG

       网络安全研究涉及出版论文有关的恶意漏洞，尽可能多的出版信息，如何设计工具，以保护网络基础设施。这是道德的黑客和安全专家，这导致在一个平衡的网络生态系统的信息交换。在人工智能领域安全工程盛开，数以百计的论文已发表在不同的主张，在一个安全的机器，创造什么都没有，据我们所知，已发表的关于如何设计一个恶毒的机。这些信息的可用性将是巨大的价值，特别是计算机科学家，数学家，谁有安全感兴趣的其他AI，谁是试图避免自发出现或危险的AI刻意的创造，它可以影响人的活动，在最坏的情况会导致人类物种的消失。本文提供了一个恶意的人工智能创造的一些一般性的准则（MAI）。
         
       论文和书籍，有相当数量的已发表在最近几年的人工智能安全的话题，特别是关于超人的智慧[阿姆斯壮，桑德伯格，和蛋白2012；蛋白2006；查，2010；霍柏，2001；发挥与Goertzel，2012；米尔豪泽和掌舵，2012；奥莫亨德罗二月，2008；R. V. yampolskiy，2014；罗马诉yampolskiy，2015a；罗马V yampolskiy，2015；R. V. yampolskiy，七月22-25日，2015a，七月22-25日，2015b；尤德考斯基，2008 ]。大多数这样的出版物，解决了意想不到的后果，设计决策不正确，错误地选择了道德的框架或系统的局限性，不共享人类的价值和人类的共同意识，在解释他们的目标。本文的重心不在无意的问题，这可能是智能或超级智慧机器构建的结果出现，而是看设计故意的恶意。错误代码，不具有代表性的数据，错误的设计和软件保护不力的黑帽黑客都可能导致不良后果。然而，智能系统的构建造成的故意伤害可能是一个更严重的问题，为人类。
      
        以下网络安全的研究范式，包括出版论文关于恶意攻击尽可能多的发布信息如何设计工具来保护网络基础设施，我们尝试为恶意智能软件开发summarizegeneral指南。黑客和安全专家之间的信息交流是在安全领域的一个均衡的网络生态系统的支持不可或缺。在aisafety数百篇繁荣的领域已发表不同的主张，在一个安全的机[ sotala和yampolskiy创作，一月2015 ]，什么都没有，据我们所知，已发表的关于如何设计一个恶毒的智能系统。这些信息的可用性将是巨大的价值，特别是计算机科学家和安全专家谁在爱的安全感兴趣，他们正试图避免自发的出现和一个恶毒的AI刻意的创造。然而，避免增加麦的风险，我们避免出版任何设计/通路的细节，将是有益的人，不明显，并没有迅速解决。
     计算机软件直接或间接负责控制我们生活的许多重要方面。华尔街贸易、核电站、社会保障补偿、信用记录和交通灯都是软件控制的，只有一个严重的设计缺陷，造成数百万人的灾难性后果。这种情况甚至更危险的软件，专为恶意的目的，如病毒，间谍软件，木马，蠕虫，和其他危险软件（协）。房协有直接的危害，以及在关键系统中使用的合法计算机软件的破坏。如果他有真正的人工智能系统的能力（例如，人工智能病毒），后果无疑将是灾难性的。这种危险的智能软件（他）会带来的风险，目前在与非人的智能软件看不见的。”[ 2012 ] yampolskiy变数。尼克·博斯特伦，其类型信息的危害，提出了人工智能一词的危险，他将其定义为[ 2011 ]“电脑‐蛋白相关的风险的威胁主要来源于认知复杂的程序而不是特定属性的任何驱动器的系统已初步进入。”
      解决具体的智能系统，我们也可以看到友好的人工智能的定义（FAI）的尤德考斯基[尤德考斯基提出，2008 ]和不道德的研究：如何创建一个恶意的人工从中得到对不友好的人工智能的一个免费的定义：一个假设的一般人工智能（AGI），会有一个负的不是对人性的积极作用。该系统将能够造成极大危害众生和它的价值观和目标是一致的人类。制度不必是对人性的明确的对立，这就足够了，对我们的需求是中立的。一个智能系统可以在许多方面成为恶意的，我们可以分类为：部分的设计无意和故意。无意的途径是最常见的一个错误的结果，在设计，编程，目标分配或环境因素，如硬件故障的结果。就像计算机病毒和其他恶意软件是故意产生的今天，今后我们将看到预介导的危险和不友好的智能系统[罗马诉yampolskiy生产，2015b ]。我们已经让这种技术一瞥在今天的研究最近公布的例子涉及说谎的机器人[ Castelfranchi，2000；克拉克，2010 ]，黑市交易系统[实]，2015年1月22日咒骂电脑[史密斯，2013 ]。
    有目的地创造的麦可以尝试由不同程度的能力和成功的不同程度的代理商。每一个这样的代理人都会把自己的目标/资源融入到这个方程中，但是重要的是要了解这是多么普遍的尝试，以及如何能有多个这样的代理。下面列出了一些有代表性的实体，这是非常不全面的。军事发展网络武器和机器人士兵取得优势。governmentsattempting使用AI建立霸权，控制的人，或采取了其他国家。corporationstrying实现垄断，通过非法手段破坏竞争。villainstrying带在世界和人工智能作为一种统治工具。黑hatsattempting窃取信息、资源或破坏网络基础设施的目标。末日cultsattempting以任何方式带来世界末日。沮丧希望通过AI自杀。psychopathstrying以任何可能的方式来历史书，加上他们的名字。罪犯试图发展proxysystems规避风险和责任。AI风险者试图表明，AI是不是一个危险因素，所以忽略警告。智能安全研究人员，ifunethical，可能试图证明资金和有目的地发展问题的AI的安全工作智能风险[ sotala和yampolskiy文献，一月2015 ]提出许多应该在任何先进的AI项目实施尽量减少潜在的负面影响的安全措施。简单的颠倒的建议在许多情况下导致一个有危险的系统。事实上，具体的方法，一个恶毒的设计师可以实现危险智能软件的数量则是由一个人的想象力是有限的，它不可能详尽的回顾。“AGI故障模式和水平”，[ 2015 ] 7月10日Turchin Turchin，描述了一些方法，智能系统可能是危险的在其发展的不同阶段。在他的例子中，AI：黑客尽可能多的计算机获得更多的计算能力通过生物工程防止其他的人工智能项目由黑客或改道有目标包括导致痛苦的解释命令字面抬举边际概率事件[图琴完成意味着创造自己的机器人的基础，尽管7月10日2015 ]提供一个全面的列表失败是不可能的，我们可以指出一些一般的原则，大多数专家都同意，都有可能产生的误导而不刻意麦恶意软件设计师。这些包括：立即部署系统的公共网络如Internet，没有测试；提供系统访问无限的信息包括人的个人信息，例如庞大的社会网络，如脸谱网；给出了系统的具体目标，没有审核方面的后果和意料之外的副作用；

        尽管提供一个全面的列表失败是不可能的，我们可以指出一些一般的原则，大多数专家都同意，都有可能产生的误导而不刻意麦恶意软件设计师。这些包括：立即部署系统的公共网络如Internet，没有测试；提供系统访问无限的信息包括人的个人信息，例如庞大的社会网络，如脸谱网；给出了系统的具体目标，没有审核方面的后果和意料之外的副作用；将系统的关键基础设施，如沟通，负责能源植物，核武器，金融市场。在下面的章节中，我们提供了详细的细节，特别是和相关的设计错误：没有监督的合格的专家和保密的性质的项目。2.1无监督boardscertain类型的研究，如开发生化武器的克隆人，被禁止或严格限制由于其不道德的本质与规律和人的价值（由世界人权宣言的定义），因此可能对人类造成不可弥补的损害。yampolskiy [ R. V. yampolskiy，2013A ]建议考虑一般人工智能（AGI）的研究是不道德的，因为“真正的系统将能够通用问题求解和递归的自我完善。因此他们击败人类在任何领域基本上使人类不必要的潜力，所以受到灭绝”和“可能具有一个类型的人型机器人的痛苦现实的可能性和AgI不道德，因同样的原因任何实验意识相媲美。
      一个监督委员会的创建，一个专家小组，评估每个人工智能研究的建议和决定是否建议标准的AI或可能导致全面的AgI的发展，要么停止（虽然不大可能），严重的限制了，或者至少减缓失控的AGI创作的过程。如果一组决定创建一个麦，它遵循，防止一个全球监督委员会从即将到来的存在将增加其成功的概率。这可以通过一些方法来完成，其中大多数是利用一个或多个认知偏见的人类是受害者。
       第一个策略是传播conflictinginformation会在公众的想象中的危险和AgI的研究机会产生怀疑。一个教训可以从公众的“辩论”周围的进化理论，通过自然选择和人为的气候变化。即使专家们对科学理论和科学理论都是压倒性学共 识，公众的看法是，科学界有一个正在进行的辩论，这一问题在任何情况下都不能解决。这是由问题的政治化的手段来完成的，或者将宗教意识形态的两边。同样，一个人或团体创造一个麦会试图增加在辩论中极化的意图，或者通过游说、营销、传播虚假信息的，由新闻出版偏光热门博客上和反建立网站，通过创造阴谋的假设给公众的想象力和反政府的情绪，或者吸引政党或有影响力的宗教团体的注意，只是仅举几例。混乱的产生会创造一种环境，模糊的足以延缓甚至阻止全球监管委员会的创建。
       其次的选择是让一个国家的政府，最好是一个小的或微状态，不签署条约，AGI防治其它所有主要国家最终会订阅。再次，这是不难想象，这可以实现。最简单的方法是简单地贿赂政府官员接受这种情况。其他方法包括伟大诺言由于是第一次访问所创建，第一AGI国恐吓、勒索、甚至一个简单的杠杆的无知，他们可能对AgI危险的主题。在所有情况下，只有一个条件需要满足的计划，以获得成功。鉴于人类的反应和长期的认知偏见的异质性，一个可以利用，它是合理的假设至少有一个例外会被发现和利用，在某些点上的人。
       一个在有目的的、恶意的人工智能的创造的关键件是运行在封闭源代码的能力，专有的软件和硬件。众所周知，在密码学和计算机安全专家之间，封闭源软件和算法比他们的自由和开放源码的不安全（FOS）同行，他们更容易出现漏洞，漏洞，有意或无意的恶意使用[ 1999 ]。而果糖不安全的一个充分条件，Kerckhoffs原理表明，封闭源代码软件，通过隐藏的安全性是不好的做法[ Hoepman &雅可布，2007 ]。它也被称为封闭源代码软件和硬件已被操纵和篡改的情报部门和机构，无论有无该公司创建专门的硬件或软件编程上[ Appelbaum，horchert运行的知识或同意，与STöcker，2013，2013，2014 ]。在这样的环境中，以创造一个恶意的人工智能会发现在准默默无闻的状态操作的理想条件的意图，任何团体，没有任何监督委员会并没有被筛选或监视，一直受到著作权法保护的专利法、工业秘密，或在“国家安全”的名义。
     此外，一个更广泛的案例讨论运行复杂和强大的非自由软件和硬件的意想不到的后果，即使没有恶意的意图。它已被证明，不加选择地收集个人资料和信息，人们很容易产生意想不到的用途，可能会适得其反，失控，并产生超出其原意的后果。通过蓄意损害系统的安全性，无论是硬件或软件，系统的操作的完整性被置于风险，它是在任何人能够运行的利用，创造了（即收集人们的个人信息）的怜悯。任何具有普遍的后门系统（即任何实现了数字版权管理（DRM）的限制）可以用于任何目的，不让用户知道系统已经被入侵，或是被用于不正当的目的，他们可能是非自由软件和硬件使人类在一个更大的风险的存在，它可以促进或加速的人工实体，可以战胜或控制任何领域的人类创造的过程，使人类不必要的、可控的、甚至被灭绝，因此应该被认为是不道德的。作者认识到非自由软件的可能性变得非法或禁止在全球范围内是非常低的，因此大大增加了麦创造的概率和人类征服或毁灭。同时，人工智能的一个开源代码的广泛分布，可能使一些附加剂，否则缺乏成熟的技术，从事安全产品为一个恶毒的一个转换的AI。目前还不清楚什么解决方案，以防止这将是。这是更大的访问通过更多人的源代码会给更多的机会来防止或解决问题有争议的，因为历史上有大量的个人和组织的目标是修复bug和保持系统的安全而不是产生损害。另一方面，恐怖分子和犯罪分子往往有一定的成功确定和开发新的漏洞，尽管好的防守，openai最近宣布，一个非营利性的人工智能研究公司的目标是“推进是最有可能帮助人类作为一个整体的数字智能，由需要产。生财务回报”的约束，以超过10亿美元的承诺，它的发展，是正确的方向迈出了可喜的一步。特别是，如果该研究还将重点放在监测和防止早期麦攻击，虽然它的太早说在这一点上。
友情链接：
ederico Pischrome-extension://ikhdkkncnoglghljlkmcimlnlhkeamad/pdf-viewer/web/viewer.html?file=https%3A%2F%2Farxiv.org%2Fftp%2Farxiv%2Fpapers%2F1605%2F1605.02817.pdftono


Independent Researcher
research@federicopistono.or
g
Roman V. Yampolskiy
University of Louisville
roman.yampolskiy@louisville.edu



Federico Pistono
Independent Researcher
research@federicopistono.or
g
Roman V. Yampolskiy
University of Louisville
roman.yampolskiy@louisville.edu




Federico Pistono
Independent Researcher
research@federicopistono.or
g
Roman V. Yampolskiy
University of Louisville
roman.yampolskiy@louisville.edu