CN104470593A - 社交舞用的系统和方法 - Google Patents
社交舞用的系统和方法 Download PDFInfo
- Publication number
- CN104470593A CN104470593A CN201380037540.0A CN201380037540A CN104470593A CN 104470593 A CN104470593 A CN 104470593A CN 201380037540 A CN201380037540 A CN 201380037540A CN 104470593 A CN104470593 A CN 104470593A
- Authority
- CN
- China
- Prior art keywords
- participant
- action
- tactile feedback
- dancing
- partner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/816—Athletics, e.g. track-and-field sports
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8047—Music games
Abstract
本发明提供一种用于使能社交舞的系统和方法。系统包括被配置为监控并识别参与者动作的动作对准模块;以及被配置为基于逻辑模块的确定向参与者提供触觉反馈的触觉反馈激励器。由计算机化设备执行的方法,该方法包括:监控参与者的动作;响应于动作确定反馈;以及指示触觉反馈激励器向参与者提供反馈。
Description
相关申请的交叉引用
此申请主张于2012年7月16日申请的、题为“社交舞用的系统和方法”的美国正式申请NO 13/550,019的权利,其全部内容以引用的方式合并于此。技术领域
本发明涉及一般意义上的舞蹈并且尤其涉及用于社交舞的系统和方法。
背景技术
舞蹈游戏是电子游戏中受欢迎的一类。然而,当前可用的舞蹈游戏未涉及两个或者更多个搭档与彼此跳舞的社交舞活动。
当前可用的游戏为参与者提供了视觉和听觉提示,从而允许参与者与游戏系统交互。每个提示可以用信号通知参与者执行某一动作或者子套路,从而指示参与者执行预先确定的舞蹈套路。
发明内容
所公开的主题的一个示例实施例是包括被配置为监控及识别参与者的动作的动作对准模块和被配置为基于逻辑模块的确定向参与者提供触觉反馈的触觉反馈激励器的系统。
所公开的主题的另一个示例实施例是计算机化设备执行的计算机实施的方法,该方法包括:监控参与者的动作;响应于动作确定反馈;以及指示触觉反馈激励器向参与者提供反馈。
附图的几个视图的简要说明
结合附图,从下面详细描述中能够更充分地理解和领会当前所公开的主题,附图中相应的或类似的数字或符号表示相应的或类似的组件。除非另有说明,否则附图提供了本公开的示例性实施例或者方面而并未限制本公开的范围。在附图中:
图1A-1F显示了根据所公开的主题的某些实施例的计算机化环境的示意图;
图2显示了根据所公开的主题的某些示例实施例的可穿戴设备的示意图;
图3A显示了根据所公开的主题的某些示例实施例的用于与远程搭档执行社交舞的方法中的步骤的流程图;
图3B显示了根据所公开的主题的某些示例实施例的用于与虚拟搭档执行社交舞的方法中的步骤的流程图;以及
图4显示了根据所公开的主题的某些示例实施例的系统组件的方框图。
具体实施方式
下面参考根据主题的实施例的方法、装置(系统)和计算机程序产品的流程图和/或方框图来描述所公开的主题。可以理解的是,流程图和/或方框图的每个方框以及流程图和/或方框图中的方框的组合都能够由计算机程序指令来实现。这些计算机程序指令可以提供给通用目的计算机、专用目的计算机、或者其他可编程数据处理装置的处理器来产生一种机器,使得经由计算机或者其他可编程数据处理装置的处理器执行的指令创建用于实施在流程图和/或方框图方框或者多个方框中指定的功能/行为的手段。
这些计算机程序指令还可以被存储在计算机可读的介质中,该介质能够引导计算机或者其他可编程数据处理装置以特定方式起作用,使得存储在计算机可读介质中的指令产生包括了用于实现在流程图和/或方框图方框或多个方框中指定的功能/行为的指令手段的产品。
计算机程序指令还可以被加载到计算机或者其他可编程数据处理装置中以使得在计算机或者其他可编程装置中执行一系列操作步骤以产生计算机所实现的处理,使得在计算机或者其他可编程装置中执行的指令提供用于实现在流程图和/或方框图方框或多个方框中指定的功能/行为的处理。
所公开的主题处理的一个技术问题是不需要具有在同一物理位置上的搭档的前提下,提供人类参与者来参与社交舞。在某些示例实施例中,在远程位置上的两个人想要彼此共舞。附加地或者替选地,人将能够与虚拟搭档执行社交舞活动。
社交舞活动基于参与者之间的触觉反馈,并且在许多情况下与来自于舞伴的视觉和听觉提示无关。取决于舞蹈,社交舞在舞蹈套路期间通常做出手与手、胸与胸以及手与背的接触。某些舞者甚至会在执行社交舞时闭上他们的眼睛,并且专注于他们的舞伴所提供的非视觉提示。
另一个技术问题是能够使多个用户参与到例如舞厅舞的虚拟聚会中。
再一个技术问题是允许用户在不需要位于同一物理位置上的前提下执行例如但不限于武术练习、社交舞套路等的任何合作性质的物理活动。
由发明主题所提供的一个技术解决方案是包括用于解释参与者的动作的动作对准模块(movement registration module)和被配置为向参与者提供触觉反馈的触觉反馈激励器的系统。由于社交舞是基于触觉反馈的,因此仅仅能够看到个人的舞伴的表现是不够的-优选的是‘感觉’他们的方式。触觉反馈可以提供这样的仿真舞伴反馈的反馈。
可以基于舞伴对参与者动作的响应或者舞蹈套路来提供触觉反馈。为了清晰起见,所公开的主题在将参与者指定为男性的同时将舞伴指定为女性。然而,所公开的主题并不限于这一种方式。此外,所公开的主题可以被用于例如方块舞、卢埃达(Rueda)等的包括多于两个参与者的社交舞套路。
在某些示例实施例中,舞伴可以是由计算机决定其行动的虚拟舞伴。在某些示例实施例中,舞蹈逻辑模块可以计算给定技能和类型的仿真搭档的动作并且相应地仿真触觉反馈。额外地或者替选地,舞伴可以是在远程位置的真实舞伴。远程舞伴可以响应于参与者的动作而行动,并且基于她的响应可以将触觉反馈提供给参与者,例如反映舞伴动作。在某些示例实施例中,触觉反馈可以表示搭档的动作。
在某些示例实施例中,可以将基于视觉和/或声觉的反馈提供给参与者。在某些示例实施例中,视觉反馈可以包括舞伴的图形显示。在某些示例实施例中,舞伴可以被实时拍摄并且可以提供他或她的图像。在某些示例实施例中,可以显示例如搭档的3D替身的替身。在某些示例实施例中,例如在搭档为虚拟的情况下,可以基于通过舞蹈逻辑模块的计算来生成替身。在某些示例实施例中,可以基于搭档的身体结构来构造替身。
在某些示例实施例中,图形显示还可以包括参与者自身。参与者的图像可以是例如由摄像机捕获的真实图像。额外地或者替选地,可以视舞者双方意愿来对图像加强外观。
在某些示例实施例中,可以使用例如电视屏幕或者投影仪的显示器来提供图形显示。额外地或者替选地,可以以例如增强现实眼镜的增强显示(AR)方式来提供图形显示。增强现实设备可以用于提高参与者的其正在与舞伴共舞的感觉,例如通过在增强现实中显示在他手臂中的舞伴。
在某些示例实施例中,能够仿真具有许多人的舞会(即舞厅)。在某些示例实施例中,可以将仿真了聚会厅的增强现实设备用在每一个参与者旁边。在某些示例实施例中,任何人都能够被邀请参加舞会,以便基于实际的人类互动来提供虚拟舞会。在某些示例实施例中,可以计算其中某些舞者是人类而某些舞者是基于人工智能(AI)的仿真舞厅。
在某些实施例中,在两个真实搭档之间的社交舞可以被呈现为包括虚拟舞者的较大聚会的一部分。尽管只有两个人在跳舞,然而所公开的主题可以使其感觉两个舞者是较大聚会的一部分。
在某些示例实施例中,参与者可以不时切换舞伴。在某些示例实施例中,参与者可以在真实舞伴和虚拟舞伴之间切换。
在某些示例实施例中,动作对准模块可以包括运动感应输入设备。例如运动感应输入设备可以是例如视频摄像机的远程传感器、基于使用雷达、声音等远程感应用户动作的KinectTM-like系统。额外地或者替选地,运动感应输入设备可以是例如使用加速计、光学传感器、测深计、以及本领域已知的其他电子装置来感应穿戴着设备的人的动作的、例如能够感应的手套或者可穿戴套装的可穿戴设备。要注意的是,在本公开中的“可穿戴”可以指被参与者穿着、被参与者手持或者携带、或者其他耦接于参与者身体的物品。
在某些示例实施例中,同样的用于运动感应的可穿戴设备可以包括触觉反馈激励器。
在某些示例实施例中,触觉反馈激励器可以位于参与者的身体上以便将触觉反馈供应到参与者的手、胸、背、臀等之上。
在某些示例实施例中,相比于外部设备,可穿戴设备可能受到限制,原因是需要给可移动设备一个外力的感觉但实际上可能并没有施加外力。在某些示例实施例中,外部设备可能会限制参与者的动作并且因此期望避免由此的使用。
在某些示例实施例中,发明的主题可以被配置为识别并且在舞伴上反映那些动作。在某些示例实施例中,可能会期望反映的精度达到例如允许舞蹈家或者武术行家来改进他们的表现并且检测精细差别的程度。在某些示例实施例中,简单地解释姿势来领会参与者的意图并不够,但反而可能期望照原样反映动作并且允许舞伴独立地解释潜在的意图。
一个技术效果可以是使参与者能通过执行社交舞来与电子系统互动。另一个技术效果可以是允许参与者与系统互动而不需要依赖于他的视觉(例如,在他的眼睛闭上的情况下)。再一种技术效果可以是增大与远程用户的社交互动的范围以包括社交舞活动。
现在参考显示了根据所公开的主题的某些实施例的计算机化环境的图示的图1A。
参与者110位于位置100,可以使用根据所公开的主题的计算机化系统来执行社交舞活动。运动感应输入设备130可以捕获参与者110的动作。注意的是,在某些示例实施例中运动感应输入设备130可以是如图1A中例示的、例如视频摄像机的远程传感器。额外地或者替选地,存在例如使用红外线探照灯、照相机、麦克风阵列、测深计或者附加传感器的远程传感器的其他形式。这样的远程传感器的一个示例是可以在Microsoft Kinect TM中商业地得到的。额外地或者替选地,运动感应输入设备130可以是能够检测参与者110的运动的可穿戴设备或者任何其他设备。在某些示例实施例中,运动感应输入设备130可以与被穿戴的触觉反馈激励器120合并到一起。
在某些示例实施例中,运动感应输入设备130可以将所检测的动作无线地(例如,使用无线发送器132)或者有线的方式传输到计算机135(例如,使用无线收发器136)。计算机135可以包括处理器(未示出)和存储器(未示出)。计算机135可以包括动作对准模块(未示出),该模块被配置成接收由运动感应输入设备130所检测到的动作信息、解释这些动作以确定如何在舞伴上反映它们。在某些示例实施例中,动作对准模块可以从运动感应输入设备130接收视频馈送(例如,在使用视频摄像机的实施例中)并且如视频中出现的那样解释由参与者110所执行的运动和视频。
响应于参与者110的行动,计算机135可以确定舞伴的响应。触觉反馈激励器120可以从计算机135接收命令(例如,通过发送器122)并且可以仿真舞伴的响应向参与者供应触觉反馈。
在某些示例实施例中,仿真的舞伴可以是基于计算机135的计算来确定其行动的虚拟舞伴。额外地或者替选地,仿真的舞伴可以基于位于远程位置150的舞伴160。在某些示例实施例中,舞伴160可以使用例如包括计算机190、触觉反馈激励器170和运动感应输入设备180的类似的系统来允许舞伴160与计算机化系统互动。基于参与者110执行的运动,可以将反馈提供给可以执行响应的舞伴160,可以将由此的效果仿真为供应给参与者110的触觉反馈。
在某些示例实施例中,计算机135和计算机190可以经由例如WAN、LAN、Wi-Fi网络、内联网(intranet)、互联网(Internet)等的计算机化的网络彼此连接。计算机135、190可以在彼此之间传输信息以允许每个系统仿真另一参与者的动作。
在某些示例实施例中,计算机190可以提供舞伴160的视频捕获以用在作为向参与者110提供的视觉反馈的图形显示中。在某些示例实施例中,参与者110可以戴着提供了图形显示的增强现实(AR)眼镜140。AR眼镜140可以包括能够在视图上显示分层信息的透视屏幕。可以以这种方式确定图形显示:如同舞蹈时位于参与者旁边一样地在靠近参与者110显示舞伴160。额外地或者替选地,可以在显示器或者屏幕(未示出)上显示图形显示。
现在参考显示了根据所公开的主题的某些实施例的计算机化环境的图示的图1B。
触觉反馈激励器120还可以连接到支持件122、支持件124等。支持件122可以为参与者的手提供支持点。在某些示例实施例中,支持件122可以包括在其前端具有支持点的棒。在某些示例实施例中,可以例如通过延伸伸缩棒、通过调节棒的方向等调节支持件122、124以匹配参与者的特性。当与舞伴共舞时可以调节支持点的位置以匹配参与者110的手的位置。在某些示例实施例中,可以调节支持点的位置以修补参与者的舞蹈帧。
在某些示例实施例中,支持件122可以响应于施加给它的力,例如在执行舞蹈套路时参与者的手的推或者拉支持点的力。支持件122上的传感器可以检测这样的力的施加,并且可以额外于或者代替能够远程感应参与者110的行动的运动感应输入设备130利用该传感器。
在某些示例实施例中,支持件122和124可能会也可能不会在它们的基座处接合。在某些示例实施例中,支持件122和支持件124可以从弹性材料来构建,以便如果在例如执行时的它们的棒彼此交叉,允许它们弯曲。
现在参考显示了所公开的主题的某些实施例的计算机化环境的图示的图1C-1E。
在图1C中,显示参与者110正在观看提供了舞伴160的图形显示的显示器140。图像145可以是由位于处在远程位置150的舞伴160前方的视频摄像机所做的舞伴160的视频捕获。额外地或者替选地,图像145可以是基于舞伴160轮廓的计算机生成的图像(CGI),或者是虚拟舞伴情况下的基于舞伴轮廓的计算机生成的图像(CGI)。
显示器140可以提供与由AR眼镜140提供的显示类似的图形显示。
在图1D中,显示器140显示搭档145的图像以及代表参与者110的图像142这两者。参与者的图像可以是由大体上位于参与者110后面的视频摄像机所捕获的视频。
在某些示例实施例中,第一视频摄像机可以大体上位于参与者110后面以捕获参与者110的后侧图像。第二视频摄像机可以大体上位于参与者110的前面以捕获他的前侧图像。后侧图像可以由显示器140使用,同时前侧可以由在远程150使用的相应的显示器使用来向舞伴160提供图形显示。
在某些示例实施例中,运动感应输入设备130可以包括第二视频摄像机和/或第一视频摄像机。
图1E例示出图像142'和/或图像145'可以是计算机生成的替身,可以基于参与者的物理特性、动作等来生成和渲染该替身。在某些示例实施例中,替身可以比人更高或者更矮。在某些示例实施例中,替身的肢体可以与人的肢体的大小成比例也可以不成比例。在某些示例实施例中,替身可以是也可以不是人形替身。在某些示例实施例中,例如参与者110的每个用户都可以定义他自己的替身,并且可以修改例如肤色、眼睛的颜色、头发、鼻子、嘴巴、面部毛发、衣服、肌理等的替身特性。
现在参考显示了根据所公开的主题的某些实施例的计算机化环境的图示的图1F。
触觉反馈激励器120'、170'可以是能够向用户的手供应触觉反馈的可穿戴手套。例如在www.vrlogic.com/html/immersion/cybergrasp.html中和www.vrlogic.com/html/immersion/cyberforce.html中所公开的可穿戴手套都通过引用的方式合并在此。触觉反馈激励器120'可以包括用于将看似的外力施加到用户的手上的杆,例如在包括手与手的接触的社交舞中反映舞伴的动作。
现在参考显示了根据所公开的主题的某些示例实施例的可穿戴设备的示意图的图2。
设备200可以作为触觉反馈激励器120和/或可穿戴运动感应输入设备而起作用。设备200可以包括绑带210以便由用户将设备200穿戴在他的腰、躯干等的周围。
胸部触觉供应器220可以由可移动的板构成,板可以由一个或者更多可延伸的杆移动。胸部触觉供应器220可以位于用户的胸上或者胸的周围。板可以向胸部延伸,从而对胸与胸接触的用户的胸部供应触觉反馈。
背部触觉供应器230可以被成型为人手并且可以大体上位于与胸部触觉供应器220平行的位置。背部触觉供应器230可以位于用户的背上或者背部周围。背部触觉供应器230可以被配置为压向用户的背部,从而提供手与背接触的触觉反馈。
在某些示例实施例中,设备200可以包括例如图1B中122的支持件240。支持件240可以位于可延伸或不可延伸的棒245的前端。支持件240可以位于在距离和方向上远离绑带210的与在舞伴的后背后部的用户的手的支持点相对应的位置。在某些示例实施例中,支持件240可以包括能够感应由用户的手所施加的力的传感器。在某些示例实施例中,通过在支持件240上施加的足够大的超过预定阈值的力,例如通过改变绑带210与支持件240之间的角度,可以移动棒245。在某些示例实施例中,可以使用无线传输器(未示出)将用户的动作的任何检测传输给可以确定舞伴的响应的舞蹈逻辑模块(未示出)。在某些示例实施例中,可以基于虚拟搭档的AI计算来确定响应。额外地或者附加地,可以通过仿真用户的对真实舞伴(即舞伴160)的动作并且捕获她的响应来确定响应。
在某些示例实施例中,用户施加到支持件240上的压力可以被仿真为由背部触觉供应器230供应的远程舞伴穿戴的相应设备上的压力。
现在参考显示了根据所公开的主题的某些示例实施例的、在用于与远程搭档执行社交舞的方法中的步骤的流程图的图3A。
在步骤300,可以检测参与者的动作。可以使用例如但不限于远程运动感应输入设备、可穿戴运动感应输入设备等的任何运动感应输入设备来执行检测。在某些示例实施例中,动作对准模块可以被可操作地耦接到运动感应输入设备并且被配置为分析由运动感应输入设备检测的感觉信息。动作对准模块可以由软件、硬件、两者的结合等来实现,可以被配置为分析感觉信息以及识别例如代表舞蹈的相关姿势的参与者的动作。
在步骤305,可以通过例如计算平台(即图1A中的135)将动作信息传输给远程位置。在某些示例实施例中,可以经由计算机化网络将信息传输给远程位置。
在步骤310,可以将例如由视频摄像机捕获的、参与者的视频图像传输给远程位置,视频摄像机可以是也可以不是远程运动感应输入设备的一部分。
步骤320-330可以在远程位置执行。
在步骤320,可以例如使用AR设备、显示器或者类似设备将视觉反馈提供给舞伴。视觉反馈可以是视频图像或者基于该视频图像。视觉反馈可以包括也可以不包括代表舞伴和/或参与者的虚拟替身。
在步骤325,可以例如使用触觉反馈激励器将触觉反馈供应给舞伴,触觉反馈激励器(即图1A中的120)可能可以穿戴也可能不可穿戴。可以将触觉反馈设计成仿真参与者与舞伴之间的接触。触觉反馈可以基于参与者的动作并仿真这样的动作对舞伴的效果。
在步骤330,可以检测舞伴的动作。步骤330可以与步骤300类似。
可以将远程位置中所收集的信息传输给参与者所在的本地位置。
在步骤335,可以基于舞伴的动作的检测从远程位置接收动作信息。
在步骤340,可以例如使用AR设备、显示器或者类似设备将视觉反馈提供给参与者。视觉反馈可以是舞伴的视频图像或者基于该视频图像。视觉反馈可以包括也可以不包括代表舞伴和/或参与者的虚拟替身。在某些示例实施例中,虚拟反馈还可以基于参与者的视频图像。
在步骤345,可以将触觉反馈供应给参与者,例如如步骤325中的那样。触觉反馈可以在参与者上仿真舞伴的动作效果。
在参与者和他的舞伴使用舞蹈姿势来响应彼此的动作并执行社交舞期间可以重复执行步骤300-345。
在某些示例实施例中,基于参与者的姿势或者基于例如使用键盘、定点设备、口头等的不同方式输入的命令,参与者可以切换不同的舞伴。在某些示例实施例中,给予参与者的视觉反馈可以包括多个其他潜在舞伴,该潜在舞伴可以参与也可以未参与到与他人的舞蹈中。
现在参考显示了根据所公开的主题的某些示例实施例的、在用于与虚拟搭档执行社交舞的方法中的步骤的流程图的图3B。图3B示出了与图3A中类似的方法但取代与远程搭档共舞,参与者与虚拟搭档共舞。在某些示例实施例中,参与者可以在舞伴之间以及此外可选地在虚拟和远程搭档之间交替和切换。
在步骤307,可以通过例如舞蹈逻辑模块来计算虚拟搭档的动作。可以如步骤200中所检测的将动作计算为与参与者的动作相对应。在某些示例实施例中,可以将虚拟搭档的技能水平调节为适合参与者的水平。在某些示例实施例中,可以基于给定的技能和风格来计算动作,例如基于参与者的选择,自动地调节成匹配参与者的风格和技能水平等。
在步骤309,可以生成虚拟搭档的图像。
在步骤341,可以将视觉反馈提供给参与者。视觉反馈可以基于所生成的图像。额外地或者替选地,视觉反馈可以基于参与者自身的视频捕获。
在步骤345,可以将触觉反馈供应给参与者。触觉反馈可以基于所计算的动作信息。
现在参考显示了根据所公开的主题的某些示例实施例的、系统的组件的方框图的图4。
在某些示例实施例中,装置400可以包括处理器402。处理器402可以是中央处理单元(CPU)、微处理器、电子电路、集成电路(IC)等。可以利用处理器402来执行装置300或者任何其子组件所需要的计算。处理器402可以被配置为执行用于执行图3A、图3B等的方法的计算机程序。
在所公开的主题的某些示例实施例中,可以利用输入/输出(I/O)模块405来向用户提供输出以及从用户接收输入,用户例如是参与者110。I/O模块405可以被可操作地耦接到用于向用户提供视觉反馈的触觉反馈激励器454。I/O模块405可以被可操作地耦接到可以被用于向用户提供视觉反馈的显示器(未示出)、AR设备(未示出)或者类似设备。额外地或者替选地,可以经由音频输出设备(未示出)来输出以及播放音频反馈和/或音乐,例如使得用户能聆听他正在随着舞蹈的音乐,听见(真实的或者远程的)舞伴与他交谈等。I/O模块405可以被可操作地耦接到用于监控用户动作的运动感应输入设备456。I/O模块305还可以被用于向(从)例如位于远程位置150的远程装置452传输(接收)信息。可以通过装置400和远程装置452之间以无线或者有线方式连接计算机化的网络来使能数据传输。
在某些示例实施例中,装置400可以包括存储器单元407。存储器单元407可以是短期存储设备或者长期存储设备。存储器单元407可以是永久性存储器或者易失性存储器。存储器单元407可以是磁盘驱动器、闪存、随机存取存储器(RAM)、存储器芯片等。在某些示例实施例中,存储器单元407可以保持程序代码,该代码可操作于使得处理器402执行与装置400的任何子组件相关联的活动。在某些示例实施例中,存储器单元407可以保持程序代码,该代码科操作于使得处理器402执行与上述图3A-图3B中任何步骤相关联的活动。
以下详细描述的组件可以被实施为由例如处理器402或者由另一处理器来执行的一套或者多套相互关联的计算机指令。组件可以被布置以任何编程语言并在任何计算环境下被编程的一个或者多个可执行文件、动态库、静态库、方法、功能、服务等。
动作对准模块410可以被配置为从运动感应输入设备456来接收运动感应信息并且监控用户的动作。动作对准模块410可以识别涉及社交舞活动的用户的动作,例如有关舞蹈的姿势。
舞蹈逻辑模块420可以被配置为确定要被供应给用户的触觉反馈。触觉反馈可以基于远程搭档的动作(即从远程装置452接收)。额外地或者附加地,可以由计算虚拟搭档的动作的舞蹈逻辑模块420来计算动作。在某些示例实施例中,虚拟搭档的动作可以响应于由动作对准模块410所对准的用户的动作。
搭档图像生成器425可以生成舞伴的CGI呈像(imagery)。在某些示例实施例中,CGI可以基于例如通过定制远程搭档的外貌的真实舞伴。额外地或者附加地,CGI可以基于虚拟舞伴。在某些示例实施例中,可以生成CGI以便代表舞伴的动作,该动作可以被远程检测、由舞蹈逻辑模块420确定等。
参与者图像生成器430可以生成参与者的CGI呈像。CGI可以基于参与者的视频图像、或者可以基于所检测的参与者的姿态等自动被确定。可以基于用户偏好生成CGI。
要注意的是,在某些示例实施例中,远程装置452可以类似地生成代表舞伴和参与者的CGI。在某些示例实施例中,可以在两个装置中生成同样的CGI。额外地或者附加地,基于用户的配置可以生成不同的CGI,例如参与者可以看到表现为高个金发舞者的舞伴的CGI而同时舞伴可以看到作为矮个男子的她自己。在某些示例实施例中,一个用户(例如舞伴或者参与者)可以看到作为视频中捕获到的他或者她自己,而同时另一个用户可以看到代替的CGI图像。
在某些示例实施例中,舞者的图像可以选择性地仅共享给某些远程参与者,从而解决了隐私问题。舞者可以选择哪些远程参与者可以被授权看到他的样子,以及哪些参与者可以用一个或者多个替身看到他。在某些示例实施例中,舞者可以确定远程参与者的组并且对于每个组确定要被用于对组的成员代表他的替身。额外地或者附加地,可以确定要被授权看到舞者的视频图像的组。
附图中的流程图和方框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能的实施方式的操作、功能和架构。就这一点而言,流程图或者方框图中的每个方框可以代表程序代码的模块、段、或者一部分,该程序代码包括用于实施具体逻辑功能的一个或者多个可执行的指令。还应当注意的是,在某些替选的实施方式中,框中记录的功能可以不按附图中记录的顺序发生。例如,取决于所涉及的功能,连续示出的两个方框事实上可以大体上同时执行或者某些时候可以倒序执行。还要注意的是,方框图和/或流程图中的每个方框以及方框图和/或流程图中的方框的组合能够由用于执行专用的功能或者行动的、专用目的的基于硬件的系统,或者专用目的的硬件和计算机指令的组合来实施。
这里所用的术语仅是为了描述特定实施例的目的,并非意在限制发明。如这里所用的,单数形式的“a”、‘an’和“the”也意在包括复数形式,除非上下文明确指出的以外。还将理解的是术语“comprises”和/或”comprising”当用在此说明书中时,指定了所陈述的特征、整体、步骤、操作、元件、和/或组件的存在,但并没有排除一个或者多个其他特征、整体、步骤、操作、元件、和/或组件的存在或者附加。
正如本领域技术人员所能想到的,所公开的主题可以体现为系统、方法或者计算机程序产品。因此,所公开的主题可以采取完全的硬件实施例、完全的软件实施例(包括防火墙、常驻软件、微码(micro-code)等)、或者组合了软件与硬件方面的实施例的形式,这些方面通常全部指这里的“电路”、“模块”或者“系统”。此外,本发明可以采取体现在任何用于表达的有形介质中的计算机程序产品的形式,该有形介质具有体现在介质中的计算机可用的程序代码。
可以使用一个或者多个计算机可用或者计算机可读的介质的任何组合。计算机可用或者计算机可读的介质可以是例如但不限于电的、磁的、光的、电磁的、红外的、或者半导体系统、装置、设备、或者传播介质。计算机可读介质的更具体示例(非穷举列表)将包括以下:具有一个或者多个线路的电连接、便携式计算机磁盘、硬磁盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或者闪存)、光纤、便携式压缩碟片只读存储器(CDROM)、光存储设备、例如那些支持互联网或者内联网的传输介质、或者磁存储器。注意的是,计算机可用或者计算机可读介质甚至可以是纸或者在其上打印有程序的另一种适合的介质,由于程序可以经由例如纸或者其他介质的光学扫描而被电子地捕获,随后被编译、解释、或者否则如果需要的话以适合的方式被处理,并且随后被存储在计算机存储器中。在此文档的环境下,计算机可用或者计算机可读介质可以是任何介质,该介质能够将程序保持、存储、通信、传播或者传输以用于与指令执行系统、装置或者设备的连接或者通过与指令执行系统、装置或者设备的连接来使用。计算机可用介质可以包括具有计算机可用程序代码的传播数据信号,其中程序代码在基带中或者作为载波的一部分体现在信号中。可以使用任何合适的介质来传输计算机可用程序代码,介质包括但不限于无线、有线、光纤电缆、RF等。
用于执行本发明的操作的计算机程序代码可以以一个或者多个编程语言的任何组合来编写,编程语言包括例如Java、Smalltalk、C++等的面向对象的编程语言和例如C编程语言或者类似的编程语言的传统程序性编程语言。程序代码可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上并且部分在远程计算机或者全部在远程计算机或服务器上执行。在后一种场景下,可以通过包括局域网(LAN)或者广域网(WAN)的任何类型的网络将远程计算机连接到用户的计算机,或者可以进行到外部计算机的连接(例如,通过使用互联网服务提供商的互联网)。
在下文的权利要求中的所有的手段或者步骤附加功能元件的相应的结构、材料、行动和等同物意图在包括用于与作为特别声明的其他所声明的要素组合起来执行功能的任何结构、材料或者行动。本发明的描述是为了阐明并且描述的目的而呈现的,但并非意在以所公开的形式而穷举或者限制发明。那些本领域普通技术人员将能够在没有脱离发明的范围和精神的前提下显而易见地做出许多修改和变动。选择和描述实施例目的是最优地解释发明的原则和实际应用,以及使得本领域其他普通技术人员为了具有作为适合于所预期特定用途的各种变形例的各种实施例而理解发明。
Claims (20)
1.一种系统,包括
动作对准模块,被配置为监控并识别参与者的动作;以及
触觉反馈激励器,被配置为基于逻辑模块的确定向参与者提供触觉反馈。
2.根据权利要求1的系统,其中所述触觉反馈激励器被配置为由参与者穿戴。
3.根据权利要求1的系统,其中所述触觉反馈激励器被配置为向参与者的身体部分提供触觉反馈,身体部分选自由胸、背和臀组成的组。
4.根据权利要求1的系统,其中所述触觉反馈激励器被配置为向参与者的手提供触觉反馈。
5.根据权利要求1的系统,其中所述动作对准模块被可操作地耦接到被配置为检测参与者的动作的运动感应输入设备上。
6.根据权利要求5的系统,其中所述运动感应输入设备是远程传感器。
7.根据权利要求5的系统,其中所述运动感应输入设备是记录参与者的活动的视频摄像机,并且其中所述动作对准模块被配置为分析所记录的活动并且识别姿势。
8.根据权利要求5的系统,其中所述运动感应输入设备被配置为由参与者保持或者穿戴,所述运动感应输入设备被配置为识别所述运动感应输入设备的位置和动作从而检测参与者的姿势。
9.根据权利要求1的系统,其中所述逻辑模块被配置为确定参与者的虚拟搭档的动作并且相应地经由所述触觉反馈激励器引起触觉反馈。
10.根据权利要求1的系统,其中所述逻辑模块可操作以与监控第二参与者的动作的第二系统通信,其中对参与者的触觉反馈基于第二参与者的动作。
11.根据权利要求1的系统还包括输出设备,所述输出设备被配置为基于参与者的动作向舞蹈活动的参与者提供视觉显示。
12.根据权利要求11的系统,其中输出设备是显示器。
13.根据权利要求11的系统,其中输出设备是可佩带的增强现实眼镜。
14.根据权利要求11的系统,其中视觉显示包括代表舞伴的替身。
15.根据权利要求14的系统,其中替身基于舞伴的实时视觉记录。
16.根据权利要求14的系统,其中所述逻辑模块生成替身以便匹配由所述动作对准模块所识别的参与者的动作。
17.根据权利要求1的系统,其中所述系统经由网络与一个或者多个系统可操作地耦接,其中每个系统与现实生活的参与者相关联,其中所述系统和一个或者多个系统共同地配置为仿真现实生活的参与者正在其中舞蹈的舞厅。
18.根据权利要求1的系统,其中所述动作对准模块被配置为识别与社交舞套路相关联的姿势,以及其中所述触觉反馈激励器被配置为提供与舞伴对社交舞套路的响应相关联的触觉反馈。
19.根据权利要求1的系统,其中参与者正在执行合作的身体活动。
20.一种由计算机化设备执行的计算机实施的方法,方法包括:
监控参与者的动作;
响应于动作确定反馈;以及
指示触觉反馈激励器向参与者提供反馈。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/550,019 | 2012-07-16 | ||
US13/550,019 US8779908B2 (en) | 2012-07-16 | 2012-07-16 | System and method for social dancing |
PCT/IL2013/050579 WO2014013483A1 (en) | 2012-07-16 | 2013-07-07 | System and method for social dancing |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104470593A true CN104470593A (zh) | 2015-03-25 |
Family
ID=49913509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380037540.0A Pending CN104470593A (zh) | 2012-07-16 | 2013-07-07 | 社交舞用的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US8779908B2 (zh) |
CN (1) | CN104470593A (zh) |
WO (1) | WO2014013483A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105404395A (zh) * | 2015-11-25 | 2016-03-16 | 北京理工大学 | 基于增强现实技术的舞台表演辅助训练方法及系统 |
CN106803366A (zh) * | 2016-12-30 | 2017-06-06 | 武汉市马里欧网络有限公司 | 基于ar的儿童舞蹈学习系统及方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8507222B2 (en) | 2010-09-21 | 2013-08-13 | Altor Bioscience Corporation | Multimeric IL-15 soluble fusion molecules and methods of making and using same |
US9782670B2 (en) * | 2014-04-25 | 2017-10-10 | Ubisoft Entertainment | Computer program, method, and system for enabling an interactive event among a plurality of persons |
WO2016033512A1 (en) * | 2014-08-28 | 2016-03-03 | Georgia Tech Research Corporation | Physical interactions through information infrastructures integrated in fabrics and garments |
US11291919B2 (en) * | 2017-05-07 | 2022-04-05 | Interlake Research, Llc | Development of virtual character in a learning game |
JP6975683B2 (ja) * | 2018-06-05 | 2021-12-01 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
USD894308S1 (en) * | 2018-07-11 | 2020-08-25 | Irada LLC | Interactive playground pad |
DE102018008112A1 (de) * | 2018-10-11 | 2020-04-16 | Dietmar Gude | Verfahren und Vorrichtung zur Unterstützung der Beobachtung und Nachahmung von Verhalten |
CN112891905A (zh) * | 2021-01-19 | 2021-06-04 | 重庆光电信息研究院有限公司 | 一种基于智能感知的广场娱乐系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
CN101801471A (zh) * | 2007-06-18 | 2010-08-11 | 马克西姆·阿莱克谢维奇·瓦辛 | 训练方法和用于实施所述方法的装置 |
US20110270135A1 (en) * | 2009-11-30 | 2011-11-03 | Christopher John Dooley | Augmented reality for testing and training of human performance |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4988981B1 (en) * | 1987-03-17 | 1999-05-18 | Vpl Newco Inc | Computer data entry and manipulation apparatus and method |
US5185561A (en) * | 1991-07-23 | 1993-02-09 | Digital Equipment Corporation | Torque motor as a tactile feedback device in a computer system |
US5739811A (en) * | 1993-07-16 | 1998-04-14 | Immersion Human Interface Corporation | Method and apparatus for controlling human-computer interface systems providing force feedback |
US5805140A (en) * | 1993-07-16 | 1998-09-08 | Immersion Corporation | High bandwidth force feedback interface using voice coils and flexures |
US5767839A (en) * | 1995-01-18 | 1998-06-16 | Immersion Human Interface Corporation | Method and apparatus for providing passive force feedback to human-computer interface systems |
US5577981A (en) * | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US6028593A (en) * | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
US7225404B1 (en) * | 1996-04-04 | 2007-05-29 | Massachusetts Institute Of Technology | Method and apparatus for determining forces to be applied to a user through a haptic interface |
IL121178A (en) * | 1997-06-27 | 2003-11-23 | Nds Ltd | Interactive game system |
US6985133B1 (en) * | 1998-07-17 | 2006-01-10 | Sensable Technologies, Inc. | Force reflecting haptic interface |
US7015950B1 (en) * | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
KR100384406B1 (ko) * | 2000-01-24 | 2003-05-22 | (주) 베스트소프트 | 컴퓨터 프로그램 구동조작장치 |
US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7850526B2 (en) * | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
CA2578653A1 (en) * | 2004-07-29 | 2006-02-09 | Kevin Ferguson | A human movement measurement system |
US20070021199A1 (en) * | 2005-07-25 | 2007-01-25 | Ned Ahdoot | Interactive games with prediction method |
US20070063849A1 (en) | 2005-09-02 | 2007-03-22 | Francesca Rosella | Wearable haptic telecommunication device and system |
US20080120029A1 (en) * | 2006-02-16 | 2008-05-22 | Zelek John S | Wearable tactile navigation system |
US20080146302A1 (en) * | 2006-12-14 | 2008-06-19 | Arlen Lynn Olsen | Massive Multiplayer Event Using Physical Skills |
WO2010084490A1 (en) | 2009-01-22 | 2010-07-29 | Dance Vantage Ltd. | Method and system for movement training |
US20100199231A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US8577085B2 (en) * | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8562403B2 (en) * | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
US20120319989A1 (en) * | 2011-06-20 | 2012-12-20 | Chris Argiro | Video-game controller assemblies designed for progressive control of actionable-objects displayed on touchscreens: expanding the method and breadth of touch-input delivery |
US8994659B2 (en) * | 2011-09-20 | 2015-03-31 | Sony Computer Entertainment Inc. | Methods for shape detection correlated with position detection and systems for processing the same |
-
2012
- 2012-07-16 US US13/550,019 patent/US8779908B2/en active Active
-
2013
- 2013-07-07 CN CN201380037540.0A patent/CN104470593A/zh active Pending
- 2013-07-07 US US14/415,133 patent/US10537815B2/en active Active
- 2013-07-07 WO PCT/IL2013/050579 patent/WO2014013483A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
CN101801471A (zh) * | 2007-06-18 | 2010-08-11 | 马克西姆·阿莱克谢维奇·瓦辛 | 训练方法和用于实施所述方法的装置 |
US20110270135A1 (en) * | 2009-11-30 | 2011-11-03 | Christopher John Dooley | Augmented reality for testing and training of human performance |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105404395A (zh) * | 2015-11-25 | 2016-03-16 | 北京理工大学 | 基于增强现实技术的舞台表演辅助训练方法及系统 |
CN105404395B (zh) * | 2015-11-25 | 2018-04-17 | 北京理工大学 | 基于增强现实技术的舞台表演辅助训练方法及系统 |
CN106803366A (zh) * | 2016-12-30 | 2017-06-06 | 武汉市马里欧网络有限公司 | 基于ar的儿童舞蹈学习系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US8779908B2 (en) | 2014-07-15 |
WO2014013483A1 (en) | 2014-01-23 |
US10537815B2 (en) | 2020-01-21 |
US20160199741A1 (en) | 2016-07-14 |
US20140015650A1 (en) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104470593A (zh) | 社交舞用的系统和方法 | |
GB2556347B (en) | Virtual Reality | |
US20200294298A1 (en) | Telepresence of Users in Interactive Virtual Spaces | |
KR102630774B1 (ko) | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 | |
CN106170083B (zh) | 用于头戴式显示器设备的图像处理 | |
JP6155448B2 (ja) | 3d撮像し、マッピングし、ネットワーク化しおよびインタフェースするための無線手首コンピューティングおよびコントロールするデバイスおよび方法 | |
JP2022024100A (ja) | 検出された手入力に基づく仮想手ポーズのレンダリング | |
US11178456B2 (en) | Video distribution system, video distribution method, and storage medium storing video distribution program | |
KR101679805B1 (ko) | 인간과 컴퓨터가 인터랙티브하는 제어방법 및 그의 응용 | |
JP2022549853A (ja) | 共有空間内の個々の視認 | |
CN103197757A (zh) | 一种沉浸式虚拟现实系统及其实现方法 | |
JP2020004395A (ja) | 仮想現実感ユーザのための実世界触覚対話 | |
TWI648655B (zh) | 虛擬實境系統中顯示使用者移動的方法及相關裝置 | |
US9755848B2 (en) | System and method for simulating a user presence | |
JP7355006B2 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
US11334165B1 (en) | Augmented reality glasses images in midair having a feel when touched | |
JP2006192548A (ja) | 身まねロボットシステムとその身まね動作制御方法 | |
TW201443760A (zh) | 用以擴增實境及虛擬實境之目鏡 | |
US9000899B2 (en) | Body-worn device for dance simulation | |
US11850508B2 (en) | System for simulating an output in a virtual reality environment | |
Tachi | From 3D to VR and further to telexistence | |
JP2009521759A (ja) | モーションキャプチャにおける眼球運動データ置換 | |
WO2022091832A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、および情報処理端末 | |
Michalakis et al. | Another day at the office: Visuohaptic schizophrenia VR simulation | |
CN110280016B (zh) | 一种vr场景体验系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20160405 Address after: Israel Shola Sim Applicant after: Shmuel UR Innovations Ltd Address before: Israel Meese gover Applicant before: UR SHMUEL |
|
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150325 |