About the project
VR 3D modeling tools, 2022
l changeable x w changeable x h 200 mm (x x w x h inch)
Fusion360, Keyshot, Unity
Arduino, Soft urethane, silicone, Stainless steel, TPU
VR Clayは、VR環境で彫刻を可能にする触覚ツールで、ユーザーが手で粘土の質感や感触を感じることができます。2012年に中国で発見された陶器の破片は、人類が何千年も前から粘土彫刻の技術を発展させてきたことを示唆しています。しかし、今日の主流の技術は2Dモニターでキーボードとマウスを使用し、3Dプリンターで印刷するものであり、これによりアクセスしやすさと生産性が最大化される一方で、伝統的な彫刻技術の喪失のリスクがあります。
大学の彫刻学科は徐々に消滅しつつあり、物理的な彫刻家でさえデジタル彫刻を学ぶことが求められています。多くの人々は、デジタル彫刻の高い参入障壁のためにその移行が困難だと感じています。調査やインタビューによると、プロのデジタル彫刻家やデザインの学生は、新しいコンピューターアプリケーションに適応することが負担であるため、直感的で本能的な物理的彫刻技術を好むことが明らかになっています。
VR-Clayは、これらの親しみやすく本能的な彫刻技術をデジタル形式で活用します。この革新により、伝統的な彫刻技術の継続的な発展が可能となり、物理的な彫刻家がデジタル彫刻に参入するための障壁を下げ、デジタル彫刻家が新しいアプリケーションに適応するための時間を節約できます。直感的で本能的な粘土彫刻技術をデジタルツールと統合することで、より生産的で創造的な活動が約束されます。
Simulation with the prototype
コンピュータの利点を活かしながら、三次元環境で触覚的な彫刻技術をどのように活用できるでしょうか？
人類は蓄積された物理的な彫刻技術をコンピュータの領域でどのように活用できるでしょうか？物理的な彫刻家はどのようにして自分の技術をコンピュータ環境で活用できるでしょうか？コンピュータ彫刻家はキーボードやマウスに頼らずに、どのようにして手を使って創造できるでしょうか？そして、これらの疑問は本当に必要なのでしょうか？これらの好奇心に答えるために、以下のインタビューと調査を行いました。
彫刻の学生やプロの彫刻家は、具体的な素材で作業することに強い欲求を示しています。しかし、産業デザインの学生たちも同様に、コンピュータベースの彫刻の必要性を認識していますが、その習得には難しさを感じています。
調査とインタビューによれば、彫刻や産業デザインの学生たちは、平面上で立体的なオブジェクトを想像することに苦労しています。これは、彼らの作業を促進するためにより直感的で没入感のある環境が必要であることを示唆しています。仮想現実（VR）は、立体的な作業空間を提供することで、3Dモデリングの体験を向上させる有望な解決策として注目されています。
結論として、私は粘土での作業感覚をシミュレートするVRモデリングツールの研究に着手しました。興味深いことに、図1-3、2-3、および3-3で示されているように、すべての参加者グループがタッチ感知機能を備えた先進的なモデリングツールが有益であると指摘しました。特に、彫刻家たちは初期の概念開発に粘土を好みましたが、産業デザインの学生たちは伝統的なペンや鉛筆を好みました。インタビューでは、産業デザイナーたちはペンや紙を使うことでアイデアをより自由に表現でき、2Dのスケッチと3Dモデルの間に違和感を感じていると述べています。
このフィードバックは、三次元で実現されるプロジェクトの初期段階から3Dでコンセプトを考える利点を強調しています。そのため、3D彫刻ツールの市場潜在性は彫刻家にとどまらず、産業デザイナーも含めた広範な応用が示されています。
Interview
With fine artists based on modeling
A. 物理的な彫刻について
a1. あなたのモデリングプロセスは何ですか？
– アイデアの生成
– 粘土を使った迅速な形状プロトタイピング
– 紙やタブレットでのスケッチ
– 物理的なモデリング
a-2. 物理的モデリングでの作業の利点は何ですか？
– 鑑賞者は芸術家が粘土に触れる感覚を共有できます。
– 芸術家の感情が鑑賞者と共有されます。鑑賞者は彫刻家の誠実さを感じることができます。
a-3. 物質には独自のユニークさ、価値、生命力があります。
物理的空間は作品の雰囲気を作り出します。
a-4. 物理的彫刻のデメリットは何ですか？
– 重力の影響を受けます。
– 失敗する可能性が高いです。財政的負担が膨大です。破損のリスクがあります。
a-5. 物理的彫刻に類似したコンピュータ彫刻アプリは何ですか？
何もありません。
B. バーチャル彫刻について
b-1. デジタル彫刻での作業の利点は何ですか？
– 以前の作業をインポートしたり、コピーして貼り付けたりすることができます。
– スペースを取らず、場所を取らない。
– 体に負担が少ない。
b-2. デジタルで働く際のデメリットは何ですか？
– 学ぶのに時間がかかりすぎる。馴染みがない。
– 参入の障壁が高すぎる。
– 予測可能で、残りがあり、表現が限られています。
– 実際の世界には存在しない。
– 現実的であるすぎて非現実的である。
– コンピュータでの作業は模倣であり、実際ではありません。
b-3. デジタルモデリングを改善するために何が必要ですか？
– 粘土に触れることができれば良いと思います。
– 予期しない結果を生み出せることを願っています。
– 結果を予想していなかったことを願っています。土を固めたいと思っています。
– 時間の概念が材料に適用されることを願っています。
C. 物理彫刻について
C-1. あなたのモデリングプロセスは何ですか？
アイデア発想 – 紙やタブレットでのスケッチ – 物理的なモデリング
C-2. 物理的モデリングで作業する利点は何ですか？
– ユーザーは形をより直感的に理解することができます。
– ユーザーは容積や質感を正確に把握できます。
– プログラムを学ぶことなく作成することができます。
– 希望する感触を実現することができます。
– 物理的な作業はコンピュータ作業よりも速く行うことができます。
– 材料の特性を理解することができます。
– 彫刻家は材料を通じて意思疎通することができます。
– 彫刻家はその材料を感じることができます。
C-3. 物理的彫刻のデメリットは何ですか？
– 高額で時間がかかります。
– 体が痛くなり、ほこりが出ます。
C-4. 物理的彫刻に類似したコンピュータ彫刻アプリは何ですか？
– 「Zbrush」は物理的モデリング操作に似ていますが、完全には似ていません。
D. バーチャル彫刻について
D-1. デジタル彫刻での作業の利点は何ですか？
– 体に負担が少ない。
– 時間や空間の制約なしに作業できる。D-2. デジタルで働く際のデメリットは何ですか？
– 芸術家が使った触覚や質感を視聴者に伝えるのが難しいこと。
– 形を立体的に一度に理解するのが難しい場合があります。
– アイデアを実現するには、使用するプログラムに精通している必要があります。
– プログラムを学ばなければならず、実物を見ることができません。
– 手で材料を感じることができません。
– モニター上での光（照明）やモデルの立体的な形状を把握するのが難しいです。
– これは生きていない。
– 観客は微かな感情や楽しさを感じることができません。D-3. デジタルモデリングを改善するために何が必要ですか？
– 彫刻にはキーボードやマウスだけでは不十分です。
– それらを代替するツールが必要です。
– リアルタイムで触れて感じることができると良いです。
– 簡単な作業方法が必要です。
Survey
イングランドと韓国の22大学の彫刻学生、ロイヤル・ソサエティ・オブ・スカルプターズのメンバー、および産業デザイン学生
1. 三次元のアート作品を作成する際に最初に使う道具は何ですか？
알겠습니다, 일본어로 번역하겠습니다.
1-1. イギリスと韓国の22大学の彫刻学生の皆様へ
1-2. ロイヤル・ソサエティ・オブ・スカルプターズのメンバーの皆様へ
1-3. イギリスと韓国の22大学の産業デザイン学生の皆様へ
物理的な彫刻で体験できることで、コンピュータでの彫刻では再現できないものは何ですか？
2-1. 英国および韓国の22大学の彫刻学生の皆様へ
2-2. ロイヤル・ソサエティ・オブ・スカルプターズのメンバーの皆様へ
2-3. 英国および韓国の22大学の産業デザイン学生の皆様へ
コンピュータ彫刻が物理彫刻に似るように開発された場合、誰が最もコンピュータ彫刻から利益を得るでしょうか？
3-1. 英国と韓国の22大学の彫刻学生の皆様へ
3-2. ロイヤル・ソサエティ・オブ・スカルプターズのメンバーの皆様へ
3-3. 英国と韓国の22大学の産業デザイン学生の皆様へ
最初のアプローチは、測定X、Y、Z座標マグネットです。
2つの異なる仮説と1つの実験
粘土の形状を認識し、それをデジタル信号に変換する方法について：
もし粘土の質量と特定の位置を決定できれば、粘土をデジタルで形作ることができます。
仮説1.
重さと質量の測定
重さと質量の測定方法を使用して物理データをコンピュータに転送すること。
A-1) 彫刻のためのフレームに付着した粘土の量を測定する必要があります。
A-2) 彫刻家が新しく付着させる粘土の量を測定する必要があります。
A-3) 粘土の形状が変化する部分だけをスキャンし、データを読み取ります。
B. SOLUTIONS
B-1) 一定量の固定重量の粘土のみを使用します。
B-2) 3Dスキャナーは粘土の変化する部分のみを迅速にスキャンし、そのデータをコンピュータに送信します。
B-3) 粘土の形状が変化する部分だけをスキャンし、データを読み取ります。
仮説2.
X、Y、Z座標
スマートな粘土粒子はそのX、Y、Z座標をコンピュータに送信します。
A. REQUIREMENTS
A-1) スマート粘土の粒子は彫刻家が繊細な作業を行えるほど小さくなければなりません。
A-2) スマート粘土の粒子は互いにくっつける必要があります。
A-3) スマート粘土粒子はそのX、Y、Z座標をコンピュータに送信します。
B. SOLUTIONS
B-1) MEMSはほこりほど小さい粒子であり、彫刻家が繊細な表現を可能にします。（例：MEMS）
B-2) スマート粒子は磁石やネットを使用して凝集することができます。（例：VR用デジタルクレイ / Alexandreら、2004年）
B-3) スマート粒子はコンピュータのCPUと同等の能力を持っています。（Digital Clayモジュール）
C. PROBLEMS
C-1) 問題ありません。
C-2) スマート粒子は彫刻家が使用する粘土と異なる特性を持っています。
C-3) スマート粒子が垂直座標を追跡できる証拠はありません。
実験1
測定可能な磁気粘土
鉄粉袋と磁石スタンドホルダーを使用したモデリング
仮説: この結果は、モデリングの質量と形状の変化を迅速に3Dモデリングソフトウェアに反映させることができるでしょう。
実験方法: 量子化された鉄粉袋がモデルの質量変化を正確に反映します。Leap Motionは手がモデルに触れる部分を検出し、3Dスキャナーはモデルが触れている部分のみをスキャンします。
材料: 鉄粉、さまざまな形状の風船、磁気粘土、磁石、金属製クレイスタンドホルダー
粘土の形状を認識し、それをデジタル信号に変換する方法について：
初めの実験で粘土をデジタル化した場合でも、粘土の形状の解像度は不可避的に低下します。そのため、既存の3Dスキャン技術を使用して粘土をリアルタイムでスキャンすることで、粘土をデジタルで形成することが可能になります。
1. 彫刻家を邪魔しないスキャン方法を見つける。
2. 最先端の3Dスキャン技術の頂点を探索する。
3. スキャナーを置き換える技術を見つける。
内部から粘土をスキャンする技術を発見しましたが、専門家の意見は肯定的ではありませんでした。そのため、他の関連技術と組み合わせてみることにし、粘土のイメージだけでなくデータが伝送される異なる方法を見つけました。
Tech 1.
GPR
彫刻家がスキャナーに邪魔されることなく作業を行うためには、スキャナー自体が粘土の内部に配置される必要があります。粘土スタンドホルダーの上にスキャナーがあり、その上に粘土をかぶせて作業できるようにすると、デバイスのサイズよりも大きなモデルを自由に造形することができます。
レーダー技術に関する調査では、高い可能性が示されています。GPRは地面をスキャンする技術です。粘土のような地面を軽くすることができるため、この技術に大きな期待が寄せられています。GRPの欠点は価格が高いことです。
しかし、その価格は調査する土地の深さに比例します。彫刻家の粘土は地面に比べて非常に浅いスキャン深度を必要とするため、比較的低コストで製造できます。下の写真は300ドルで作られたGPRです。この技術を360度3Dスキャナー技術と組み合わせれば、粘土を内部からスキャンできるのではないかと期待していました。しかし、この技術の問題は、曲がった蛇のような形状をスキャンできないことです。
GPR（地中レーダー） + 360度3Dスキャナー
レーダー技術に関連する調査は高い潜在能力を示しています。GPR（地中レーダー）は地面をスキャンする技術です。この技術は粘土のような地面を明るくすることができるため、大きな可能性を見出しました。GPRの欠点はその高価格です。
しかし、その価格は探査される地面の深さに比例しています。彫刻家の粘土は地面よりも非常に浅いスキャン深度が必要ですので、比較的低コストで製造することが可能です。以下の写真は300ドルで作られたGPRです。この技術を360度3Dスキャナー技術と組み合わせることで、粘土を内部からスキャンすることができると期待しています。ただし、この技術の問題点は、蛇のように曲がる形状をスキャンすることができないことです。
Tech 2.
4D scanning
彫刻家がスキャナーに邪魔されることなく作業を行うためには、スキャナー自体が粘土の内部に配置される必要があります。粘土スタンドホルダーの上にスキャナーがあり、その上に粘土をかぶせて作業できるようにすると、デバイスのサイズよりも大きなモデルを自由に造形することができます。
高速 3D スキャン技術の可能性を調査しました。3D スキャン技術は現在、業界内で非常に競争が激しい分野であり、急速に発展しています。ここで紹介するビデオは、3D スキャンを使用して作成されました。(この技術の正確な用語はまだ決まっていません。)
視聴者は、ビデオの再生中に、このビデオの人物を横や後ろなどさまざまな角度から見ることができます。これは、3D スキャナーが約 24 フレーム/秒でキャプチャしたことを示しています。キャプチャした 3D シーンをリアルタイムでストリーミングすることは現在不可能ですが、ビデオとして制作することは可能です。ただし、多くの企業は、数年以内にリアルタイム ストリーミングが実現すると主張しています。この技術は、映画、エンターテインメント、パフォーマンスで広く使用されています。
この技術により、彫刻家が粘土モデルを作成するときに、粘土の変化を 3D モデリング ソフトウェア内でリアルタイムに更新することもできます。
Result
これらの高速 3D 入出力デバイスは、最終的には一般向けにも提供されるようになるかもしれませんが、近い将来に個人使用に適したレベルまで価格が下がる可能性は低いでしょう。また、この 3D 入力技術には、キャプチャ用のスペースと、機器を設置するための物理的なスペースが必要です。
Tech 3.
Realtime scanning and Importing video to VR
利用可能な技術の中で、スマートフォンベースのスキャンが際立っています。このソフトウェアは、最初にオブジェクトをスキャンするときに座標を決定し、X、Y、Z座標を使用して3Dモデリングを完了し、座標が変化するとリアルタイムでモデルを更新します。このアプローチは高価な技術を必要とせず、高いユーザビリティを提供します。ただし、この技術を粘土モデリングに適用するのは困難です。新しい座標が頻繁に作成され、彫刻家の動きによって既存の座標が消える可能性があるために問題が発生します。
私は粘土をスキャンしてモニターに表示するより簡単な方法を探りました。LIV というソフトウェアは、現実世界で撮影したオブジェクトを仮想世界に送信することを可能にします。この技術は、実際の粘土をモニターに表示するのと似ており、3D モデリング アプリケーションのように、モニターまたは VR メガネの平面に情報をレンダリングする必要があります。このソフトウェアをコンピューターにインストールし、VR メガネに 2 つ以上のカメラを設定すると、ユーザーは VR メガネを通してオブジェクトを 3 次元で見ることができます。
ビデオをVRにインポートする実験
仮説：オブジェクトの画像をリアルタイムで3Dモデリングアプリケーションにストリーミングすることで、彫刻家はオブジェクトを3Dでスキャンして3Dモデリングファイルを同アプリケーションにリアルタイムでストリーミングするのと同じ効果を得ることができる。
実験方法：実験デザイナーはVRデバイスとコンピュータにLIVアプリケーションをインストールする。VRゴーグルにウェブカメラを取り付ける。緑色の背景をセットアップし、その前に粘土と粘土用スタンドホルダーを配置する。彫刻家はこの設定で粘土彫刻を行う。
材料：ウェブカメラ、照明、緑色の背景幕、粘土、粘土用スタンドホルダー、Oculus Quest 2、モニター、LIV（アプリケーション）
Result
The third approach. VR clay
Inspiration for VR Clay Development
以前の実験で発見された触覚やコンピュータツールの使用に関する問題を解決するための開発
EXP with Leap Motion
このプロジェクトの実験はLeap Motionを使用して開始しました。手に何もつけないことで、動きの制限がなくなり、自由に動けると予想していました。しかし、VR環境でオブジェクトと対話しようとした際、脳が触覚フィードバックを期待していたため、不快に感じました。このため、物体に触れる感覚をシミュレートしようとして、親指と人差し指を何度も押し合わせました。
EXP with Balloons
Leap Motionの実験に挫折して休憩を取ることにし、映画を見ることにしました。デスクには常にスケッチ用の粘土を置いてあり、映画を見ながらそれを触る習慣があります。この休憩中、以前の別のプロジェクト用に作った厚いシリコンエアバッグを無意識に触っていましたが、心の中ではそれを粘土だと認識していました。これに気づいた瞬間、このシリコンエアバッグがVR世界で粘土をシミュレートできるというひらめきを得ました。
このアイデアに触発されて、風船を手袋に取り付けることで粘土を扱う感覚を模倣するプロトタイプを作成しました。この革新的なアプローチは、触覚フィードバックとバーチャル彫刻を組み合わせた新しいVRモデリングツールの方向性を示唆しました。
さらに、コンドームや風船などのさまざまな素材の弾力性をテストしました。その結果、ショア硬度60Aのウレタンコンドームは、ペンの中心を通過するほど小さく伸ばすことができる一方、風船のように大きく膨らむこともできることがわかりました。次に、家庭内のさまざまな伸縮性のある物体の硬度、弾力性、触感を評価しました。
これらの家庭用品を使った実験の後、ショア硬度10Aから35Aのラテックスやウレタンシリコンなどの素材を購入しました。この過程で、ショア硬度35Aのウレタンが最も粘土に近い感触を提供することを発見しました。柔軟でありながら、実際の粘土の触覚をシミュレートするのに十分な硬さがありました。
The development of VR Clay
以前の実験で発見された触覚やコンピュータツールの使用に関する問題を解決するための開発
Relevant tech: Unity & Softrobotic
3Dモデリングツールの研究では、彫刻家の技術と実践的な習慣に焦点を当てて、モデリングプロセスを精緻化しました。通常、彫刻家は両手で一塊の粘土を持ち、必要に応じて少量を摘み取るために、主に親指と人差し指を使います。これら自然な動作を考慮して、彫刻家の指や手の動きがデバイスと干渉しないようにする人間工学に基づいたコントローラーを設計しました。
仮想現実の世界では、ユーザーが手のひらで大きな仮想の粘土をつかむと、コントローラーの手のひら部分にある柔らかいウレタンが膨らんで、実際の粘土の感触をシミュレートします。
Unity 統合
以下のガイドラインに厳密に従わなくても、粘土の特性を維持し、オープンソースのリソースを使用して実装することができます。
静的な床の要素：床の板や柱は変わりません。重力の影響を受けず、両手のLeap Motionコントロールで回転したり、持ち上げたりすることができます。
粒子ベースの粘土シミュレーション：
仮想の粘土は小さな球状の粒子の塊として表現されます。例えば、全体の塊の直径が200単位であれば、各粒子の直径は1単位です。
これらの小さな粒子は、距離が2mm未満のときに柱の先端に付着します。
粒子はまた、互いにおよび柱と2mm以内の距離で付着します。
粒子はLeap Motionのすべての相互作用ポイントに物理的に反応し、ユーザーはメインの塊や柱から粒子を取り外したり取り付けたりできます。
調整可能な粘着力：
粒子同士や柱に付着する度合いは数値で調整可能であり、カスタマイズ可能な相互作用ダイナミクスを実現します。
これらの機能を統合することで、私は粘土作業の触感体験を細部まで再現し、デジタル彫刻家にとって直感的で精密なVRモデリングツールを目指しました。
Prototype of VR Clay
Arduinoを使用したVRクレイシミュレーションのスケジュール
最初に、インジェクションモーターを使用したインフレーターを開発しました。しかし、インジェクションモーターの速度が不十分であり、ユーザーがVR世界で仮想クレイとやり取りする際にArduinoデバイスの応答が遅かったです。
この問題に対処するために、セットアップを改良しました。デバイスは、圧力で充填するための1つのタンクと空気を放出するための1つのタンクにホースで接続されました。ホースにバルブを取り付け、それをArduinoに接続し、Unityプロジェクトと統合しました。このセットアップにより、Arduinoがインフレーターをより効果的に制御し、仮想クレイとより反応の速いリアルな相互作用を提供できるようになりました。
User test of VR Clay
Henry Parkin | 彫刻家
使いやすさ (7/10): コントローラーは非常に直感的でしたが、VRでの体験はしていません。
プロフェッショナリズム (10/10): ユーザーテストは明確な意図と高いプロフェッショナリズムで実施されました。
テクノロジー (6/10): VR要素を体験していませんが、VRでの彫刻はソフトロボティクス技術の非常に創造的でエキサイティングな新しい利用方法だと思います。ハンドルの空気圧部品の品質は高いです。
ターゲティング (10/10): 上記の理由から、ターゲティングは非常に精確でした。
創造性 (10/10): ソフトロボティクス技術を使用したVRでの彫刻は、非常に創造的で革新的なアプローチです。
デザイン (9/10): コントローラーの固体部分も、使用者の握りに反応するように機械的に適応できるかどうかが気になります。
Min jeong Kim | 彫刻家
使いやすさ (9/10): コントローラーは非常に直感的で使いやすく感じましたが、VRでの体験はしていません。
プロフェッショナリズム (10/10): ユーザーテストは明確な意図と高いプロフェッショナリズムで実施されました。
テクノロジー (9/10): VR要素を体験していませんが、VRでの彫刻はソフトロボティクス技術の非常に創造的でエキサイティングな新しい利用方法だと思います。ハンドルの空気圧部品の品質は高いです。
ターゲティング (10/10): 上記の理由から、ターゲティングは非常に精確でした。
創造性 (10/10): ソフトロボティクス技術を使用したVRでの彫刻は、非常に創造的で革新的なアプローチです。このツールは、粘土と3Dプログラミングを同時に効率的かつ有益に使用することができます。
デザイン (9/10): デザインは優れていますが、コントローラーの固体部分も使用者の握りに反応するように機械的に適応できるかどうかが気になります。
アドバイス: このプロトタイプは素晴らしかったです。このツールが3D作業に携わる人々にとって有用で役立つ可能性を見ました。粘土と3Dプログラミングの使用を効率的に組み合わせることができます。
Empowering Creativity
in the VR Era
VR市場に関する洞察
VR市場は他のどの産業よりも急速に成長しています。調査によれば、コンピューターモデラーや彫刻家、産業デザイナーなどは、3次元の結果物を制作する者が3次元空間で作業できる日を待ち望んでいます。この需要にもかかわらず、現在、最も市場シェアが大きいOculus Quest 2に関連するモデリングアプリケーションはわずか2つしかありません。
コンピューター3Dモデリングアプリケーションが最初にリリースされたタイミングを考えると、VR 3Dモデリングアプリケーションが開発される前でした。今が大胆な投資をするタイミングです。顧客の需要は溢れています。
Prior Arts
このプロジェクトの成果は、市場で多くの競争相手と競り合うことに関係ありません。このプロジェクトの目的は学術的な実験でもありませんし、いつか手頃な価格で利用可能になるVR空間をターゲットとした装置でもありません。また、ゲーム向けに設計された触覚グローブでもありません。このプロジェクトの目的は、現在のアーティストやデザイナーが美しい革新的な成果物を創造することを支援することです。このプロジェクトを通じて彼らのアイデアがより自由に表現され、彼らの夢が現実のものとなることを目指しています。
