該項目使您能夠使用手勢在3D中繪制，雕刻和制作陶器，在全息圖中查看并導出3D打印。

本文檔探討了我們項目的不同階段，在MDEF碩士課程的IAAC Microchallenge II研討會期間開發(fā)的3D手繪畫布。這個項目一開始是一個簡單的想法，從我們過去的經驗中產生的類似的切線(一個涉及使用手勢的2D繪圖，另一個涉及以全息格式可視化手部運動)，但制作一個更可行的工具，允許實時3D繪圖，被可視化為全息圖，然后轉化為可打印的3D模型。

為了實現這一點，我們開始嘗試各種不同的軟件工具和編程語言，改進我們的方法以找到最有效的解決方案。雖然這個項目并不完美，但它在一定程度上是有效的，并為我們提供了寶貴的學習點和經驗，作為一個團隊和未來努力的燃料。

在本文檔中，我們將走過我們旅程的每一步，從概念到執(zhí)行，分享一路上獲得的挑戰(zhàn)，發(fā)現和見解。

Github鏈接：AuxenceD/HAND-3D-DRAWING：這個存儲庫是我們在IAAC， MDEF大師的微挑戰(zhàn)II周期間的所有工作。我們嘗試只用手繪制3D圖像，用手識別，我們使用了python， mediapipe， opencv和pygame。

使用p5.js的前幾個(三個)方法

在項目的初始階段，我們考慮過使用p5.js來探索實驗的潛力。我們每個人都專注于不同的方面：一個人使用手勢識別進行2D繪圖，而另一個人使用鼠標控制探索空間中的3D繪圖，最終能夠將兩者結合在一起。

最初的方法之一是嘗試在一個象限系統中以對稱和旋轉的方式復制相同的繪圖，以便能夠使用放置在屏幕中心的簡單DIY全息圖來觀察投影是如何工作的。從那里開始，我們開始可視化并在明顯的3D空間中進行更改。

我們在p5.js中面臨的主要挑戰(zhàn)之一是深度感知。當嘗試使用鼠標繪制3D時，系統通常會將筆畫解釋為在同一平面上，從而難以創(chuàng)建真正的深度。為了解決這個問題，我們嘗試實現一個可移動的2D平面，它將根據面對相機的平面改變方向，允許用戶在2D中繪制，但在3D中影響整個空間。然而，這種解決方案也被證明是不可靠和難以控制的，因為圖紙變得過于復雜和難以管理。

最終，我們設法創(chuàng)建了一種3D繪圖形式，但結果是不可預測的和不一致的，因為繪圖只能粘在平面上，并且繪圖的平移變得困難。由于缺乏精確性和可控性，p5.js對我們的愿景有很大的限制，這促使我們去探索其他的工具和方法。

所以在所有這些嘗試之后，我們決定嘗試另一個軟件。

探索Three.js

在面對p5.js的限制后，我們轉向Three.js，一個專門為3D渲染設計的庫。起初，它似乎是我們項目的一個很有前途的工具，為在空間中創(chuàng)建3D繪圖提供了更大的靈活性和精度。

然而，我們很快就遇到了一個主要的挑戰(zhàn)：我們不熟悉Three.js，并且將它與MediaPipe和opencv(主要用于python)集成起來非常困難。盡管探索了各種各樣的資源，但我們發(fā)現很少能直接滿足我們的特定需求。

由于這些障礙和陡峭的學習曲線，我們決定在早期放棄這種方法，并尋找更適合我們的工作流程和技術限制的替代解決方案。

在Blender上運行Python， OpenCV和MediaPipe

我們探索的另一種方法是將Python， OpenCV和MediaPipe集成到Blender中，直接在3D環(huán)境中繪制線條。這似乎是一個有趣的解決方案，因為Blender提供了一個強大的3D空間，使用Python可以讓我們更有效地利用手部跟蹤和計算機視覺工具。

然而，我們很快就遇到了兼容性問題。Blender需要特定版本的Python和OpenCV，而MediaPipe有自己的版本依賴。試圖讓所有東西一起工作變成了一個令人沮喪的過程，因為解決一個問題往往會產生另一個問題。我們花了很多時間來排除這些沖突，但在實現我們的實際目標方面進展甚微。

由于這些持續(xù)的技術障礙，我們決定不直接在Blender中運行我們的Python代碼，而是尋找替代的工作流程來實現我們想要的結果。

用Python和Pygame繪制3D

經過多次迭代和使用其他工具的失敗嘗試，我們最終使用Python和Pygame在3D空間中繪制。通過利用Pygame可視化3D環(huán)境，我們能夠創(chuàng)建一個用戶可以自由繪制的交互式空間。

我們的第一個突破是成功地使用鼠標繪制3D線條，同時允許實時旋轉環(huán)境。這對我們之前的p5.js嘗試來說是一個重大的改進，因為它讓我們可以完全控制深度和視角。然而，在我們讓它正常工作之前，實現這個功能需要多次迭代。在我們的GitHub存儲庫中，該功能在文件draw3d.py中實現。

一旦我們用鼠標進行了基本的3D繪圖，我們就轉向了更高級的交互方法：使用MediaPipe和OpenCV進行手動跟蹤來繪制和控制攝像機。經過多次改進，我們得到了一個令人信服的結果，盡管還有很大的改進空間

我們的系統的核心依賴于一個動態(tài)繪圖平面，它總是垂直于相機的法線。當攝像機移動時，平面也隨之移動，確保繪圖面與用戶的視角相適應。平面的坐標存儲在一個矩陣中，并根據相機的方向不斷更新。

對于基于手勢的繪圖，我們檢測拇指和食指之間的距離。如果這個距離低于預定義的閾值(即用戶正在進行“捏”動作)，則創(chuàng)建點并與線條連接，形成連續(xù)的繪圖。

為了增強功能，我們還實現了：

截圖捕獲以保存繪圖的不同階段。

3D對象導入，允許用戶在現有模型周圍繪制。

出口。obj格式，使得在Blender或Rhino等軟件中打開和修改圖紙成為可能。

這種方法最終為我們提供了我們一直在尋找的靈活性和深度控制，使我們更接近我們最初的直觀，手動控制的3D繪圖工具的愿景。

現在，結合捏(左手食指和拇指)繞3D空間旋轉和平移的能力，以及捏(右手食指和拇指)繪圖的能力，我們終于可以創(chuàng)建一個3D功能環(huán)境，也可以生成3D表面，這取決于你能畫得多好。

探索新的應用：數字陶器

由于我們達到了我們的初始目標早于預期，我們決定探索替代方法來使用我們的3D繪圖系統。其中一個想法是模擬陶輪來創(chuàng)造數字陶器形式。

為了實現這一目標，我們修改了環(huán)境，使其以恒定的速度旋轉，模仿傳統陶輪的運動。當我們在空間中繪畫時，我們的筆觸形成了圓形圖案，使我們能夠塑造類似3D陶器形式的東西，而你仍然可以像以前一樣(使用你的食指和右手拇指)平移和旋轉。

然而，我們很快就遇到了一個限制：我們的圖紙仍然只是線條，而不是真正的3D表面。這意味著，雖然我們可以可視化陶器形狀，但它們不能直接3D打印。

我們進行了研究，做了幾次試驗，直到我們終于有了突破。所以，我們有不同的制陶方法：

1. 第一種模式允許你在預先設想的表面上進行雕刻，你可以根據你捏在一起的手指進行添加和減去(食指和拇指添加，中指和拇指減去右手)。

2. 您可以通過使用相同的捏緊機制從頭開始創(chuàng)建3D可打印的網格。

以下是在游戲過程中可以幫助你的鍵盤快捷鍵：

?Esc：退出應用程序

?C：清理圖紙

?R：復位相機(當按下Ctrl鍵時)。在Profile Pottery模式中，循環(huán)渲染模式(實體、線框、點)。

?E：將3D模型導出為STL文件進行3D打印

?G：從當前的繪圖線生成曲面

?I：顯示繪圖信息(線數和面數)

?左移或右移：在繪圖模式之間切換(線條，直接雕刻陶器，輪廓陶器)

?選項卡：循環(huán)通過活動參考網格平面(XY， XZ， YZ)

?V：切換頂點的可見性(線與線之間的連接點)

?空間：切換陶器旋轉開關(僅適用于陶器模式)

?P：在Profile Pottery模式下，切換Profile line的可見性

?Ctrl+Z：在Profile Pottery模式下，撤銷上次Profile的修改

?方向鍵(左，右，上，下)：移動攝像機

?W：把鏡頭向前移動(進入場景)

?S：向后(移出鏡頭)

本文編譯自hackster.io