基于wince的網(wǎng)絡(luò)音視頻通信
wince網(wǎng)絡(luò)音視頻通訊
下位機(jī)為 mini2440 ，其操作系統(tǒng)是WINCE 5.0，需要在下位機(jī)上插入USB攝像頭（中星微301，驅(qū)動為15分鐘限制版），以及插入麥克風(fēng)耳機(jī)；
上位機(jī)為普通的PC，需要插入麥克風(fēng)耳機(jī)；
上位機(jī)和下位機(jī)的開發(fā)環(huán)境為Visual Studio 2005。
接下來，說說這個東東的功能，和工作原理：
網(wǎng)絡(luò)視頻傳輸，首先把mini2440與USB攝像頭連接在一起，通過USB攝像頭捕捉圖像（320 x 240，15fps），然后通過UDP協(xié)議發(fā)送至PC端，在PC屏幕上以15fps的速度顯示。
網(wǎng)絡(luò)音頻傳輸，首先在mini2440和PC上都插入麥克風(fēng)耳機(jī)，兩者都同時錄音，并以G.726編碼，然后把壓縮包通過UDP協(xié)議發(fā)送至對方，而在錄音的同時，也對來自對方的壓縮包用G.726解碼，然后再在耳機(jī)播放音頻。
最后，說說這個版本相對于以前的改進(jìn)：
把以前的RTP改為UDP，實(shí)踐證明，在這個系統(tǒng)中，用UDP的效率會比RTP好，畢竟不需要用到RTP的流量監(jiān)測等高級功能，僅僅能通信就行了；
以前版本基于100M網(wǎng)卡，現(xiàn)在支持10M網(wǎng)卡了，在100M網(wǎng)卡的機(jī)器上，可以直接把JPEG圖片發(fā)過去，但是，在10M的網(wǎng)卡是，每次數(shù)據(jù)包最大為1440比特，因此要兼容10M網(wǎng)卡，就需要把圖像分割成多個1440大小的數(shù)據(jù)包，分別發(fā)送了。
網(wǎng)絡(luò)音視頻通信
下面說說關(guān)鍵的源代碼：
以下是WINCE部分的代碼
#pragma once
#include “winsock2.h”
//RTP支持
#include “。.UDPUDP.h”
//音頻支持
#include “WaveIn.h”
#include “WaveOut.h”
//G726支持
#include “g726.h”
//攝像頭支持
#include “。video\zc030xlib.h”
#define Video_Width 320 //視頻寬度
#define Video_Height 240 //視頻長度
#define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小
#define Compr_AudioData_Size 120 //壓縮后音頻塊的大小
//音頻輸入輸出變量
CWaveIn *g_pIn;
CWaveOut *g_pOut;
char pin［AudioData_Size］，pout［Compr_AudioData_Size］;
char waveout［AudioData_Size］;
//攝像頭輸入變量
DWORD dwSize;
DWORD dwJpg;
DWORD dwRtnSize［2］;/* 0 - for bmp， 1 - for jpeg */
LPBYTE lpFrameBuffer;
LPBYTE lpJpgBuffer ;
//控制變量
bool isCameraEnabled;
//UDP
CUDP_CE m_CEUdp;
class AVClass
{
public：
//=====================================================================
// 語法格式： void InitAV（CWnd * p）
// 實(shí)現(xiàn)功能： 初始化音頻和視頻，用于錄音、播放音頻，以及播放視頻
// 參數(shù)： p為窗口類指針
// 返回值： 無
//=====================================================================
void InitAV（CWnd * p，int local_port，CString remote_ip，int remote_port）
{
//-----------------------初始化UDP-----------------------//
m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
DWORD nResult = m_CEUdp.Open（p，local_port，remote_ip，remote_port）;
if （nResult 《=0）
{
AfxMessageBox（_T（“打開端口失敗”））;
return;
}
//------------------------控制變量-----------------------//
isCameraEnabled=false;
//-------------------------視頻--------------------------//
int i = capInitCamera（）;
dwSize = 320 * 240 * 3;
dwJpg = 40960;
lpFrameBuffer = （LPBYTE） malloc （dwSize）;
lpJpgBuffer = （LPBYTE） malloc （dwJpg）;
if（i《=0）
{
//：：MessageBox（NULL， L“Init camera error ”， L“Notice”， 0）;
goto video_error;//出錯，釋放空間
}
if （0 ！= capSetVideoFormat（0， VIDEO_PALETTE_RGB24， VIDEO_SIZE_SIF））
{
//：：MessageBox（NULL， L“SetVideoFormat error ”， L“Notice”， 0）;
goto video_error;//出錯，釋放空間
}
if （capStartCamera（0） ！= 0）
{
//：：MessageBox（NULL， L“StartCamera error ”， L“Notice”， 0）;
capStopCamera（0）;
goto video_error;//出錯，釋放空間
}
//沒出錯，進(jìn)行視頻（控制狀態(tài)）、音頻設(shè)置
isCameraEnabled=true;
goto audio;
video_error：
free （lpFrameBuffer）;
lpFrameBuffer = NULL;
free （lpJpgBuffer）;
lpJpgBuffer = NULL;
//-------------------------音頻--------------------------//
audio：
g_pOut = new CWaveOut（）;
g_pIn = new CWaveIn（）;
g_pOut-》StartPlay（）;
g_pIn-》StartRec（OnRecCapAndSend，（DWORD）p）;
}
//=====================================================================
// 語法格式： void FreeAV（）
// 實(shí)現(xiàn)功能： 釋放音頻、視頻
// 參數(shù)： 無
// 返回值： 無
//=====================================================================
void FreeAV（）
{
//-------------------------視頻--------------------------//
if（isCameraEnabled）
capStopCamera（0）;
//-------------------------音頻--------------------------//
g_pOut-》StopPlay（）;
g_pIn-》StopRec（）;
delete g_pOut;
delete g_pIn;
//------------------------UDP------------------------//
m_CEUdp.Close（）;
}
//=====================================================================
// 語法格式： void RecAndPlay（WPARAM wParam，LPARAM lParam）
// 實(shí)現(xiàn)功能： 接收網(wǎng)絡(luò)傳來的音頻，以及播放
// 參數(shù)： wParam，表示數(shù)據(jù)；lParam，表示數(shù)據(jù)長度
// 返回值： 無
//=====================================================================
static void CALLBACK OnUdpCERecv（CWnd * pWnd，char* buf，int nLen，sockaddr * addr）
{
g726_Decode（buf，（unsigned char*）waveout）;
g_pOut-》Play（waveout，AudioData_Size）;
}
//=====================================================================
// 語法格式： static void OnRecCapAndSend（char *data，int length，DWORD userdata）
// 實(shí)現(xiàn)功能： 錄音，攝像并且發(fā)送
// 參數(shù)： data表示數(shù)據(jù)，length表示數(shù)據(jù)長度，userdata暫時沒用
// 返回值： 無
//=====================================f================================
static void OnRecCapAndSend（char *data，int length，DWORD userdata）
{
//-------------------------音頻--------------------------//
memcpy（pin，g_pIn-》buffer，AudioData_Size）;
g726_Encode（（unsigned char*）pin，pout）;
m_CEUdp.SendData（pout，Compr_AudioData_Size）;
//-------------------------視頻--------------------------//
if（isCameraEnabled==false）//如果程序不能用攝像頭
return;
Sleep（15）;
int index=0;
memset（lpFrameBuffer， 0， dwSize）;
memset（lpJpgBuffer， 0， dwJpg）;
dwRtnSize［0］ = dwRtnSize［1］ = 0;
if （capGetPicture（index， lpFrameBuffer， dwSize， lpJpgBuffer， dwJpg， dwRtnSize） == 0）
{
/// m_CEUdp.SendData（（const char *）lpJpgBuffer，dwRtnSize［1］）;
char tmp［1440］;
int tmp_i=0;
for（int i=0;i《dwRtnSize［1］;i++）
{
tmp［tmp_i］=lpJpgBuffer［i］;
tmp_i++;
if（tmp_i==1440）
{
m_CEUdp.SendData（tmp，1440）;
tmp_i=0;
}
else if（i==dwRtnSize［1］-1）
{
m_CEUdp.SendData（tmp，dwRtnSize［1］-（dwRtnSize［1］/1440）*1440）;
tmp_i=0;
}
}
}
}
};
以下是PC部分的關(guān)鍵代碼
#pragma once
#include “winsock2.h”
//UDP支持
#include “。.UDPUDP.h”
//音頻支持
#include “WaveIn.h”
#include “waveout.h”
//G726支持
#include “g726.h”
//視頻支持
#include “Gdiplus.h”
using namespace Gdiplus;
#define VideoData_Size 1440 //每塊視頻數(shù)據(jù)包的大小
#define Video_Width 320 //視頻寬度
#define Video_Height 240 //視頻長度
#define AudioData_Size 960 //每塊音頻數(shù)據(jù)包的大小
#define Compr_AudioData_Size 120 //壓縮后音頻塊的大小
//音頻輸入輸出變量
CWaveIn *g_pIn;
CWaveOut *g_pOut;
char pin［AudioData_Size］，pout［Compr_AudioData_Size］;
char wave_data［AudioData_Size］;
//UDP變量
CUDP_CE m_CEUdp;
//視頻輸入變量
GdiplusStartupInput m_gdiPlusInPut;
ULONG_PTR m_gdiPlusToken;
char video_data［Video_Width*Video_Height］;
int index;//視頻數(shù)據(jù)當(dāng)前索引
class AVClass
{
private：
public：
//=====================================================================
// 語法格式： void InitAV（CWnd * p）
// 實(shí)現(xiàn)功能： 初始化音頻和視頻，用于錄音、播放音頻，以及播放視頻
// 參數(shù)： p為窗口類指針
// 返回值： 無
//=====================================================================
void InitAV（CWnd * p，int local_port，CString remote_ip，int remote_port）
{
//-------------------------UDP連接--------------------------//
m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
DWORD nResult = m_CEUdp.Open（p，local_port，remote_ip，remote_port）;
if （nResult 《=0）
{
AfxMessageBox（_T（“打開端口失敗”））;
return;
}
//-------------------------音頻--------------------------//
g_pOut = new CWaveOut（）;
g_pIn = new CWaveIn（）;
g_pOut-》StartPlay（）;
g_pIn-》StartRec（OnRecording，（DWORD）p）;
//-------------------------視頻--------------------------//
GdiplusStartup（ &m_gdiPlusToken， &m_gdiPlusInPut， NULL ）; //初始化GDI+
memset（video_data，0，Video_Width*Video_Height）;
index=0;
}
//=====================================================================
// 語法格式： void FreeAV（）
// 實(shí)現(xiàn)功能： 釋放音頻、視頻
// 參數(shù)： 無
// 返回值： 無
//=====================================================================
void FreeAV（）
{
//-------------------------音頻--------------------------//
g_pOut-》StopPlay（）;
g_pIn-》StopRec（）;
delete g_pOut;
delete g_pIn;
//-------------------------視頻--------------------------//
GdiplusShutdown（m_gdiPlusToken）; //銷毀GDI+
//------------------------UDP--------------------------//
m_CEUdp.Close（）;
}
//=====================================================================
// 語法格式： void RecAndPlay（WPARAM wParam，LPARAM lParam，HWND hwnd）
// 實(shí)現(xiàn)功能： 接收網(wǎng)絡(luò)傳來的音頻，以及播放
// 參數(shù)： wParam，表示數(shù)據(jù)；lParam，表示數(shù)據(jù)長度；hwnd，表示顯示視頻的窗口句柄
// 返回值： 無
//=====================================================================
static void CALLBACK OnUdpCERecv（CWnd *pWnd，char* buf，int nLen，sockaddr * addr）
{
/*測試收到的數(shù)據(jù)大小
CString tmp;
tmp.Format（L“%d”，nLen）;
MessageBox（0，tmp，0，0）;
return;*/
//-------------------------如果是音頻數(shù)據(jù)--------------------------//
if（nLen==Compr_AudioData_Size）
{
g726_Decode（buf，（unsigned char*）wave_data）;
g_pOut-》Play（wave_data，AudioData_Size）;
return;
}
//-------------------------如果是視頻數(shù)據(jù)--------------------------//
if（nLen==VideoData_Size）//完整的視頻數(shù)據(jù)塊
{
for（int i=0;i《nLen;i++）
{
video_data［index］=buf［i］;
index++;
}
return;
}
//視頻數(shù)據(jù)塊的最后一塊
for（int i=0;i《nLen;i++）
{
video_data［index］=buf［i］;
index++;
}
//如果JPEG圖像特別大，則肯定是出錯，則拋棄
if（index》Video_Width*Video_Height）
{
//MessageBox（0，“緩沖區(qū)出錯”，“錯誤信息”，0）;
return;
}
try{
IPicture *pPic;
IStream *pStm ;
//分配全局存儲空間
HGLOBAL hGlobal=GlobalAlloc（GMEM_MOVEABLE，index）;
LPVOID pvData=NULL ;
//鎖定分配內(nèi)存塊
pvData=GlobalLock（hGlobal）;
//復(fù)制數(shù)據(jù)包video_data到pvData
memcpy（pvData，video_data，index）;
GlobalUnlock（hGlobal）;
CreateStreamOnHGlobal（hGlobal，TRUE，&pStm）;
ULARGE_INTEGER pSeek;
LARGE_INTEGER dlibMove ={ 0 } ;
pStm-》Seek（dlibMove，STREAM_SEEK_SET ，&pSeek）;
// Sleep（15）;
//裝入圖形文件
if（FAILED（OleLoadPicture（pStm，index，TRUE，IID_IPicture，（LPVOID*）&pPic）））
{//附：如果video_data這個數(shù)組包含的圖像有錯，則OleLoadPicture 容易產(chǎn)生讀寫內(nèi)存錯誤
// pPic-》Release（）;
// pStm-》Release（）;
return ;
}
Image img（pStm，0）;
Graphics mGraphics（GetDC（pWnd-》m_hWnd））;
mGraphics.DrawImage（&img， 0， 0， Video_Width， Video_Height）;
img.~Image（）;//會出錯
mGraphics.~Graphics（）;
pPic-》Release（）;
pStm-》Release（）;
}
catch（CException * e）
{}
memset（video_data，0，Video_Width*Video_Height）;
index=0;
}
//=====================================================================
// 語法格式： static void OnRecording（char *data，int length，DWORD userdata）
// 實(shí)現(xiàn)功能： 釋放音頻
// 參數(shù)： data表示數(shù)據(jù)，length表示數(shù)據(jù)長度，userdata暫時沒用
// 返回值： 無
//=====================================================================
static void OnRecording（char *data，int length，DWORD userdata）
{
memcpy（pin，g_pIn-》buffer，AudioData_Size）;
g726_Encode（（unsigned char*）pin，pout）;
m_CEUdp.SendData（pout，Compr_AudioData_Size）;
}
};
下載文檔
