Python + QT + GStreamer

Question

Ich arbeite mit PyQt und versuche, Video von einer Webcam zu bekommen in einem QT-Widget zu spielen. Ich habe Tutorials für C und Qt gefunden, und für Python und GTK, aber nichts für diese Combo von pyqt und gstreamer. Jeder dieser Arbeits bekommen?

Dies spielt das Video in Ordnung, aber in einem separaten Fenster:

self.gcam = gst.parse_launch('v4l2src device=/dev/video0 ! autovideosink')
self.gcam.set_state(gst.STATE_PLAYING)

, was ich brauche, ist die Overlay-Funktion zu erhalten, so dass es in einem Widget in GUI angezeigt wird. Danke, Gurus des Internets!

ok, so habe ich viel weiter gekommen, aber immer noch in Not einiger Hilfe. Ich bin eigentlich dieses für Maemo zu schreiben, aber der folgende Code funktioniert gut auf meinem Linux-Laptop:

class Vid:
    def __init__(self, windowId):
    self.player = gst.Pipeline("player")
    self.source = gst.element_factory_make("v4l2src", "vsource")
    self.sink = gst.element_factory_make("autovideosink", "outsink")
    self.source.set_property("device", "/dev/video0")
    self.scaler = gst.element_factory_make("videoscale", "vscale")
    self.window_id = None
    self.windowId = windowId

    self.player.add(self.source, self.scaler, self.sink)
    gst.element_link_many(self.source,self.scaler, self.sink)

    bus = self.player.get_bus()
    bus.add_signal_watch()
    bus.enable_sync_message_emission()
    bus.connect("message", self.on_message)
    bus.connect("sync-message::element", self.on_sync_message)

    def on_message(self, bus, message):
    t = message.type
    if t == gst.MESSAGE_EOS:
        self.player.set_state(gst.STATE_NULL)
    elif t == gst.MESSAGE_ERROR:
       err, debug = message.parse_error()
       print "Error: %s" % err, debug
       self.player.set_state(gst.STATE_NULL)

    def on_sync_message(self, bus, message):
    if message.structure is None:
        return
    message_name = message.structure.get_name()
    if message_name == "prepare-xwindow-id":
        win_id = self.windowId
        assert win_id
        imagesink = message.src
        imagesink.set_property("force-aspect-ratio", True)
        imagesink.set_xwindow_id(win_id)
    def startPrev(self):
    self.player.set_state(gst.STATE_PLAYING)
    print "should be playing"
vidStream = Vid(wId)
vidStream.startPrev()

Dabei gilt wid die Fenster-ID des Widgets im ist versucht, in die Ausgabe erhalten angezeigt werden soll. Wenn ich das laufen auf dem N900, wird der Bildschirm schwarz und blinkt. Irgendwelche Ideen? Ich sterbe hier!

EDIT: Ich bin gebeten worden, den vollständigen Code zu schreiben, und obwohl ich es immer noch ein wenig brauchen, um aufzuräumen, hier ist der relevante Teil:

self.cameraWindow = QtGui.QWidget(self)
self.cameraWindow.setGeometry(QtCore.QRect(530, 20, 256, 192))
self.cameraWindow.setObjectName("cameraWindow")
self.cameraWindow.setAttribute(0, 1); # AA_ImmediateWidgetCreation == 0
self.cameraWindow.setAttribute(3, 1); # AA_NativeWindow == 3

global wId
wId = self.cameraWindow.winId()

self.camera = Vid(wId)

self.camera.startPrev()

class Vid:
    def __init__(self, windowId):
    self.player = gst.Pipeline("player")
    self.source = gst.element_factory_make("v4l2src", "vsource")
    self.sink = gst.element_factory_make("autovideosink", "outsink")
    self.source.set_property("device", "/dev/video0")
    #self.scaler = gst.element_factory_make("videoscale", "vscale")
    self.fvidscale = gst.element_factory_make("videoscale", "fvidscale")
    self.fvidscale_cap = gst.element_factory_make("capsfilter", "fvidscale_cap")
    self.fvidscale_cap.set_property('caps', gst.caps_from_string('video/x-raw-yuv, width=256, height=192'))
    self.window_id = None
    self.windowId = windowId
    print windowId

    self.player.add(self.source, self.fvidscale, self.fvidscale_cap, self.sink)
    gst.element_link_many(self.source,self.fvidscale, self.fvidscale_cap, self.sink)

    bus = self.player.get_bus()
    bus.add_signal_watch()
    bus.enable_sync_message_emission()
    bus.connect("message", self.on_message)
    bus.connect("sync-message::element", self.on_sync_message)

    def on_message(self, bus, message):
    t = message.type
    if t == gst.MESSAGE_EOS:
        self.player.set_state(gst.STATE_NULL)
    elif t == gst.MESSAGE_ERROR:
       err, debug = message.parse_error()
       print "Error: %s" % err, debug
       self.player.set_state(gst.STATE_NULL)

    def on_sync_message(self, bus, message):
    if message.structure is None:
        return
    message_name = message.structure.get_name()
    if message_name == "prepare-xwindow-id":
        win_id = self.windowId
        assert win_id
        imagesink = message.src
        imagesink.set_property("force-aspect-ratio", True)
        imagesink.set_xwindow_id(win_id)
    def startPrev(self):
    self.player.set_state(gst.STATE_PLAYING)
    def pausePrev(self):
    self.player.set_state(gst.STATE_NULL)

Dies ist piecing ein paar Bits zusammen, und ich kann es jetzt nicht testen, aber vielleicht wird es jemand hilfreich sein. Viel Glück!

Answer 1

Verstanden! Es scheint, ich die Auflösung der Pipeline zu zwingen erforderlich, um die Auflösung des Widgets anpassen, wo ich das Video pumpe:

self.fvidscale_cap = gst.element_factory_make ( "capsfilter", "fvidscale_cap") self.fvidscale_cap.set_property ( 'Caps', gst.caps_from_string ( 'Video / x-raw-YUV, width = 256, height = 192'))

Dann fügen Sie nur diejenigen, an die Pipeline wie auch die anderen Elemente, und es funktioniert super. Man scheint es so einfach, es zu betrachten jetzt, aber wenn ich den Kopf für ein paar Tage an der Wand pochte es war nicht so offensichtlich ...

Answer 2

Wenn Sie geschieht pyside statt PyQt auf einer Plattform zu verwenden, um andere als Linux, winId () gibt einen PyCObject die a href <= "http://www.expobrain.net/2011/02/22/handling -win32-windows-Handler-in-pyside /“rel = "nofollow"> kann nicht direkt mit nativen Funktionen oder anderen Modulen verwendet werden. In meinem Fall kam dies praktisch, wenn GStreamer (pygst) mit pyside auf Microsoft Windows mit:

from ctypes import pythonapi, c_void_p, py_object
...
if message_name == 'prepare-xwindow-id':
    # convert winId from PyCObject to void pointer
    pythonapi.PyCObject_AsVoidPtr.restype = c_void_p
    pythonapi.PyCObject_AsVoidPtr.argtypes = [py_object]
    hWnd = pythonapi.PyCObject_AsVoidPtr(self.videoWidget.winId())

    # set window handle to video sink
    self.videoSink.set_xwindow_id(hWnd)

Answer 3

Ptterb können Sie Ihre vollständigen Code schreiben Sie?

Ich kopierte Code.
Hinzugefügt fvidscale_cap Pipeline, mit:

self.player.add(self.source, self.scaler, self.fvidscale_cap, self.sink)
gst.element_link_many(self.source,self.scaler, self.fvidscale_cap, self.sink)

Aus dem Hauptprogramm erstelle ich eine neue QWidget, und übergeben ihre winId (), um Vid Konstruktor.
Das Widget startet Laden, aber stürzt ab.

Die Ausgabe sagt:
spielen sollte
Segmentation fault

Answer 4

Der eingefügte Code zeigt nicht gobject Laden, die nicht entlassen werden können. Es dauerte eine gute Weile, um herauszufinden, was fehlte. Dank Juni mit eine funktionierende Audio-Beispiel.

import gobject, pygst
pygst.require('0.10')
import gst
from PyQt4.QtGui import QMainWindow, QWidget, QApplication 
import sys

class Video(QMainWindow):
    def __init__(self):
        QMainWindow.__init__(self)
        container = QWidget()
        self.setCentralWidget(container)
        self.windowId = container.winId()
        self.setGeometry(300,300,640,480)
        self.show()

    def setUpGst(self):
        self.player = gst.Pipeline("player")
        source = gst.element_factory_make("v4l2src", "vsource")
        sink = gst.element_factory_make("xvimagesink", "sink")
        fvidscale_cap = gst.element_factory_make("capsfilter", "fvidscale_cap")
        fvidscale = gst.element_factory_make("videoscale", "fvidscale")
        caps = gst.caps_from_string('video/x-raw-yuv')
        fvidscale_cap.set_property('caps', caps)
        source.set_property("device", "/dev/video0")

        self.player.add(source, fvidscale, fvidscale_cap, sink)
        gst.element_link_many(source,fvidscale, fvidscale_cap, sink)
        bus = self.player.get_bus()
        bus.add_signal_watch()
        bus.enable_sync_message_emission()
        bus.connect("message", self.on_message)
        bus.connect("sync-message::element", self.on_sync_message)

    def on_message(self, bus, message):
        t = message.type
        if t == gst.MESSAGE_EOS:
            self.player.set_state(gst.STATE_NULL)
            print "end of message"
        elif t == gst.MESSAGE_ERROR:
            err, debug = message.parse_error()
            print "Error: %s" % err, debug
            self.player.set_state(gst.STATE_NULL)

    def on_sync_message(self, bus, message):
        if message.structure is None:
            return
        message_name = message.structure.get_name()
        if message_name == "prepare-xwindow-id":
            win_id = self.windowId
            assert win_id
            imagesink = message.src
            imagesink.set_xwindow_id(win_id)

    def startPrev(self):
        self.player.set_state(gst.STATE_PLAYING)
        print "should be playing"

if __name__ == "__main__":
    gobject.threads_init()
    app = QApplication(sys.argv)
    video = Video()
    video.setUpGst()
    video.startPrev()
    sys.exit(app.exec_())