Weblogic的EJB调用开始OptionalDataException中等负荷下失败

Question

我们的系统设置由两个WebLogic 10.3服务器：一个承载表示层和所述其他主机的EJB。系统运行一段时间（一至数天），之后EJB方法从呈现服务器向EJB服务器启动呼叫中等负载下细到失败，出现以下错误：

java.rmi.RemoteException: java.rmi.UnmarshalException: error unmarshalling arguments; nested exception is: java.io.OptionalDataException

堆栈跟踪：

java.io.OptionalDataException
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1349)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:351)
    at weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:197)
    at weblogic.rjvm.MsgAbbrevInputStream.readObject(MsgAbbrevInputStream.java:564)
    at weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:193)
    at weblogic.jndi.internal.RootNamingNode_WLSkel.invoke(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.invoke(BasicServerRef.java:589)
    at weblogic.rmi.cluster.ClusterableServerRef.invoke(ClusterableServerRef.java:230)
    at weblogic.rmi.internal.BasicServerRef$1.run(BasicServerRef.java:477)
    at weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:363)
    at weblogic.security.service.SecurityManager.runAs(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.handleRequest(BasicServerRef.java:473)
    at weblogic.rmi.internal.wls.WLSExecuteRequest.run(WLSExecuteRequest.java:118)

一旦第一OptionalDataException遇到的所有后续调用失败，出现相同的结果。一些消息来源认为，这可能与集群进行了错误的多播端口。然而，这些服务器不属于一个集群。

引导EJB服务器总是暂时解决问题，但这个问题似乎在一段时间之后再出现。

更新的：看来这个问题是的不的相关的毕竟插座的连接数的溢出（见下面我自己的答案）。不允许网络类加载后，我们一个星期后，我们又开始接收演示服务器上OptionalDataExceptions跑得很平稳（堆栈跟踪以下）。这是非常奇怪的是，系统正常工作了一个星期，然后开始失效。

javax.naming.CommunicationException [Root exception is java.rmi.UnmarshalException: error unmarshalling arguments; nested exception is:
    java.io.OptionalDataException]
    at weblogic.jndi.internal.ExceptionTranslator.toNamingException(ExceptionTranslator.java:74)
    at weblogic.jndi.internal.WLContextImpl.translateException(WLContextImpl.java:439)
    at weblogic.jndi.internal.WLContextImpl.lookup(WLContextImpl.java:395)
    at weblogic.jndi.internal.WLContextImpl.lookup(WLContextImpl.java:380)
    at javax.naming.InitialContext.lookup(InitialContext.java:392)
    ...
Caused by: java.rmi.UnmarshalException: error unmarshalling arguments; nested exception is:

    java.io.OptionalDataException
    at weblogic.rjvm.ResponseImpl.unmarshalReturn(ResponseImpl.java:234)
    at weblogic.rmi.cluster.ClusterableRemoteRef.invoke(ClusterableRemoteRef.java:348)
    at weblogic.rmi.cluster.ClusterableRemoteRef.invoke(ClusterableRemoteRef.java:259)
    at weblogic.jndi.internal.ServerNamingNode_1030_WLStub.lookup(Unknown Source)
    at weblogic.jndi.internal.WLContextImpl.lookup(WLContextImpl.java:392)  
    ... 38 more
Caused by: java.io.OptionalDataException
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1349)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:351)
    at     
    weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:197)
    at weblogic.rjvm.MsgAbbrevInputStream.readObject(MsgAbbrevInputStream.java:564)
    at     
weblogic.utils.io.ChunkedObjectInputStream.readObject(ChunkedObjectInputStream.java:193)
    at weblogic.jndi.internal.RootNamingNode_WLSkel.invoke(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.invoke(BasicServerRef.java:589)
    at weblogic.rmi.cluster.ClusterableServerRef.invoke(ClusterableServerRef.java:230)
    at weblogic.rmi.internal.BasicServerRef$1.run(BasicServerRef.java:477)
    at        
weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:363)
    at weblogic.security.service.SecurityManager.runAs(Unknown Source)
    at weblogic.rmi.internal.BasicServerRef.handleRequest(BasicServerRef.java:473)
    at weblogic.rmi.internal.wls.WLSExecuteRequest.run(WLSExecuteRequest.java:118)
    ... 2 more

我们获得初始上下文相当的标准方法：

Properties p = new Properties();
p.put(Context.INITIAL_CONTEXT_FACTORY, "weblogic.jndi.WLInitialContextFactory");
p.put(Context.PROVIDER_URL, serverPath);
Context context = new InitialContext(p);

另外调用任何获得的引用失败具有类似OptionalDataException。引导单独表示服务器暂时解决了问题。

Answer 1

最后，OptionalDataExceptions是历史。总之，在我们的应用程序代码的复数值的对象（用作用于远程方法调用的返回值）有一个HashMap数据结构作为内部场。改变这个字段的类型SynchronizedMap后OptionalDataExceptions停止发生。看来，在某处遗留代码此图是在非线程安全的方式处理。

奇怪的是，这引起了不问题WLS 8.1，但不知何故引起WLS 10进入的状态下，所有后续的远程方法调用（包括JNDI查找）开始失败。

Answer 2

最后，我们找到了解决这个（编辑：后来发现，这是不是问题的根源，而是一个独立的严重的问题，对于最终的解决方案，请参阅下面的答案）。一旦我们开始收到下面的异常，我们上了事业的轨迹：

<BEA-000403> <IOException occurred on socket: Socket[addr=/x.x.x.x,port=3266,localport=7001]
 java.net.SocketException: Connection refused.
java.net.SocketException: Connection refused
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:129)
at weblogic.socket.SocketMuxer.readReadySocketOnce(SocketMuxer.java:887)
at weblogic.socket.SocketMuxer.readReadySocket(SocketMuxer.java:859)
at weblogic.socket.DevPollSocketMuxer.processSockets(DevPollSocketMuxer.java:120)
at weblogic.socket.SocketReaderRequest.run(SocketReaderRequest.java:29)
at weblogic.socket.SocketReaderRequest.execute(SocketReaderRequest.java:42)
at weblogic.kernel.ExecuteThread.execute(ExecuteThread.java:145)
at weblogic.kernel.ExecuteThread.run(ExecuteThread.java:117)

在演示服务器，这是一个不同的主机，我们有选择的EJB服务器上运行

-Dweblogic.NetworkClassLoadingEnabled=true

要明显使从EJB服务器类装载。什么我们不知道的是，使用此选项可能会导致被打开一个巨大的网络套接字的数量。用netstat我们能够找出几千座是无论是在CLOSE_WAIT或FIN_WAIT_2状态。看来，在Web UI的所有元素从除类尽管EJB服务器加载的演示服务器上的WAR文件包含了所有这些。插座的巨额并未导致“太多的文件”的错误消息，因为Weblogic的删除的ulimit在它的启动脚本文件。使用测试服务器，我们发现，在网络上的用户界面，只需一次点击用户在两个服务器之间打开大约30座。

我们删除此选项，并重新包装演示服务器上的战争包含所有所需的类从而消除网络类加载的需要。这导致了从数以千计的两个服务器之间的插座连接的数量为1的降低。

在一个总结，避免网络的Weblogic类加载，如果在所有可能的。